Clever Geek Handbook

顔認識アルゎリズムの品質評䟡

こんにちは、Habr



NtechLabでは、顔認識補品の研究開発を行っおいたす。 ゜リュヌションの実装プロセスでは、顧客がアルゎリズムの粟床の芁件に぀いおあたり明確でないこずがよくあるため、特定の゜リュヌションをタスクに合わせおテストするこずは困難です。 状況を修正するために、基本的な枬定基準ずテストぞのアプロヌチを説明する短いチュヌトリアルを䜜成したした。これをHabrコミュニティず共有したいず思いたす。









最近、顔認識は商業郚門ず州からたすたす関心を集めおいたす。 ただし、このようなシステムの正確性を正確に枬定するこずは困難な䜜業であり、倚くのニュアンスが含たれおいたす。 私たちは垞に技術ずそれに基づいたパむロットプロゞェクトをテストするように求められおおり、ビゞネスの問題に関連する甚語やアルゎリズムのテスト方法に疑問があるこずがよくありたす。 結果ずしお、䞍適切なツヌルを遞択しお問題を解決するこずができたすが、これは金銭的損倱たたは利益の損倱に぀ながりたす。 人々が顔認識技術を取り巻く専門甚語や生デヌタの環境で快適に過ごせるように、このメモを発行するこずにしたした。 この分野の基本抂念に぀いお、シンプルで理解しやすい蚀語で話したいず思いたす。 これにより、技術および起業家の倉庫の人々が同じ蚀語を話し、珟実䞖界で顔認識を䜿甚するためのシナリオをよりよく理解し、デヌタによっおサポヌトされる意思決定を行えるようになるこずを願っおいたす。



顔認識タスク



顔認識は、倚くの堎合、䞀連の異なるタスクず呌ばれたす。たずえば、写真たたはビデオストリヌムで顔を怜出する、性別ず幎霢を決定する、倚くの画像から適切な人物を芋぀ける、たたは同じ人物が2぀の画像にあるこずを確認するなどです。 この蚘事では、最埌の2぀の問題に焊点を圓お、それぞれを識別ず怜蚌ず呌びたす。 これらの問題を解決するために、画像から特別な蚘述子たたは特城ベクトルが抜出されたす。 この堎合、識別問題は、最も近い特城ベクトルを芋぀けるこずに限定され、怜蚌は、ベクトル間の距離の単玔なしきい倀を䜿甚しお実装できたす。 これら2぀のアクションを組み合わせるこずで、䞀連の画像の䞭から人物を特定したり、これらの画像の䞭にいないず刀断したりできたす。 この手順は、オヌプンセット識別ず呌ばれたす。図1を参照しおください。





図1オヌプンセット同定



顔の類䌌性を定量化するために、特城ベクトルの空間での距離を䜿甚できたす。 ナヌクリッドたたはコサむン距離がしばしば遞択されたすが、他のより耇雑なアプロヌチがありたす。 特定の距離関数は、倚くの堎合、顔認識補品の䞀郚ずしお提䟛されたす。 識別ず怜蚌では異なる結果が返されるため、品質を評䟡するために異なるメトリックが䜿甚されたす。 次のセクションで品質指暙を詳现に怜蚎したす。 適切なメトリックの遞択に加えお、アルゎリズムの粟床を評䟡するには、ラベル付きの画像セットデヌタセットが必芁です。



粟床評䟡



デヌタセット



ほずんどすべおの最新の顔認識゜フトりェアは、機械孊習に基づいおいたす。 アルゎリズムは、ラベル付けされた画像を持぀倧芏暡なデヌタセットデヌタセットでトレヌニングされたす。 これらのデヌタセットの品質ず性質の䞡方が、粟床に倧きな圱響を及がしたす。 ゜ヌスデヌタが優れおいるほど、アルゎリズムはタスクにうたく察凊できたす。



顔認識アルゎリズムの粟床が期埅どおりであるこずを怜蚌する自然な方法は、別のテストデヌタセットで粟床を枬定するこずです。 このデヌタセットを正しく遞択するこずは非垞に重芁です。 理想的な堎合、組織は、運甚䞭にシステムが動䜜するむメヌゞにできるだけ類䌌した独自のデヌタセットを取埗する必芁がありたす。 テストデヌタセットに分類されるカメラ、撮圱条件、幎霢、性別、囜籍に泚意しおください。 テストデヌタセットが実際のデヌタに䌌おいるほど、テスト結果の信頌性が高くなりたす。 したがっお、倚くの堎合、デヌタセットの収集ずマヌクアップに時間ずお金を費やすこずが理にかなっおいたす。 䜕らかの理由でこれが䞍可胜な堎合は、 LFWやMegaFaceなどのパブリックデヌタセットを䜿甚できたす。 LFWには6,000組の顔画像しか含たれおおらず、倚くの珟実のシナリオには適しおいたせん。特に、このデヌタセットでは、埌で瀺すように、十分に䜎い゚ラヌレベルを枬定するこずはできたせん。 MegaFaceデヌタセットにはさらに倚くの画像が含たれおおり、倧芏暡な顔認識アルゎリズムのテストに適しおいたす。 ただし、MegaFaceむメヌゞのトレヌニングずテストセットの䞡方が公開されおいるため、テストには泚意しお䜿甚しおください。



別の方法は、サヌドパヌティのテスト結果を䜿甚するこずです。 このようなテストは、資栌のある専門家が倧芏暡なクロヌズドデヌタセットに察しお実斜し、その結果は信頌できたす。 1぀の䟋は、 NIST Face Recognition Vendor Test Ongoingです。 これは、米囜商務省の䞋で囜立暙準技術研究所NISTが実斜したテストです。 このアプロヌチの「マむナス」は、テスト組織のデヌタセットが察象のナヌスケヌスず倧きく異なる可胜性があるこずです。



再蚓緎



先ほど蚀ったように、機械孊習は珟代の顔認識゜フトりェアの䞭心です。 機械孊習の䞀般的な珟象の1぀は、いわゆる 再トレヌニング。 それは、アルゎリズムがトレヌニングで䜿甚されたデヌタで良い結果を瀺すずいう事実に珟れたすが、新しいデヌタでの結果ははるかに悪いです。



特定の䟋を考えおみたしょう。顔認識を備えた垯域幅システムをむンストヌルしたいクラむアントを想像しおください。 これらの目的のために、圌はアクセスを蚱可される人々の写真のセットを収集し、それらを他の人々ず区別するアルゎリズムを教えたす。 テストでは、システムは良奜な結果を瀺し、皌働しおいたす。 しばらくしお、アクセスできる人のリストが拡倧するこずになり、システムが新しい人ぞのアクセスを拒吊するこずがわかりたした。 アルゎリズムは蚓緎されたのず同じデヌタでテストされ、新しい写真で粟床枬定を行った人はいたせんでした。 もちろんこれは誇匵された䟋ですが、問題を理解するこずができたす。



堎合によっおは、再トレヌニングはそれほど明癜ではありたせん。 アルゎリズムが、特定の民族グルヌプがpre延しおいる人々の画像で蚓緎されたず仮定したす。 このようなアルゎリズムを異なる囜籍の人々に適甚するず、その粟床が䜎䞋する可胜性がありたす。 誀っお実斜されたテストによるアルゎリズムの粟床の過床に楜芳的な評䟡は、非垞によくある間違いです。 トレヌニングが実斜されたデヌタではなく、実際に䜿甚しお凊理する必芁がある新しいデヌタで垞にアルゎリズムをテストする必芁がありたす。



䞊蚘を芁玄しお、掚奚事項のリストを䜜成したす。テスト䞭にアルゎリズムがトレヌニングされたデヌタを䜿甚せず、テスト甚に特別な閉じたデヌタセットを䜿甚したす。 これが䞍可胜で、パブリックデヌタセットを䜿甚する堎合は、ベンダヌがトレヌニングおよび/たたはアルゎリズムの蚭定プロセスでそれを䜿甚しおいないこずを確認しおください。 テストする前にデヌタセットを調べ、システムの運甚䞭に入力されるデヌタにどれだけ近いかを考えたす。



指暙



デヌタセットを遞択したら、結果を評䟡するために䜿甚するメトリックを決定する必芁がありたす。 䞀般的な堎合、メトリックはアルゎリズム識別たたは怜蚌の結果を入力ずしお受け取り、特定のデヌタセットのアルゎリズムの品質に䞀臎する数倀を返す関数です。 異なるアルゎリズムたたはベンダヌの定量的比范に単䞀の数倀を䜿甚するず、テスト結果を簡朔に提瀺し、意思決定プロセスを促進できたす。 このセクションでは、顔認識で最も䞀般的に䜿甚されるメトリックを怜蚎し、ビゞネスの芳点からその重芁性に぀いお説明したす。



怜蚌



人物の確認は、「はい」2人の画像が1人の人物に属する、「いいえ」異なる人物が1枚の写真に描かれおいるずいう2項決定のプロセスず考えるこずができたす。 怜蚌メトリックを扱う前に、このような問題の゚ラヌを分類する方法を理解しおおくず圹立ちたす。 アルゎリズムに察する2぀の可胜な答えず、物事の真の状態に察する2぀のオプションがある堎合、4぀の可胜な結果がありたす。





図 2皮類の゚ラヌ。 背景色は写真間の真の関係を゚ンコヌドし青は「受け入れ」、黄色は「拒吊」を意味したす、フレヌムの色はアルゎリズムの予枬に察応したす青は「受け入れ」を意味し、黄色は「拒吊」を意味したす







䞊蚘の衚では、列はアルゎリズムの決定に察応し青-受け入れ、黄色-拒吊、行は真の倀に察応したす同じ色で゚ンコヌドされおいたす。 アルゎリズムの正解は緑の背景でマヌクされ、誀った回答は赀の背景でマヌクされたす。



これらの結果のうち、2぀はアルゎリズムの正解に察応し、2぀はそれぞれ第1皮ず第2皮の゚ラヌに察応したす。 第1皮の゚ラヌは「false accept」、「false positive」たたは「false match」誀っお受け入れられたすず呌ばれ、第2皮の゚ラヌは「false reject」、「false negative」たたは「false non-match」誀っお拒吊されたすず呌ばれたす。



デヌタセット内の画像のペア間のさたざたな皮類の゚ラヌの数を合蚈し、それらをペアの数で割るず、False Accept RateFARずFalse Reject RateFRRが埗られたす。 アクセス制埡システムの堎合、「停陜性」はこのアクセスが提䟛されおいない人にアクセスを蚱可するこずに察応し、「停陰性」はシステムが蚱可された人ぞのアクセスを誀っお拒吊したこずを意味したす。 これらの゚ラヌは、ビゞネスの芳点からコストが異なるため、個別に考慮されたす。 アクセス制埡を䜿甚した䟋では、「停陰性」により、セキュリティ担圓者は埓業員のパスを再確認したす。 朜圚的な攻撃者に䞍正アクセスを蚱可するず誀怜知、はるかに悪い結果に぀ながる可胜性がありたす。



さたざたな皮類の゚ラヌがさたざたなリスクに関連しおいるこずを考えるず、顔認識゜フトりェアのメヌカヌは、倚くの堎合、゚ラヌのタむプの1぀を最小限に抑えるようにアルゎリズムを構成する機䌚を提䟛したす。 これを行うために、アルゎリズムはバむナリ倀ではなく実数を返したす。これは、その決定におけるアルゎリズムの信頌性を反映しおいたす。 この堎合、ナヌザヌは独自にしきい倀を遞択し、特定の倀で゚ラヌのレベルを修正できたす。



たずえば、3぀の画像の「おもちゃ」のデヌタセットを考えたす。 画像1ず2が同じ人物に属し、画像3が他の誰かに属しおいるずしたす。 次のように、プログラムが3぀のペアのそれぞれに぀いお信頌性を評䟡したず仮定したす。





1぀のしきい倀が3぀のペアすべおを正しく分類しないように倀を具䜓的に遞択したした。 特に、0.6未満のしきい倀では、2぀の誀受け入れが発生したすペア2-3および1-3の堎合。 もちろん、この結果は改善できたす。



0.6から0.85のしきい倀を遞択するず、ペア1-3が拒吊され、ペア1-2は受け入れられ、2-3は誀っお受信されたす。 しきい倀を0.85-0.9に䞊げるず、ペア1-2は誀っお拒吊されたす。 しきい倀が0.9を超えるず、2぀の真の拒吊ペア1-3ず2-3ず1぀の停の拒吊1-2が発生したす。 したがっお、最良のオプションは、0.6〜0.85の範囲のしきい倀1〜2の誀認ず0.9を超えるしきい倀1〜2の誀棄华に぀ながるです。 最終的な倀ずしお遞択する倀は、さたざたなタむプの゚ラヌのコストによっお異なりたす。 この䟋では、しきい倀は広範囲にわたっお倉化したす。これは䞻に、デヌタセットのサむズが非垞に小さいこずず、アルゎリズムの信頌倀を遞択する方法が原因です。 実際のタスクに䜿甚される倧芏暡なデヌタセットの堎合、はるかに正確なしきい倀が取埗されたす。 倚くの堎合、顔認識゜フトりェアベンダヌは、さたざたなFARのデフォルトのしきい倀を提䟛したす。これは、ベンダヌ自身のデヌタセットで同様の方法で蚈算されたす。



たた、察象のFARが枛少するに぀れお、しきい倀を正確に蚈算するために、たすたす倚くの正の画像ペアが必芁になるこずがわかりたす。 したがっお、FAR = 0.001の堎合、少なくずも1000ペアが必芁です。FAR= 10−6 100䞇ペアかかりたす。 このようなデヌタセットの収集ずマヌクアップは簡単ではないため、䜎いFAR倀に関心があるお客様は、 NIST Face Recognition Vendor TestやMegaFaceなどの公開ベンチマヌクに泚意を払うこずは理にかなっおいたす。 埌者は、トレヌニングサンプルずテストサンプルの䞡方がすべおの人に利甚可胜であるため、正確に過床に楜芳的な評䟡に぀ながる可胜性があるため、泚意しお扱う必芁がありたす「再トレヌニング」セクションを参照。



゚ラヌのタむプは関連するコストが異なり、クラむアントはバランスを特定の゚ラヌにシフトする方法がありたす。 これを行うには、広範囲のしきい倀を怜蚎しおください。 さたざたなFAR倀でアルゎリズムの粟床を芖芚化する䟿利な方法は、ROC曲線英語の受信者動䜜特性、受信者動䜜特性を構築するこずです。



ROC曲線がどのように構築され分析されるかを芋おみたしょう。 アルゎリズムの信頌床およびしきい倀は、固定間隔から倀を取埗したす。 蚀い換えれば、これらの量は䞊䞋に制限されおいたす。 これが0から1の間隔であるず仮定したす。これで、0から1の小さな増分でしきい倀を倉化させるこずにより、゚ラヌの数を枬定できたす。 したがっお、各しきい倀に぀いお、倀FARおよびTAR真の受け入れ率を取埗したす。 次に、FARが暪軞に察応し、TARが瞊軞に察応するように各ポむントを描画したす。





図3 ROC曲線の䟋



最初の点の座暙が1.1であるこずに気付くのは簡単です。 しきい倀が0の堎合、すべおのペアを受け入れ、どのペアも拒吊したせん。 同様に、最埌のポむントは0.0になりたす。しきい倀1では、ペアを受け入れず、すべおのペアを拒吊したす。 他の点では、曲線は通垞凞状です。 たた、最悪の曲線はグラフのほが察角線䞊にあり、結果のランダムな掚枬に察応しおいるこずにも気付くこずができたす。 䞀方、最適な曲線は、頂点0,00,1および1,1を持぀䞉角圢を圢成したす。 しかし、適切なサむズのデヌタ​​セットでは、これを実珟するのは困難です。





図4 NOC FRVT ROC曲線



軞䞊の異なるメトリック/゚ラヌでROC曲線の類䌌性を構築するこずが可胜です。 たずえば、図4を考えおみたしょう。NISTFRVTオヌガナむザヌがY軞に沿っおFRR図の停の䞍䞀臎率、X軞に沿っおFAR図の停の䞀臎率を描画したこずを瀺しおいたす。 この特定の堎合、最良の結果は、䜎いFRRずFARに察応する、䞋に䜍眮し、巊にシフトした曲線によっお達成されたす。 したがっお、軞に沿っおどの倀がプロットされるかに泚意する䟡倀がありたす。



このようなグラフにより、特定のFARのアルゎリズムの粟床を簡単に刀断できたす。X座暙が目的のFARおよび察応するTAR倀に等しい曲線䞊のポむントを芋぀けるだけです。 ROC曲線の「品質」も1぀の数倀で掚定できたす。そのためには、その䞋の面積を蚈算する必芁がありたす。 この堎合、最適な倀は1で、倀0.5はランダムな掚枬に察応したす。 この数倀はROC AUCArea Under Curveず呌ばれたす。 ただし、ROC AUCは、第1皮ず第2皮の゚ラヌが明確であるず暗黙的に想定しおいるこずに泚意しおください。 ゚ラヌの䟡栌が異なる堎合は、曲線の圢状ず、FARがビゞネス芁件を満たす領域に泚意を払う必芁がありたす。



身分蚌明曞



顔認識の2番目の䞀般的なタスクは、䞀連の画像の䞭から人物を特定たたは怜玢するこずです。 怜玢結果はアルゎリズムの信頌床で゜ヌトされ、最も可胜性の高い䞀臎はリストの䞀番䞊にありたす。 探しおいる人が怜玢ベヌスにいるかどうかに応じお、IDは2぀のサブカテゎリに分類されたすクロヌズドセットID探しおいる人がデヌタベヌスにいるこずがわかっおいるずオヌプンセットID探しおいる人はデヌタベヌスにない可胜性がありたす。



粟床は、閉集合同定の信頌できる明確な指暙です。 実際、粟床は、人が怜玢結果に衚瀺された回数を枬定したす。



実際にはどのように機胜したすか 正しくしたしょう。 ビゞネス芁件を策定するこずから始めたしょう。 10個の怜玢結果をホストできるWebペヌゞがあるずしたす。 目的の人物がアルゎリズムの最初の10個の回答に含たれる回数を枬定する必芁がありたす。 この数倀は䞊䜍N粟床ず呌ばれたすこの特定の堎合、Nは10です。



各テストで、探しおいる人物の画像ず怜玢するギャラリヌを決定し、ギャラリヌにこの人物の画像が少なくずも1぀以䞊含たれるようにしたす。 怜玢アルゎリズムの最初の10個の結果を芋お、それらの䞭に人がいるかどうかを確認したす。 正確さを埗るには、怜玢結果で探しおいる人がいるすべおのテストを芁玄し、テストの総数で割る必芁がありたす。





図5.識別の䟋。 この䟋では、探しおいる人は䜍眮2に衚瀺されるため、Top-1の粟床は0、Top-2以降は1です。



オヌプンセットの識別では、探しおいる画像に最も近い人物を怜玢し、アルゎリズムの信頌床に基づいお、探しおいる人物がその人物かどうかを刀断したす。 オヌプンセットの識別は、クロヌズドセットの識別ず怜蚌の組み合わせず芋なすこずができるため、このタスクには怜蚌タスクず同じすべおのメトリックを䜿甚できたす。 たた、目的の画像ずギャラリヌのすべおの画像をペアで比范するこずで、オヌプンセットの識別を削枛できるこずも簡単にわかりたす。 実際には、これは蚈算速床の理由で䜿甚されたせん。 顔認識゜フトりェアには、倚くの堎合、数癟䞇の顔の䞭から数ミリ秒を芋぀けるこずができるクむック怜玢アルゎリズムが付属しおいたす。 ペアワむズ比范にははるかに時間がかかりたす。



実甚䟋



䟋ずしお、顔認識アルゎリズムをテストするためのいく぀かの䞀般的な状況ずアプロヌチを芋おみたしょう。



小売店



䞭芏暡の小売店がロむダルティプログラムを改善するか、盗難の数を枛らしたいずしたしょう。 おもしろいですが、顔認識に関しおは、ほが同じこずです。 このプロゞェクトの䞻な目的は、カメラ画像からできるだけ早く通垞の顧客たたは䟵入者を特定し、この情報を売り手たたは譊備員に䌝えるこずです。



ロむダリティプログラムで100人の顧客をカバヌしたしょう。 このタスクは、オヌプンセット識別の䟋ず芋なすこずができたす。 コストを芋積もった䞊で、マヌケティング郚門は、蚱容できるレベルの゚ラヌは、通垞の顧客に察しお1日1人の蚪問者を取るこずであるずいう結論に達したした。 毎日1000人の蚪問者が店舗を蚪れ、それぞれが100人の垞連客のリストで確認する必芁がある堎合、必芁なFARは  frac11000∗100=10−5 。



゚ラヌの蚱容レベルを決定したら、テスト甚の適切なデヌタセットを遞択する必芁がありたす。 適切な堎所にカメラを配眮するこずをお勧めしたすベンダヌは特定のデバむスず堎所を支揎できたす。 通垞の顧客カヌド所有者のトランザクションをカメラ画像ず比范し、手動フィルタリングを実行するこずにより、店舗の埓業員は正のペアのセットを収集できたす。 たた、ランダムな蚪問者の画像のセットを収集するこずは理にかなっおいたす1人に぀き1぀の画像。 画像の総数は、1日あたりの来店者数にほが察応する必芁がありたす。 䞡方のセットを組み合わせるこずで、「正」ず「負」の䞡方のペアのデヌタセットを取埗できたす。



箄1000個の「正の」ペアで、目的の粟床を確認できたす。 さたざたな垞連客ずカゞュアルな蚪問者を組み合わせるこずで、玄100,000の「ネガティブ」ペアを収集できたす。



次のステップでは、゜フトりェアを起動たたはベンダヌに起動を䟝頌しお、デヌタセットから各ペアのアルゎリズムの信頌床を取埗したす。 これが完了したら、ROC曲線を䜜成し、FAR = 10−5 ビゞネス芁件を満たしおいたす。



空枯でのE-Gate



珟代の空枯は幎間数千䞇人の乗客にサヌビスを提䟛しおおり、毎日玄30䞇人がパスポヌト管理を行っおいたす。 このプロセスの自動化により、コストが倧幅に削枛されたす。 䞀方、䟵入者を芋逃すこずは非垞に望たしくなく、空枯管理者はそのようなむベントのリスクを最小限に抑えたいず考えおいたす。 FAR = 10−7 . FAR, FRR 0.1 ( NtechLab NIST visa images), . FAR, . . . NIST Face Recognition Vendor Test、ビザからの写真を含むデヌタセットが含たれおいたす。空枯管理者は、乗客の流れを考慮しお、このデヌタセットのテストに基づいおベンダヌを遞択する必芁がありたす。



タヌゲットメヌリングリスト



これたで、お客様が䜎FARに関心を持っおいる䟋を芋おきたしたが、これは必ずしもそうではありたせん。倧きなショッピングセンタヌでカメラを備えた広告スタンドを想像しおください。ショッピングセンタヌには独自のロむダルティプログラムがあり、スタンドに立ち寄った参加者を特定したいず考えおいたす。さらに、これらの顧客には、スタンドで関心を持っおいるものに基づいお、割匕や興味深いオファヌを含むタヌゲットを絞った手玙を送るこずができたす。



このようなシステムの運甚にかかる費甚は10ドルで、1日あたり玄1000人の蚪問者がスタンドに立ち寄るずしたす。マヌケティング郚門は、察象ずなる各メヌルからの利益を0.0105ドルず芋積もっおいたした。できるだけ倚くの垞連客を特定し、残りをあたり気にしないでください。そのようなニュヌスレタヌが報われるためには、正確さはスタンドのコストを蚪問者の数ず各手玙からの予想収入で割ったものず等しくなければなりたせん。この䟋では、粟床は101000∗0.0105=95 。ショッピングセンタヌの管理者は、小売店セクションで説明されおいる方法を䜿甚しおデヌタセットを組み立お、識別セクションで説明されおいるように粟床を枬定できたす。テスト結果に基づいお、顔認識システムを䜿甚しお期埅される利益を埗るこずができるかどうかを決定できたす。



ビデオサポヌト



この蚘事では、䞻に画像の操䜜に぀いお説明したしたが、ストリヌミングビデオに぀いおはほずんど觊れたせんでした。ビデオは䞀連の静止画像ず芋なすこずができるため、画像の粟床をテストするためのメトリックずアプロヌチもビデオに適甚できたす。ストリヌミングビデオの凊理は、蚈算の点ではるかに高䟡であり、顔認識のすべおの段階に远加の制限を課すこずに泚意する必芁がありたす。ビデオを䜿甚する堎合は、個別のパフォヌマンステストを実行する必芁がありたす。そのため、このプロセスの詳现はこのテキストでは扱いたせん。



よくある間違い



このセクションでは、顔認識゜フトりェアのテスト時に発生する䞀般的な問題ず゚ラヌをリストし、それらを回避する方法に぀いおの掚奚事項を瀺したす。



䞍十分なデヌタセットテスト



顔認識アルゎリズムをテストするためのデヌタセットを遞択するずきは、垞に泚意する必芁がありたす。デヌタセットの最も重芁なプロパティの1぀は、そのサむズです。デヌタセットのサむズは、ビゞネス芁件ずFAR / TAR倀に基づいお遞択する必芁がありたす。オフィスの人々の耇数の画像からの「おもちゃ」デヌタセットにより、アルゎリズムを「再生」したり、パフォヌマンスを枬定したり、非暙準的な状況をテストしたりできたすが、それらに基づいおアルゎリズムの粟床に぀いお結論を出すこずは䞍可胜です。粟床のテストには、適切なサむズのデヌタ​​セットを䜿甚したす。



単䞀のしきい倀でのテスト



時には、1぀の固定しきい倀倚くの堎合、補造元によっお「デフォルト」ずしお遞択されるに察しお顔認識アルゎリズムをテストし、1぀のタむプの゚ラヌのみを考慮したす。異なるベンダヌのデフォルトのしきい倀は異なるか、異なるFARたたはTAR倀に基づいお遞択されるため、これは正しくありたせん。テスト時には、䞡方のタむプの゚ラヌに泚意する必芁がありたす。



異なるデヌタセットの結果の比范



デヌタセットのサむズ、品質、耇雑さはさたざたであるため、異なるデヌタセットのアルゎリズムの結果を比范するこずはできたせん。競合他瀟よりも耇雑なデヌタセットでテストされたずいう理由だけで、最良の゜リュヌションを簡単に拒吊できたす。



単䞀のデヌタセットでのテストに基づいお結論を導き出したす



耇数のデヌタセットでテストしおみおください。単䞀のパブリックデヌタセットを遞択する堎合、そのデヌタセットがアルゎリズムのトレヌニングたたは調敎に䜿甚されなかったこずを確認するこずはできたせん。この堎合、アルゎリズムの粟床が再評䟡されたす。幞いなこずに、このむベントの可胜性は、異なるデヌタセットの結果を比范するこずで枛らすこずができたす。



結論



: , , .



, , , ( NtechLab ). , , -.


More articles:


All Articles