顔認識に対する既存のアプローチの分析

うらやましいほどの規則性で、Habréに表示されるさまざまな顔認識方法に関する記事が表示されます。 この素晴らしいトピックをサポートするだけでなく、すべてではないにしても、顔認識への多くのアプローチ、それらの長所と短所をカバーする内部ドキュメントをレイアウトすることにしました。 それは、いわば、教育目的のために、マシンビジョン部門の若い従業員のために、私たちのエンジニアであるアンドレイ・グサックによって編集されました。 今日、私たちは皆にそれを提供します。 記事の最後には、最も好奇心the盛な人のための参考文献の印象的なリストがあります。



それでは始めましょう。

提示されたアルゴリズムの多様性にもかかわらず、顔認識プロセスの一般的な構造を区別できます。





認識中の一般的な顔画像処理



最初の段階で、顔が検出され、画像内でローカライズされます。 認識段階では、顔画像の位置合わせ（幾何学的および明るさ）が実行され、サインが計算され、認識が直接実行されます-計算されたサインとデータベースに保存されている標準との比較。 提示されたすべてのアルゴリズムの主な違いは、特徴の計算とそれらの間のセットの比較です。

1.グラフの柔軟な比較方法（弾性グラフマッチング）[13]。

この方法の本質は、顔の画像を記述するグラフの弾性比較に限定されます。 面は、重み付きの頂点とエッジを持つグラフとして表されます。 認識段階では、グラフの1つ（参照グラフ）は変更されないままで、もう1つは最初のグラフに最も適合するように変形されます。 このような認識システムでは、グラフは長方形の格子か、顔の特徴的な（人体計測）点によって形成される構造のいずれかです。



a）



b）



顔認識のグラフ構造の例：a）規則的な格子b）顔の人体測定点に基づくグラフ。



グラフの頂点で、符号の値が計算されます。ほとんどの場合、ガボールフィルターの複雑な値またはそれらの順序セット-ガボールウェーブレット（ガボールビルド）を使用します。





セット（バンク、ジェット）ガボールフィルター





2つのガボールフィルターを使用した顔画像の畳み込みの例



グラフのエッジは、隣接する頂点間の距離によって重み付けされます。 2つのグラフの差（距離、識別特性）は、頂点で計算された属性の値の差とグラフのエッジの変形度の両方を考慮した価格変形関数を使用して計算されます。

グラフは、その各頂点を初期位置から特定の方向に特定の距離だけ特定の距離だけ変位させ、変形可能なグラフの上部にある記号の値（ガボールフィルター応答）と参照グラフの対応する頂点との差が最小になるようにその位置を選択することにより変形されます。 この操作は、変形可能グラフと参照グラフの特徴間の最小の合計差に達するまで、グラフのすべての頂点に対して交互に実行されます。 変形可能グラフのこの位置での変形価格関数の値は、顔の入力画像と参照グラフとの差の尺度になります。 この「緩和」変形手順は、システムデータベースに埋め込まれたすべての参照者に対して実行する必要があります。 システムの認識の結果は、変形の価格関数の最高値を持つ標準です。





通常のグラフ格子変形の例



一部の出版物では、さまざまな感情表現や顔の角度が15度に変化した場合でも、95〜97％の認識効率が示されています。 ただし、グラフ上の弾性比較システムの開発者は、このアプローチの高い計算コストを挙げています。 たとえば、顔の入力画像を87枚の参照画像と比較するには、23台のトランスピュータを備えた並列コンピュータで作業する場合、約25秒かかりました[15]（注：1993年発行）。 このテーマに関する他の出版物は、時間を示していないか、素晴らしいと言っています。



短所：認識手順の計算量が多い。 新しい標準を記憶するときの低い製造可能性。 人のデータベースのサイズに対する稼働時間の線形依存。

2.ニューラルネットワーク

現在、約12種類のニューラルネットワーク（NS）があります。 最も広く使用されているオプションの1つは、多層パーセプトロン上に構築されたネットワークです。これにより、ネットワークの事前構成/トレーニングに従って入力に適用される画像/信号を分類できます。

ニューラルネットワークは、一連のトレーニング例でトレーニングされます。 トレーニングの本質は、勾配降下法によって最適化問題を解決する過程で、ニューロン間の接続の重みを調整することです。 NSをトレーニングするプロセスで、主要な特徴が自動的に抽出され、それらの重要性が決定され、それらの間の関係が構築されます。 訓練されたNSは、能力を一般化するため、学習プロセスで得られた経験を未知の画像に適用できると想定されます。

（出版物の分析による）顔認識の分野での最良の結果は、畳み込みニューラルネットワークまたは畳み込みニューラルネットワーク（以降-SNA）[29-31]によって示されました。 成功は、多層パーセプトロンとは対照的に、二次元画像トポロジーを考慮する可能性によるものです。

SNSの特徴は、局所受容体フィールド（ニューロンの局所的な2次元接続性を提供）、総重量（画像内の任意の場所でいくつかの特徴の検出を提供）、および空間サンプリング（空間サブサンプリング）による階層構造です。 これらのイノベーションのおかげで、SNAはスケール、変位、回転、角度の変化、その他の歪みの変化に対する部分的な耐性を提供します。





畳み込みニューラルネットワークアーキテクチャの概略図



ORLデータベースを使用してSNAをテストします。ORLデータベースには、照明、スケール、空間回転、位置、およびさまざまな感情がわずかに変化する顔の画像が含まれ、96％の認識精度が示されました。

SNAは、DeepFace [47]の開発で開発されました。

Facebookは、ソーシャルネットワークのユーザーの顔を認識します。 すべてのアーキテクチャ機能が閉じられています。





DeepFaceの仕組み



ニューラルネットワークの短所：新しい参照者をデータベースに追加するには、使用可能なセット全体でネットワークを完全に再トレーニングする必要があります（1時間から数日までのサンプルサイズに応じてかなり長い手順）。 学習に関連する数学的性質の問題：局所最適化、最適化最適化ステップの選択、再訓練など。ネットワークアーキテクチャ（ニューロンの数、層、接続の性質）を選択する段階を形式化することは困難です。 上記のすべてを要約すると、国会は作業結果の解釈が難しい「ブラックボックス」であると結論付けることができます。

3.隠れマルコフモデル（SMM、HMM）

顔認識の統計的手法の1つは、離散時間を使用した隠れマルコフモデル（SMM）です[32-34]。 SMMは、信号の統計的特性を使用して、空間特性を直接考慮します。 モデルの要素は、多くの隠れた状態、多くの観測可能な状態、遷移確率のマトリックス、状態の初期確率です。 それぞれに独自のマルコフモデルがあります。 オブジェクトを認識するとき、オブジェクトの特定のベースに対して生成されたマルコフモデルがチェックされ、このオブジェクトの観測シーケンスの観測された確率の最大値が対応するモデルによって生成されます。

今日まで、顔認識のためのSMMの商業利用の例を見つけることはできませんでした。



短所：

-各データベースのモデルパラメータを選択する必要があります。

-SMMには識別能力がありません。つまり、トレーニングアルゴリズムは各画像のモデルに対する応答を最大化するだけで、他のモデルへの応答は最小化しません。

4.主成分分析または主成分分析（PCA）[11]

最も有名でよく開発されている方法の1つは、Karunen-Loev変換に基づく主成分分析（PCA）メソッドです。

当初、主要なコンポーネントのメソッドは、情報の大幅な損失なしに属性のスペースを削減するために統計で使用され始めました。 顔認識の問題では、主に小さな次元のベクトル（主成分）で顔画像を表現するために使用され、データベースに格納されている参照ベクトルと比較されます。

主成分法の主な目的は、できるだけ多くの顔に属する「典型的な」画像を記述するように、特徴空間の次元を大幅に縮小することです。 この方法を使用すると、顔画像のトレーニングサンプルのさまざまな変動を識別し、この変動を固有顔と呼ばれるいくつかの直交ベクトルに基づいて記述することができます。



顔画像のトレーニングサンプルで一度取得された固有ベクトルのセットは、他のすべての顔画像をエンコードするために使用され、これらの固有ベクトルの重み付き組み合わせで表されます。 限られた数の固有ベクトルを使用して、顔の入力画像の圧縮近似を取得することができます。これは、係数のベクトルとしてデータベースに格納でき、同時に顔データベースの検索キーとして機能します。



主成分法の本質は次のとおりです。 最初に、顔のトレーニングセット全体が1つの共通データマトリックスに変換されます。各行は、行に配置された人物の画像の1つのインスタンスを表します。 トレーニングセットのすべての面を同じサイズに縮小し、ヒストグラムを正規化する必要があります。





顔のトレーニングセットを1つの共通行列Xに変換する



次に、データが正規化され、行が0番目の平均と1番目の分散に縮小され、共分散行列が計算されます。 得られた共分散行列について、固有値と対応する固有ベクトル（固有値）を決定する問題が解決されます。 次に、固有ベクトルは固有値の降順でソートされ、最初のk個のベクトルのみがルールに従って残ります。







PCAアルゴリズム





訓練された顔のセットで取得された最初の10個の固有ベクトル（固有値）の例



= 0.956 * -1.842 * +0.046 ...



独自の顔と主要コンポーネントの組み合わせを使用した人間の顔の構築（合成）の例





最初の最良の固有ベクトルから基底を選択する原理





3つの自身の顔から取得した3次元メトリック空間に顔をマッピングし、さらに認識する例







主成分法は、実際のアプリケーションで実証されています。 ただし、顔の明るさや表情に大きな変化がある場合、この方法の有効性は大幅に低下します。 問題は、PCAが個人のクラスを区別するのではなく、可能な限り入力データセットを近似することを目標に部分空間を選択することです。



[22]で、フィッシャー線形判別式を使用してこの問題の解決策が提案されました（名前「Eigen-Fisher」、「Fisherface」、LDAは文献に記載されています）。 LDAは、比率を最大化する線形部分空間を選択します。







どこで



クラス間スプレッド行列、および





クラス内散布の行列。 mはデータベース内のクラスの数です。



LDAは、クラスが可能な限り線形に分離可能なデータ投影法を探しています（下図を参照）。 比較のために、PCAは、個人のデータベース全体の広がりが最大化される（クラスを除く）データ予測を探しています。 実験結果[22]によると、強いタンクと顔画像の陰影の低い条件では、FisherfaceはEigenfaceの53％と比較して95％の効率を示しました。





投影の形成の基本的な違いPCAとLDA



PCAとLDAの違い

5.アクティブな外観モデル（AAM）およびアクティブな形状モデル（ASM）（ Habraソース ）

アクティブな外観モデル（AAM）

アクティブな外観モデル（AAM）は、さまざまな変形を通じて実際の画像に適応できる画像の統計モデルです。 2次元バージョンのこのタイプのモデルは、1998年にTim KutsとChris Taylorによって提案されました[17,18]。 最初は、アクティブな外観モデルを使用して、顔画像のパラメーターを評価しました。

アクティブな外観モデルには、形状に関連付けられたパラメーター（形状パラメーター）と、画像のピクセルまたはテクスチャの統計モデルに関連付けられたパラメーター（外観パラメーター）の2種類のパラメーターが含まれます。 使用する前に、事前にマークされた画像のセットでモデルをトレーニングする必要があります。 画像のマーキングは手動で行われます。 各ラベルには独自の番号があり、新しいイメージへの適応中にモデルが見つけなければならない特徴的なポイントを定義します。





68ポイントの顔画像にAAM形状を形成するマークの例。



AAMトレーニング手順は、ラベル付けされた画像の形状を正規化して、スケール、傾き、バイアスの違いを補正することから始まります。 このために、いわゆる一般化されたプロクラストフ分析が使用されます。





正規化の前後の顔の形のポイントの座標



正規化されたポイントのセット全体から、主成分がPCAメソッドを使用して抽出されます。





AAM形状モデルは、三角形分割格子s0と、s0に関する変位siの線形結合で構成されます。



さらに、フォームのポイントによって形成される三角形の内側のピクセルから、各列が対応するテクスチャのピクセル値を含むようにマトリックスが形成されます。 トレーニングに使用されるテクスチャは、シングルチャンネル（グレースケール）またはマルチチャンネル（RGBカラースペースなど）のいずれかであることに注意してください。 マルチチャネルテクスチャの場合、ピクセルベクトルはチャネルごとに個別に形成され、それらの連結が実行されます。 テクスチャマトリックスの主要コンポーネントを見つけた後、AAMモデルはトレーニング済みと見なされます。







AAM外観モデルは、基本格子s0内のピクセルと、A0に対する変位Aiの線形結合によって定義される基本形A0で構成されます。







AAMのインスタンス化の例。 形状オプションベクトル

p =（p_1、p_2、〖...、p〗_m）^ T =（-54,10、-9.1、...）^ Tはs形式のモデルを合成するために使用され、パラメーターベクトルλ=（λ_1、λ_2、〖...、 λ〗_m）^ T =（3559,351、-256、...）^モデルの外観を合成するためのT。 最終的な顔モデル〖M（W（x; p））〗^は、形状と外観の2つのモデルの組み合わせとして取得されます。



モデルを特定の顔画像に適合させることは、最適化の問題を解決するプロセスで実行されます。その本質は機能を最小化することです







勾配降下法。 この場合に見つかったモデルパラメータは、特定の画像内のモデルの位置を反映します。







勾配降下手順を20回繰り返して、特定の画像にモデルを適合させる例。



AAMを使用すると、剛体と非剛体の両方の変形を受けるオブジェクトの画像をシミュレートできます。 AAMは一連のパラメータで構成され、その一部は顔の形状を表し、残りはそのテクスチャを定義します。 変形は通常、伝達、回転、スケーリングの構成の形での幾何学的変換として理解されます。 画像内の顔の位置を特定する問題を解決する場合、AAMのパラメーター（位置、形状、テクスチャ）の検索が実行されます。これは、観察されたものに最も近い合成画像を表します。 AAMの近接度により、調整する画像が顔の有無によって決まります。



アクティブ形状モデル（ASM）



ASMメソッド[16、19、20]の本質は、人体測定点の位置間の統計的関係を考慮することです。 フルフェイスで撮影された顔の画像の利用可能なサンプル。 画像では、専門家が人体測定点の位置をマークします。 各画像で、ポイントには同じ順序で番号が付けられます。







68ポイントを使用した顔の形状の例



すべての画像の座標を単一のシステムに取り込むために、いわゆる 一般化された外皮分析。その結果、すべてのポイントが同じスケールに縮小され、中央に配置されます。 次に、画像セット全体について、平均形式と共分散行列が計算されます。 共分散行列に基づいて、固有ベクトルが計算され、対応する固有値の降順に並べ替えられます。 ASMモデルは、行列Φと中型ベクトルs byによって決定されます。

次に、モデルとパラメーターを使用して任意のフォームを記述できます。







トレーニングセットの一部ではない新しいイメージでのASMモデルのローカライズは、最適化問題を解決するプロセスで実行されます。





a）b）c）d）

特定のイメージでのASMモデルのローカリゼーションプロセスの図：a）初期位置b）5回の反復後c）10回の反復後d）モデルが収束した



ただし、AAMとASMの主な目的は顔認識ではなく、顔の正確な位置特定と、さらに処理するための画像内の人体測定ポイントです。



ほとんどすべてのアルゴリズムで、分類に先行する必須ステップは位置合わせです。これは、カメラに対する正面位置への顔画像の位置合わせ、または単一の座標系への顔のセット（たとえば、分類器をトレーニングするためのトレーニングセット）の縮小として理解されます。 この段階を実現するには、すべての顔に特徴的な人体測定点の画像での位置確認が必要です。ほとんどの場合、これらは瞳孔の中心または目の角です。 異なる研究者は、そのようなポイントの異なるグループを区別します。 リアルタイムシステムの計算コストを削減するために、開発者が割り当てるポイントは10個までです[1]。



AAMおよびASMモデルは、顔画像上のこれらの人体測定点を正確に特定するように正確に設計されています。

6.顔認識システムの開発に関連する主な問題

照明の問題







頭の位置の問題（それにもかかわらず、顔は3Dオブジェクトです）。







提案された顔認識アルゴリズムの有効性を評価するために、DARPA機関と米国陸軍研究所はFERET（顔認識技術）プログラムを開発しました。



FERETプログラムの大規模なテストでは、グラフの柔軟な比較と主成分分析（PCA）のさまざまな修正に基づくアルゴリズムが参加しました。 すべてのアルゴリズムの効率はほぼ同じでした。 この点で、それらを明確に区別することは困難であり、不可能です（特にテスト日が合意されている場合）。 同じ日に撮影した正面画像の場合、許容される認識精度は通常95％です。 異なるデバイスで、異なる照明条件下で撮影された画像の場合、通常、精度は80％に低下します。 1年の差で撮影した画像の場合、認識精度は約50％でした。 50パーセントでさえ、この種のシステムの許容精度を超えていることに注意してください。



フェレットは毎年、100万人以上の顔に基づいた最新の顔認識システムの比較テストに関するレポートを発行しています[55]。 残念ながら、最近の報告では、認識システムの構築の原則は公開されていませんが、商用システムの結果のみが公開されています。 これまで、NECが開発したNeoFaceシステムが主流です。

参照（最初のリンクのグーグル）

1.画像ベースの顔認識-問題と方法

2.顔検出Survey.pdf

3.顔認識文学調査

4.顔認識技術の調査

5.顔の検出、抽出、認識の調査

6.顔画像に基づいて人物を識別する方法の概要

7.顔画像による人の認識方法

8.顔認識アルゴリズムの比較分析

9.顔認識テクニック

10.人体測定ポイントのローカライズへの1つのアプローチについて。

11.セグメンテーションアルゴリズムを使用したグループ写真での顔認識

12.顔認識に関する研究報告書第2段階

13. Elastic Bunch Graph Matchingによる顔認識

14.幾何学的変換に基づいて写真の肖像を使用して人物を識別するアルゴリズム。 論文。

15.ダイナミックリンクアーキテクチャでの歪み不変オブジェクト認識

16.アクティブな形状モデル、ローカルパッチ、サポートベクターマシンを使用した顔認識

17.アクティブな外観モデルを使用した顔認識

18.顔認識のアクティブな外観モデル

19.アクティブな形状モデルとサポートベクターマシンを使用した顔の位置合わせ

20.アクティブな形状モデル-トレーニングとアプリケーション

21.野生のフィッシャーベクトルの顔

22.固有顔vs. クラス固有の線形射影を使用したFisherfaces認識

23.固有フェースとフィッシャーフェース

24.次元削減

25.部品ベースの変形可能登録に関するICCV 2011チュートリアル

26.顔の位置合わせのための制約付きローカルモデル、チュートリアル

27.あなたは誰ですか-ビデオから人特有の分類子を学習します

28.ニューラルネットワーク法による顔画像による人の認識

29.顔認識畳み込みニューラルネットワークアプローチ

30.畳み込みニューラルネットワークと単純なロジスティック分類器を使用した顔認識

31.畳み込みニューラルネットワークによる顔画像解析

32.隠れマルコフ過程に基づく顔認識方法。 オートフェラット

33.顔認識のための隠れマルコフモデルの使用

34.隠れマルコフモデルを使用した顔の検出と認識

35. GNU Octave-MATLABによる顔認識

36. Pythonによる顔認識

37.人体測定3D顔認識

38. 3D顔認識

39. 3Dモーフィングモデルのフィッティングに基づく顔認識

40.顔認識

41.スパース表現によるロバストな顔認識

42.顔認識アルゴリズムのFERET評価方法

43.歴史的な写真の電子コレクションで顔を検索する

44.リアルタイム顔認識専用のハードウェアビジョンシステムの設計、実装、評価

45.善、悪、Uい顔認識チャレンジ問題の紹介

46.デジタル画像で人間の顔を検出する方法の研究開発。 卒業証書

47. DeepFaceが顔検証で人間レベルのパフォーマンスのギャップを埋める

48. TVビデオの文字の自動命名から一口を奪う

49.実用的な顔認識システムに向けて、スパース表現によるロバストなアライメントと照明

50.画像分析および処理の応用問題を解決するために人の顔を検出するアルゴリズム

51. 画像内の顔を検出およびローカライズ

52.修正されたViola-Jonesメソッド

53.機械学習法に基づいてオブジェクトを検出および分類するアルゴリズムの開発および分析

54.顔の概要認識グランドチャレンジ

55.顔認識ベンダーテスト（FRVT）

56.顔識別タスクにおけるSURFアルゴリズムの適用の有効性について