顔認識アルゴリズムの実装とテスト

内容：

1. 指定されたクラスの画像上に目立つオブジェクトを構築するのに最適な色空間の検索と分析

2. 分類の主要な特徴の定義と、表情の数学的モデルの開発

3. 最適な顔認識アルゴリズムの合成

4. 顔認識アルゴリズムの実装とテスト

5. さまざまな状態のユーザーの唇の画像のテストデータベースを作成して、システムの精度を向上させる

6. オープンソースの音声認識に基づいて最適な音声認識システムを検索する

7. 統合のためのオープンAPIを備えた最適なクローズドソースオーディオ音声認識システムを検索する

8. テストレポートを使用して、ビデオ拡張機能を音声認識システムに統合する実験

目的：

人間の顔の表情の認識に最適なアルゴリズムを決定し、その実装方法を検討します。

タスク：

既存の顔認識アルゴリズムを分析するには、分類の主要な特徴と決定した数学的モデルを考慮に入れます。 得られたデータに基づいて、その後の実装とテストに最適なアルゴリズムのバージョンを選択します。

はじめに

以前の科学報告では、顔の表情を認識するための数学的モデルが開発され、顔の表情を認識するためのアルゴリズムが合成されました。 顔の表情を認識するための2つのアプローチがあります-唇領域での変形可能なモデルの使用と、ガウス混合に基づくアルゴリズムを使用したその後の分析による唇領域のベクトル機能の取得。 顔認識を実装するには、最適なアルゴリズムを選択する必要があります。

1.人間の顔を認識するためのアルゴリズム：



1.1変形可能モデルに基づくアルゴリズム。

変形可能なテンプレートモデルは、何らかの形状のテンプレートです（2次元の場合、開いた曲線または閉じた曲線、3次元の場合、サーフェス）。 画像に重ね合わせると、テンプレートはさまざまな力の影響下で変形します。内部（特定のテンプレートごとに固有）および外部（テンプレートを重ね合わせた画像で定義）-モデルは入力データに合わせて形状を変更します[1]。 初期のラフリップモデルは、入力画像で定義された力場の作用の下で変形します（図1）。



検索用のテンプレートが厳密に設定されるハフ変換[2]などの従来の検索方法に対する主な利点は、変形可能なモデルが操作中に形状を変更できるため、オブジェクトをより柔軟に検索できることです[3 ]。



変形可能モデル[4]の主な欠点は、多数のフレームにわたる多数の反復が必要であり、システムに大きな負荷がかかることですが、主要な計算がクラウドに実行されると、システムをアンロードできます。



変形可能モデルは、その形状に課せられた制限の種類に従って、自由形式の変形可能モデルとパラメトリック変形可能モデルの2つのタイプに分類できます。

1.1.1自由形式の変形可能モデル

自由形式の変形可能モデルは、輪郭の滑らかさと連続性の一般的な要件に従う変形可能モデルです。 そのようなモデルの例は、蛇です[5]。 古典的な「蛇」は、スプラインによって定義される変形可能なモデルです。 変形可能モデルの変更は、唇の画像に沿ってスプライン制御点を移動することによって設定されます。エネルギーは、2つのコンポーネントの重み付き合計によって設定されます。 3番目の用語も可能です-追加のエネルギー、これは追加のユーザー制限を設定します。 「蛇」は、医療画像の処理[6]、動きの追跡タスク、セグメンテーション[7]で広く使用されています。



正式には、「ヘビ」は、輪郭c（s）=（x（s）、y（s））が与えられたパラメトリックです。 「蛇」のエネルギーは合計で表されます 、

ここで、Pは画像に関連付けられており、唇と密接に関連している可能性です。 国境を検索するために設定された「ヘビ」の場合、おそらく ここで、Iは画像の明るさです。



エネルギーを最小限に抑え、目的のパラメーターを取得します。 最小化は、たとえば、ブランチとボーダーの方法で実行できます。 このため、各制御点の座標は逐次的に繰り返し変更されます。 最も低いエネルギー値につながった変更は、次の反復ステップで使用されます。 最小化手順は、次のステップで変化が「蛇」のエネルギーを減らすことができなくなると終了します（図2）。



「ヘビ」の主な欠点は、初期化位置の近くに明確に定義された詳細がない場合、目的のオブジェクトの滑らかさの程度を決定する内部エネルギーの影響により、モデルが過度に引き伸ばされ、ゼロ導関数（最初と第二に、「ヘビ」のエネルギーを直接最小化します。 この効果を回避するには、特別な種類の変形可能なモデル、いわゆるバルーン（ボール）[8]を使用します。



「スネーク」の主な利点には、実装の相対的な容易さ（数値最適化手順を含まない場合）と入力データの変動に対する耐性が含まれます。



結果として、顔の表情を認識するために「蛇」を使用すると、数値の最適化手法を使用する必要が生じ、すでに厄介なアルゴリズムが複雑になると結論付けることができます。

1.1.2パラメトリック変形可能モデル

パラメトリック変形可能モデルは、より厳しい形状制限を持つモデルです。 モデルは、厳密に定義された形状テンプレートで初期化され、さらに変形すると、モデルの内部エネルギーが形状の制限への準拠を制御します[9]。 このようなモデルは、顔[10]、ジェスチャー、画像内の人物の認識に広く使用されています。



式v（s）で表されるヘビのエネルギー方程式Eは、通常の「ヘビ」のように見えます。



最初の2つの用語は、ヘビの規則性エネルギーを表します。 極座標系では、v（s）= [r（s）、θ（s）]、sは0から1です。3番目の項は、画像から取得した外力に関連するエネルギー、4番目は圧力ありです。



外力は、上記の特性に基づいて決定されます。 彼女は、コントロールポイントを特定の強度の値にシフトすることができます。 次のように計算されます。



解析的に定義されたパラメトリック変形可能モデルは、何らかの方法で相互接続された一連のプリミティブによって記述されます[10]。 プリミティブとそれらの間の関係は内部エネルギーの計算に関与します。そのため、変形可能モデルの形状は初期化フォームから大きく逸脱することはできません（図3）。



パラメトリック変形可能モデルの別の変形は、プロトタイプベースの変形可能モデルです[9]。 プロトタイプベースのモデルの初期化位置と形式は、機械学習法または高レベルの画像処理によって確立されます。



「スネーク」に対するパラメトリックモデルの利点は、一般的な場合、モデルの形状が指定された制限内で変化するため、拘束パラメーターを使用する必要がないことです。 また、数値最適化を使用する必要はしばしば捨てられます。 実験データ[9]に基づくと、非常にうまく機能します。



パラメトリックモデルの主な欠点は、トレーニングサンプルを作成する必要があることと、モデルパラメーターを変更した場合にサンプルを再構築することです。



「スネーク」とパラメトリックに指定されたモデルを比較した結果、トレーニングサンプルの変更は「スネーク」の結果を最適化するためのパラメーターの変更と調整よりも快適であるため、パラメトリックモデルが最良の選択であると結論付けられました。

1.2ガウス混合に基づくアルゴリズム。

ガウス混合は、正規値の分布のセットです[12]。 標準正規分布は、数学的な期待値が0で標準偏差が1の正規分布です。これらの量の合計により、ガウス混合が得られます（図4）。



ガウス混合のモデルは、成分Mの加重和であり、次のように記述できます。

（1）

ここで、xはランダム変数のD次元ベクトルです。 bi（x）、i = 1、...、Mはモデルコンポーネントの分布密度関数、pi（i = 1、...、M）はモデルコンポーネントの重みです。 各成分は、次の形式のD次元ガウス分布関数です。

（2）

ガウス混合の完全なモデルは、数学的な期待ベクトル、共分散行列、およびモデルの各コンポーネントの混合重みによって決定されます。 これらのパラメーターは、次のようにまとめて記述されます



顔認識問題では、各唇画像はガウス混合のモデルで表され、そのモデルλに従って配置されます。 ガウス混合モデルは、共分散行列のタイプに応じて、いくつかの異なる形式をとることができます。



ガウス混合を使用する主な利点は、モデルの個々のコンポーネントが特定の音響サイン/イベントのセットをシミュレートできるという直感的な仮定です[12]。



ガウス混合のモデルを使用して表情を識別することの2番目の利点は、ガウス分布の線形結合が多数の唇画像のクラスを表すことができるという経験的観察です。 ガウスモデルの混合の強みの1つは、これらのモデルが任意の分布を非常に正確に近似できることです。



ガウス混合のモデルを使用することの欠点は、各フレームから特徴ベクトルを抽出することの難しさと、得られたデータをクラスに分割することが難しいため、得られたデータの分析にあります。



実装の複雑さと多数の計算のために、顔の表情の認識にガウス混合を使用することはリソース集約的であり、得られたデータのあいまいさのために、発生するエラーを取り除くことは困難です。

テストと結論：

このレポートでは、変形可能モデル（変形可能自由形式モデルとパラメトリックモデル）のプロパティと統計的特性（ガウス混合に基づくアルゴリズム）に基づく顔認識アルゴリズムを検討しました。 変形可能モデルは、元のテンプレートのプロパティの変更に基づいており、ガウス混合は、関心領域の統計的特性の使用を伴います。



ガウス混合の使用には大量のデータの処理が含まれ[13]、これはリソースを消費し、パラメトリック変形可能モデルの使用には少なくとも4分のプロセッサ時間を要する前処理手順が必要です[5]。 そのため、通常の「ヘビ」を使用することを選択した理由は、 速度が最適です[3]。



図 5人の唇の事前に二値化された画像による変形可能なモデルの動作。



調査によれば、唇の領域の予備的な二値化により、アクティブな輪郭アルゴリズムの品質を大幅に向上させることができます（図5）。 同時に、パラメトリックアクティブモデルを使用する場合のように、システムを事前設定し、参照画像を分析する手順を取り除くことができます。



唇の輪郭を自信を持って決定することで、既存の音声認識システムを改善するマイクロポーズの直接分析タスクの実装に進むことができます。

参照資料

1）Demetri Terzopoulos、John Platt、Alan Barr、Kurt Fleischer。 弾性変形可能なモデル。 コンピュータグラフィックス（ACM SIGGRAPHの議事録）、Vol。 21、No。 4、pp。 205-214、1987年7月。

2）リンダ・シャピロ、ジョン・ストックマン。 コンピュータービジョン。 モスクワ：基礎知識研究所、2006年。

3）Michael Kass、Andrew Witkin、およびDemetri Terzopoulos。 ヘビ：アクティブな輪郭モデル。 Int。 Journal of Computer Vision、Vol。 1、いいえ 4、pp。 321-331、1988年1月。

4）Shu-Fai Wong、Kwan-Yee Kenneth Wong。 低コントラスト環境下のテクスチャに敏感なヘビによるロバストな画像セグメンテーション。 Procで Int。 制御、自動化、ロボティクスの情報学に関する会議、pp。430-434、2004年8月。

5）Michael Kass、Andrew Witkin、およびDemetri Terzopoulos。 ヘビ：アクティブな輪郭モデル。 Int。 Journal of Computer Vision、Vol。 1、いいえ 4、pp。 321-331、1988年1月。

6）ティム・マキナニー、デメトリ・テルゾプーロス。 医用画像解析における変形可能モデル：調査。 医用画像解析、1（2）：pp。 91-108、1996。

7）ダグP.ペリン、クリストファーE.スミス。 アクティブな輪郭モデルの古典的な内部力の再考。 コンピュータビジョンとパターン認識、Vol。 2、pp。615-620、2001。

8）ローラン・D・コーエン。 アクティブな輪郭モデルとバルーンについて。 コンピュータビジョン、グラフィックス、画像処理：画像理解、Vol。 53、No 2、pp。 211-218、1991年3月。

9）アニル・K・ジャイン、ユー・ゾン、スリダン・ラクシュマナン。 変形可能なテンプレートを使用したオブジェクトマッチング。 IEEE Trans。 パターンアナルに。 そして、マシンIntel。 巻 18、No。 3、ページ。 267-278、1996年3月。

10）Alan L. Yuille、Peter W. Hallinan、David S. Cohen。 変形可能なテンプレートを使用した顔からの特徴抽出。 Int。 Journal of Computer Vision、Vol。 8、いいえ。 2、pp。 99-111、1992年8月。

11）Markel JD、Oshika BT、Gray AH // IEEE Trans。 音響、音声、信号処理について。 1977。 25. P. 330–337。

12）「時間的コヒーレントの漸進的学習。 ガウス混合モデル»OgnjenArandjelovicґ、Roberto Cipolla、工学部、ケンブリッジ。



続く