Viola Jonesのアップグレード

前のトピックで、どのテクノロジーと内部アルゴリズムを使用して、Viola Jonesメソッドがどのように機能するかを示しました。 この投稿では、チェーンを中断しないように、多くの理論もあります。すでに素晴らしい方法を改善する方法を示します 。 ここでソフトウェアの実装についても説明すると、読むのに非常に不便な巨大なキャンバスがあり、これはまったく見ていません-情報量を2つの別々の投稿に分割することにしました。 以下は理論であり、写真はほとんどありませんが、多くの有用なものがあります。

感情認識の段階における新たな問題

人は、自分のビジョンの助けを借りて顔や感情を検出するタスクにどのように対処するかさえ気づきません。 目が人、物、自然の周囲の顔を無意識のうちに見るとき、視覚情報の流れ全体を処理するために脳がどれだけの仕事をしているのかは感じられません。 人が写真でなじみのある人を見つけたり、悪意のあるグリマスを笑顔と区別することは難しくありません。

男は、顔や感情を検出するためのコンピューターシステムを再構築して構築しようとしています-彼は部分的に成功していますが、そのたびに認識の大きな問題に直面しなければなりません。 最近のコンピューターは、膨大な量の情報、写真、ビデオ、音声ファイルを自由に保存できます。 しかし、たとえば同じように簡単にコンピューティングシステムを見つけるには、自分の個人的なフォトギャラリーから適切な人物の特定の感情を持つ適切な写真を見つけることは困難な作業です。 このタスクを妨げる要因がいくつかあります。

• 目的のオブジェクトのさまざまなサイズ、および画像のスケール。
• 検出されたオブジェクトは、画像内のどこにでも存在できます。
• 完全に異なるオブジェクトは、探しているオブジェクトのように見える場合があります。
• 私たちが別のものとして認識しているオブジェクトは、画像では強調表示されず、他のオブジェクトの背景にあり、それらとマージします。
• 古い写真および未処理の写真-スキャンした写真に傷、ノイズ、ゆがみ、さまざまな種類のモアレが表示されるため、常にシステムの「注意をそらす」ことがあります。
• 多くの認識アルゴリズム（Viola-Jonesでも同様）では、作業は2D空間で直接行われることを忘れないでください。 したがって、目的のオブジェクトの回転と、投影の指定された座標軸に対する視野角の変化は、2Dでの投影に影響します。 同一のオブジェクトは、回転または距離に応じて、まったく異なる画像を提供できます。 希望の顔を画像平面内で回転させることができます。 カメラに対する顔の向きの比較的小さな変化でさえ、顔の画像の深刻な変化を伴い、与えられた顔の表情を認識することの問題はありません。
• 画像またはフレームの品質：ハイライトと間違ったホワイトバランス 、色補正、その他のパラメーターは、確実にオブジェクトの認識に影響します。
• 人々の人種的所属：個々の認識可能な特性の肌の色、場所、サイズ。
• 表情の強い変化。 たとえば、過度に誇張されたアクションは、特定の感情の正しい認識に大きく影響します。
• 口ひげ、あごひげ、めがね、しわなど、個人の顔の個々の特徴は、自動認識を著しく複雑にします。
• 顔の一部が見えないか、切り取られている場合があります。
• 写真には顔がまったくない場合がありますが、マシンは、彼女のように、顔と顔の特徴によって他のオブジェクトを正しく判断し、検出します。

リストは長い間続きます。 しかし、最も重要な点に注意が集中しているため、すべての干渉パラメーターをリストすることは意味がありません。

感情の認識の問題における方法を選択するための基準

さまざまな方法の認識品質の比較は、多くの理由により複雑です。 それらの1つ、そして最も重要なものは、ほとんどの場合、著者自身によって提供されたテストデータのみに依存できることです。なぜなら、ほとんどの既知の方法の実装に関する大規模な研究を実施し、単一の画像セットで互いに比較することは不可能だからです：

• テストデータのユニバーサルコレクションが必要です。
• 同一のデータセットが存在する必要があります。
• 計算能力が必要です。これには、1つの研究所のレベルのリソースがわずかです。
• これらのアルゴリズムの研究は非常に複雑です。
• メソッドの検証は、検出の成功条件と失敗条件の異なる表現で異なる画像のセットで実行されることが多いため、メソッドの作成者によって提供された情報に基づいて、正しい比較を行うことも困難です。 さらに、最初のカテゴリの多くのメソッドの検証は、非常に小さな画像セットで実行されました。

問題を解決する方法の選択と基準の条件に影響を与える主な点 は、次のように識別されます（開発プロセスでは、斜体で示されているものが最適です）。



•人に対する制限：

-限られた、事前に定義された人々のセット。

-人の可能性のある人種または顔の特徴的な違い（顔の毛、眼鏡など）に対する制限。

- 制限の欠如 。



•画像内の顔の位置：

-正面;

-既知の角度で傾斜します。

- 傾き 。



•画像タイプ：

-色;

-白黒;

- 任意 。



•フェイススケール：

-完全に「メインフレーム」;

-特定のサイズで特定の場所にローカライズされている。

- 関係ない 。



•解像度と画質：

-悪い/悪い;

-悪い/良い;

-良いだけ。

- 任意 。



•ノイズ、干渉、モアレ：

-弱い;

-強い;

- 関係ない 。



•画像内の顔の数：

-それは知られています。

-ほぼ既知。

-は不明です。



•照明：

-それは知られています。

-ほぼ既知。

- 任意 。



•背景：

-修正;

-対照的なプレーン;

-ノイズの多い低コントラスト。

-不明;

- 違いはありません 。



•研究の重要性：

- すべての顔と機能を識別することがより重要です 。

-画像内の検出を最小化することにより、誤検出エラーを最小化します。

提案された改善

一部のHabrausersが述べたように、Viola-Jonesメソッドでは、驚くべきエラーが発生することがあります。 したがって、この状況で最も論理的な解決策は、Viola-Jonesアルゴリズムを修正し、可能な限りその認識特性を改善することでした。

以下に提案する方法は、以下の可能な処分を示唆しています 。

• 不十分な照明、画像の既存のノイズ、画像の前処理を使用した背景の区別できないオブジェクトの形での大きな制限。
• 傾いた頭を見つけるために特別に訓練された新しいカスケードを訓練することによる顔の傾斜角の問題;
• Viola-Jonesアルゴリズムで実装された標準セットを拡張する新しいHaarプリミティブを導入し、特定の感情の特定の顔の特徴に合わせて特別に調整された多数のカスケードをトレーニングすることにより、上記のポイントによって人の顔の感情を検出する際の不正確さ

上記を考えると、この作業方法は、感情を判断する時間を短縮するはずです。

新しいメソッドのスキームを次の図に示します。

追加のHaarプリミティブ

したがって、アルゴリズムの機能と傾斜した顔の特徴を見つける品質を向上させるために、図のように新しいタイプの兆候のようなオプションを提案します。 そのような兆候は偶然ではなく、望ましい顔の特徴のシルエットに関連して選択されました。 これらの標識を使用して、プログラムは鼻、眉、口をはるかに高速に検索しますが、標準アルゴリズムよりも他の顔の特徴に少し時間を費やしますが、追加の標識を実装する必要があります：一般的に、ミリ秒の認識が獲得され、わずかですが、精度が向上します。

画像の前処理

Viola-Jonesメソッドを使用する説明されたアルゴリズムは、広く使用されています。 メソッド自体は、他のアルゴリズムと正常にやり取りでき、特定のニーズや要件に適合させることができます。 また、静止画像だけでなく、リアルタイムで自由にデータを処理することもできます。 しかし、それでも感情の完全な認識を提供しません。 Viola-Jonesを使用して、認識率をさらに高めてみましょう。 これを行うために、生産性を高めるために、 予備的な画像処理を実行することが決定されました。

検出のさらなる段階で処理を高速化するために、人の顔の可能性のある領域を迅速かつ確実に決定するために、 境界輪郭を決定および強調表示するアルゴリズムが提案されています。 このアプローチの考えは、私たちが顔とその特徴を見つける最もありそうな それらの領域を強調できるということです 。 これにより、アルゴリズムの動作が高速化されるだけでなく、顔の誤検出の可能性も減少します。 これらの手順は、元の画像に示されています。

グレースケール画像

まず、 グレースケールで画像を翻訳する必要があります。 このためには、 YUVカラーモデルで画像を表示すると便利です。 これを行うために、変換が実行されます。

• Y = 0.299 * R + 0.587 * G + 0.114 * B; U = -0.14713 * R - 0.28886 * G + 0.436 * B; (1.1) V = 0.615 * R - 0.51499 * G - 0.10001 * B;
  
  
  
  
• Y = 0.299 * R + 0.587 * G + 0.114 * B; U = -0.14713 * R - 0.28886 * G + 0.436 * B; (1.1) V = 0.615 * R - 0.51499 * G - 0.10001 * B;
  
  
  
  
• Y = 0.299 * R + 0.587 * G + 0.114 * B; U = -0.14713 * R - 0.28886 * G + 0.436 * B; (1.1) V = 0.615 * R - 0.51499 * G - 0.10001 * B;
  
  
  
  

、ここで、R、G、およびBは与えられた色の強度であり、絶対に正確であれば、これらはモデルのコンポーネント（R、G、B）を記述する行列です。 式のYは輝度成分 、UとVは色差成分 、いわゆる色信号です（これら3つのパラメーターは、モデルの成分（Y、U、V）を記述する行列でも表されます）。 式に存在する変換係数は一定であり、人間の知覚の特性によって決まります。 グレースケール画像の場合、最初のコンポーネントの値のみが重要です。

空間フィルタリング

変換されたグレースケール画像は平滑化され、 空間微分が実行されます-画像の各ポイントでの強度関数の勾配が計算されます。 領域は実オブジェクトまたはその部分に対応し、領域の境界は実オブジェクトの境界に対応すると想定されています。 スライディングマスクを使用した輝度ギャップの検出が使用されます。 さまざまな教科書や記事では、異なる方法で呼ばれます。通常はフィルターまたはコアと呼ばれ、元の画像のマッピングされたYに対応する正方行列です。 空間フィルタリングスキームを以下に示します。

ソーベル演算子

3 * 3の画像領域で動作する「 ソーベル演算子 」として知られる特別なカーネルを使用した適用方法では、中間要素に重み係数2が使用されます。 カーネルの係数は、適用されると、一方の方向の平滑化と他方の方向の空間微分の計算が同時に実行されるように選択されます。 Sobelオペレーターが使用するマスクを以下に表示します。



それらから、勾配G _xおよびG _yの成分を取得します。

G x = (z 7 + 2z 8 + z 9 ) – (z 1 + 2z 2 + z 3 ) (1.2)



G y = (z 3 + 2z 6 + z 9 ) – (z 1 + 2z 4 + z 7 ) (1.3)







勾配の大きさを計算するには、これらのコンポーネントを一緒に使用する必要があります。

（1.4）

または （1.5）

結果は、各ポイントで画像の明るさがどのように「シャープ」または「スムーズ」に変化するかを示します。これは、エッジ上のポイントを見つける確率、および境界の向きを意味します。 一定の明るさの領域内のポイントでのSobel演算子の作業の結果はゼロベクトルになり、異なる明るさの領域の境界上にあるポイントでは、ベクトルは明るさを増加させる方向に境界を越えます。 また、作業の結果は写真を境界線に変換します（これは変換された画像で見ることができます）：

しきい値分類

さらに、同じグレースケール画像は、 しきい値の分類（しきい値）または明るさのしきい値の選択を受けます。 このようなしきい値の意味は、目的の明るいオブジェクト（前景）と暗い背景（背景）を分離することです。オブジェクトは、明るさがしきい値を超えるピクセルのコレクション（I> T）であり、背景は明るさが低い他のピクセルのコレクションですしきい値（I <T）。 自動モードでグローバルしきい値を使用するためのアルゴリズムの例は次のようになります。

1. しきい値Tの初期推定値が選択されます。これは、画像の明るさの平均レベル（最小と最大の明るさの半分、最小+最大/ 2）またはその他のしきい値基準です。
2. しきい値Tを使用して画像の特定のセグメンテーションが実行されます。その結果、2つのピクセルグループが形成されます。G1はTより大きい輝度を持つピクセルで構成され、G ₂はT以下の輝度を持つピクセルで構成されます。
3. 領域G ₁およびG _2にわたるμ1およびμ2ピクセル輝度の平均値_が計算されます。
4. 新しいしきい値T = 0.5 *（μ1 +μ2）が計算されます。
5. 前のしきい値Tと最後の反復で計算されたTのしきい値Tの差が所定のパラメーターε未満になるまで、ステップ2〜4が繰り返されます。

大津二値化

Sobelのオペレーターはこれを行うことができません。多くのノイズと干渉が発生するため、グレースケール画像を2値化する必要があります。 しきい値を選択する方法は多数ありますが、1979年に日本の科学者である大津信行（大津の方法）によって発明された方法 [1]が選択されたためです。 高速で効率的です。 画像ピクセルの輝度値は確率変数と見なされ、そのヒストグラムは確率分布密度の推定値と見なされます。 確率分布密度がわかっている場合、2つのクラスc ₀およびc ₁ （オブジェクトと背景）への画像セグメンテーションの最適な（最小誤差の意味での）しきい値を決定できます。 ヒストグラムはビン（または列）のセットであり、それぞれがその中に含まれるサンプル要素の数を特徴づけます。 グレースケール画像の場合、これらはさまざまな明るさのピクセルであり、0から255の整数値を取ることができます。ヒストグラムのおかげで、 2つの明確に分離されたクラスが人に見えます。 Otsuメソッドの本質は、クラス間のしきい値を設定して、各クラスができるだけ「密」になるようにすることです。 数学言語で表現された場合、これは2つのクラスの分散の加重和として定義されるクラス内分散を最小化することになります（つまり、これはこれらのクラスの数学的期待値からの偏差の合計です）：

σ w 2 = w 1 * σ 1 2 + w 2 * σ 2 2 ,



（1.6）

ここで、σwはクラス内分散、σ1およびσ2は分散、w ₁およびw ₂はそれぞれ第1および第2クラスの確率です。 Otsuアルゴリズムでは、クラス内分散を最小化することは、クラス間分散を最大化することと同等です。

σ b 2 = w 1 * w 2 (μ 1 – μ 2 ) 2 ,



（1.7）

ここで、σbはクラス間分散、w ₁およびw ₂はそれぞれ第1および第2クラスの確率、μ1およびμ2は各クラスの算術平均値です。 合計分散は次の式で表されます

σ T 2 = σ w 2 + σ b 2 .



（1.8）

高速アルゴリズムの一般的なスキームは次のとおりです。

1. ヒストグラムを計算します（ピクセルの配列を1回通過します）。 必要なのはヒストグラムだけです。 画像全体の文章は不要になりました。
2. しきい値t = 1から開始して、ヒストグラム全体を調べ、各ステップで分散σb（t）を再計算します。 ステップの1つで分散が最大値より大きい場合、分散は更新され、T = tになります。
3. 目的のしきい値はTです。

より正確な実装では、アルゴリズムを高速化できるパラメーターがあります。たとえば、ヒストグラムの通過は1から254ではなく、最小から（最大-1）の輝度になります。 「古典的な」二値化は以下の写真に示されています。





Otsuメソッドの利点は次のとおりです。

• 実装の容易さ。
• 最適なしきい値を選択して、さまざまな画像にうまく適応します。
• O（N）操作アルゴリズムの時間の複雑さ。Nは画像のピクセル数で表されます。

この方法の欠点 ：

• このようなしきい値の二値化は、画像内の輝度の均一な分布に非常に依存しています。 解決策は、1つのグローバルではなく、複数のローカルしきい値を使用することです。

キャニー境界検出器

したがって、画像処理の前のステップに基づいて、画像のエッジと、輝度値に応じたしきい値によるパーティションが取得されます。 次に、結果を統合するために、 Canny 境界検出器を使用して、画像内のオブジェクトのエッジを検出し、最終的にアウトラインにバインドする必要があります。 John Cannyの研究[2]では、1つのエッジのいくつかの応答を分離、ローカライズ、および最小化するための基準に従って最適なフィルターの構築を達成しました。

Cannyアルゴリズムを使用すると、次のタスクが解決されます。

1. 「誤った」最大値の抑制。 一部の高値のみが境界としてマークされています。
2. 後続の二重しきい値フィルタリング。 潜在的な境界は、しきい値によって決定されます。 細いエッジへの分割（エッジの間引き）;
3. エリア境界に属さないすべてのあいまいなエッジの抑制。 エッジを輪郭にリンクします（エッジリンク）。

Kanniの研究では、 非最大抑制などの概念を使用しています。これは、検出された勾配ベクトルの方向で勾配の極大値に達するポイントにピクセルが割り当てられることを意味します。 Sobel演算子を使用して、境界ベクトルの方向の角度を取得します（式1.4から）。

β(x,y) = arctg(G x /G y ),



（1.9）

ここで、β（x、y）は点（x、y）でのベクトル∇fの方向とy軸の間の角度であり、GyとGxは勾配の成分です。 ベクトルの方向は45°の倍数でなければなりません。 境界ベクトルの方向ベクトルは、垂直、水平、および2つの対角線を表す4つの角度（たとえば、0、45、90、および135度）のいずれかに丸められます。 次に、条件は、ベクトルの対応する方向で勾配が極大に達するかどうかをチェックします。 以下は、 3 * 3マスクの例です 。

• 勾配方向の角度がゼロの場合、その強度が問題のポイントの上下のポイントの強度より大きい場合、そのポイントは境界と見なされます。
• 勾配方向の角度が90度の場合、その強度が問題のポイントの左右のポイントよりも大きい場合、そのポイントは境界と見なされます。
• 勾配方向の角度が135度の場合、そのポイントの強度が、考慮されるポイントの左上隅および右下隅にあるポイントの強度より大きい場合、そのポイントは境界と見なされます。
• 勾配方向の角度が45度の場合、そのポイントの強度が考慮されるポイントの右上隅と左下隅にあるポイントよりも大きい場合、そのポイントは境界と見なされます。

局所的な不確実性を抑制した後、エッジはより正確で薄くなります。 したがって、境界線（いわゆる「細いエッジ」 ）を含むバイナリイメージを取得します。 それらは変換された画像で見ることができます：



Canny Boundariesは2つのフィルタリングしきい値を使用します 。

• ピクセル値が上限より上にある場合-最大値を取り、境界が信頼できると見なされる場合、ピクセルが選択されます。
• 低い場合、ピクセルは抑制されます。
• しきい値の間の範囲にある値を持つポイントは、固定平均値を取ります。
• 中央が固定された見つかったピクセルは、4つの方向のいずれかでグループと接触している場合、グループに追加されます。

画像をとかす

キャニー検出器の後、画像は膨張の形態学的操作を受けます-膨張、構造形成セットがそれらの上を走るという事実による発見された境界の肥厚。

そして最後に、最後のステップは、元の結果の二値化された画像を減算することです。 およそ、youなコテと涙を流した、然とした子供の感情を認識するために、出口でそのようなイメージを得る必要があります。

結論

このアプローチは普遍的で拡張可能であり、十分な数のカスケードの分類器がトレーニングされている場合、見つける方法は非常に迅速かつほぼ正確に機能します。



要約すると：

Viola-Jonesアルゴリズムの動作メカニズムの詳細な説明があり、この投稿では、人間の感情を検出する問題を解決する効率を改善するための私のアプローチについて説明します。 当然、これがメソッドの唯一の変更ではありません。 あなたは自分で試すことができます。 このようなアップグレードの助けを借りて、メソッドの理論的な改善が可能です。

これで、このアルゴリズムの一貫性と実際の適用性が示されるはずです。 次の投稿でその実装について説明し、イラストの助けを借りてそれを示します。 ご清聴ありがとうございました！ あなたが興味を持っていたことを願っています！

参照資料

1. Otsu、N.、「グレーレベルヒストグラムからのしきい値選択方法」、IEEE Transactions on Systems、Man、およびCyber​​netics、Vol。 9、No. 1,1979。、Pp。 62- 66

2.ジョン・キャニー、「エッジ検出への計算アプローチ」、パターン分析と機械知能に関するIEEEトランザクション、第8巻、第6巻、1986年、679〜698ページ

3. 画像輪郭アルゴリズム