人間の脳による顔認識：コンピュータービジョンの研究者が知っておくべき19の事実

コンピュータービジョンの分野の研究者の重要な目標は、人間の脳が顔を認識する能力と同等以上の自動化システムを作成することです。 顔認識プロセスの心理物理学的研究の結果は、コンピュータービジョンの専門家に人工知能システムの改善に役立つ貴重な事実を提供します。



いつものように、私は要約された翻訳を提供します、全文はオリジナルで利用可能です。

はじめに

顔認識アルゴリズムを開発するための多大な努力にもかかわらず、人為的な制限なしに動作できるシステムはまだ作成されていません。センサーノイズ、物体までの距離、光レベルなどの画像パラメーターのすべての可能な変動を考慮しています。 その仕事をうまく行う唯一のシステムは、人間の視覚です。 したがって、この生物学的システムが使用する戦略を研究し、人工アルゴリズムを開発するときにそれらを使用しようとすることは有用です。 19の重要な研究結果が提案されていますが、これらは顔認識の完全な理論であると主張するのではなく、コンピュータービジョンシステムの開発者に重要なヒントを与えています。 これらの19の結果は、多くの科学グループのさまざまな出版物から収集されており、元の記事はこれらの出版物へのリンクを提供しています。

空間分解能機能としての認識

結果1：人々は、非常に低解像度の画像でなじみのある顔を認識することができます。

高解像度ビデオセンサーの開発の進歩により、マシンビジョンシステムの顔認識用に、ますます多くの小さな部品が使用されるようになりました。 このアプローチの例は、目の虹彩による認識です。 明らかに、このようなアルゴリズムは、高解像度の画像がないと機能しません。 この問題は、顔認識がかなりの距離で必要な場合に特に関連します。 人間のビジョンに目を向けましょう。 顔認識の精度は画像の解像度にどのように依存しますか？ 人々は、16x16ブロックのサイズにスムージングされた画像で馴染みのある顔を認識する精度を維持していることがわかります。 7x10ピクセルの同等のサイズにスムージングすると、50％を超える認識精度が維持され（図1を参照）、19x27ピクセルの解像度で可能な最大値にほぼ等しくなります。



図 1この図に示されている解像度で、人々は馴染みのある顔の半分以上を認識できます。 1-マイケル・ジョーダン、2-ウッディ・アレン、3-ゴールディ・ホーン、4-ビル・クリントン、5-トム・ハンクス、6-サダム・フセイン、7-エルビス・プレスリー、8-ジェイ・レノ、9-ダスティン・ホフマン、10-チャールズ皇太子、11-シェール、12-リチャード・ニクソン。

結果2：画像の劣化を無視する能力は、慣れるにつれて向上します。

画像の解像度の低下を補正する能力は、被写体の熟知度に大きく依存します。 同じ被写体の2枚の異なる写真で見慣れない顔の認識率が低いことが実証されていますが、一方で、低品質の監視カメラから画像を観察する場合、同僚の画像の認識率が高いです。 同時に、非常に低い解像度にもかかわらず、図と歩容は顔の画像よりもはるかに情報量が少なかった。 これは、人物を不明瞭にするが顔を残すと、認識精度がわずかに低下するが、逆の動作では精度が大幅に低下するという事実によって証明されます（図2を参照）。



図 2調査で使用したビデオの映像。 （a）元の画像、（b）被写体の体が閉じている、（c）顔が閉じている。

結果3：高周波情報だけでは、高品質の認識が保証されません。

認識に対する従来のアプローチは、主に輪郭アルゴリズムの使用に基づいています。 輪郭は、さまざまな照明条件下で不変であると見なされます。 生物学的顔認識のコンテキストでは、通常、輪郭（ベクトル）画像で顔認識に十分です。 多くの場合、鉛筆画や似顔絵は簡単に認識できます。 これは、高周波の空間画像が非常に重要であること、または少なくとも顔認識に十分であることを意味していますか？ 研究結果はこれを反証します。 特に「ベクター」図面の場合、輪郭のみを含む画像は認識しにくいことが示されています（元の写真の90％に対するベクター図面の47％での正しい認識）-図を参照してください。 3。



図 3アウトラインのみを含む画像は認識が困難です。

処理の性質：断片的か全体か？

結果4：顔の特徴は全体として扱われます。

顔の特徴（目、鼻、口、眉毛など）を画像全体とは別に処理できますか？ 多くの場合、顔は非常に小さな部分で識別できます。たとえば、目や眉だけで識別できます。 しかし、一方の面の上半分をもう一方の面の下半分と組み合わせると、これらの部分が誰に属しているかを知ることは非常に困難です（図4を参照）。 全体的なコンテキストは、個々の機能の処理方法に影響するようです。 この研究は、個々の顔の特徴が認識に十分である可能性があることを示したが、顔全体の文脈では、撮影された顔の特徴とその残りの部分との間の幾何学的関係が認識に優先する。



図 4顔の上部はWoody Allenに属し、下部はOpre Winfreyに属します。 組み合わせた場合、顔の同じ部分が誰に属するかを推測することは非常に困難です。

結果5：眉毛は、認識にとって最も重要な顔の特徴の1つです。

多くの場合、実験の結果は、認識のための最も重要な顔の特徴は、目、口、鼻の順になっていることを示しています。 ただし、最近のデジタル眉消去の実験では、顔の認識の専門家が眉毛を過小評価していることが明らかになっています。 特に、眉毛がぼやけている認識された人の割合は、元の肖像画の認識の割合よりも有意に低かった。 これはどのように説明できますか？ まず、眉は感情を伝えるために非常に重要です。 これらの顔の特徴の重要性を高めるために、顔の知覚の生物学的システムが最初に偏っていた可能性があります。 さらに、眉毛は非常に安定した要素であり、画像の解像度の低下に耐性があります。 眉毛は頭蓋骨の突出部分にあるため、影による歪みが少なくなります。



図 5顔認識のための眉毛の重要性をテストするためのサンプル画像。

結果6：重要な構成関係は、幅/高さの寸法に依存しません。

多くの顔認識システムは、目間の距離、口の幅、鼻の長さなどの属性の正確な測定値を使用します。 しかし、生物系では、これらの次元はあまり重要ではないようです。 これは、歪んだ画像からの顔の認識の割合に関する研究の結果によって証明されています。 たとえば、顔の画像は認識品質を損なうことなく、幅を大きく歪めることができます（図6）。 明らかに、歪みは、x軸とy軸に沿った絶対サイズとアスペクト比の測定に基づいてアルゴリズムを完全にノックダウンします。 このような歪みがあると、軸に沿ったアスペクト比は変化しません。 おそらく、生体系はそのような比率をエンコードして首を回したときに顔を正しく認識します。



図 6幅の強い歪み（ここでは幅は元の幅の25％）でさえ、有名人の顔の認識を妨げません。

使用されるキーの性質：色素沈着、形状、および動き

結果7：顔の形は、少し似顔絵の形でエンコードされます。

直観的には、顔認識を成功させるには、人間の視覚システムが、見た目とまったく同じ顔をエンコードする必要があるようです。 保存された顔画像のエラーは、明らかに、新しい画像と古い画像の潜在的な一致を弱めます。 しかし、実験では、真実からのいくつかの歪みが顔の認識にプラスの役割を果たすことが示されています。 つまり、顔の似顔絵は、歪みのない顔の認識レベル以上の認識品質を提供します。

似顔絵画像は、個々の形状の偏差を誇張したり、形状の偏差と色素沈着を組み合わせたりすることができます（図7）。 どちらの場合も、被験者は顔の認識だけでなく、他のオブジェクトも認識レベルの小さいが安定した優位性を示しました。

これらの結果は、この方法で解釈できます。 通常の画像のスペース（「人のスペース」）があります。 似顔絵は個々の顔の特徴をゆがめるため、顔の正常からの個々の逸脱は、認識されたときに重要な役割を果たします。 これは、アルゴリズムの開発者に興味深い戦略を提供します。



図 7画像の似顔絵化の例。 （A）人口平均の女性の顔。 （B）特定の人の本当のイメージ。 （C）人が形と色素沈着を人工的に歪めた場合、特定の人と平均的な人の違いが誇張されます。 このような歪んだ画像は、真の画像よりも高い認識率を示しました。

結果8：顔の継続的な検査は、高レベルの効果を引き起こす可能性があり、これはプロトタイプのコーディングの可能性を意味します。

「適応」刺激（画像）を長時間覗き込んだ後に生じる後遺症（錯視）は、動き、向き、色などの単純な視覚属性の神経処理に関する多くの仮説を生み出しています。 最近の研究では、適応が顔画像などのはるかに複雑な刺激に対して強力な後遺症を引き起こすことが示されています。

顔画像を長時間ピアリングした後の残効の存在は、正規化とコントラストに基づく顔のエンコードを示しています。 後遺症は、刺激に対して反対方向に歪んだ人の知覚で単純に表現することも、明確な歪みなしに特定の人格の複雑な「反顔」効果を生成することもできます（図8）。 <注 誰かがこの翻訳から何かを理解した場合、翻訳者は私に雷を鳴らします！>これは、神経集団が調整できる次元がいくつかあることを示唆しています。 さらに、これは、これらの複雑な後遺症が視覚野の高い部分の適応の結果であることを意味するかもしれません。



図 8顔および顔の概略空間内の関連する「反顔」から。 緑の円でマークされた顔を長時間覗き込むと、中心の顔が、最初の刺激が置かれている軸（緑）の赤い円でマークされた個人の顔として誤って識別されることになります。

結果9：色素沈着の特性は、フォームの特性と同じくらい重要です。

顔の形や光の反射特性はさまざまです。これを色素沈着と呼びましょう。 研究は、顔認識にとってより重要なもの、つまり形状または色素沈着を見つけることを目的としました。 形状または色素沈着のみが互いに異なる顔のセットが作成されました。たとえば、顔のレーザースキャン、顔の人工モデル、顔の写真のモーフなどです。 認識率は修正方法に依存しないことがわかりました。つまり、両方のクラスの刺激（フォームまたは色の組み合わせのグラフィックプロパティ、反射能力など）が顔認識にとって等しく重要であることがわかりました。 この結果、人工顔認識システムの色素沈着の特性を考慮すると、認識の品質が向上するはずです。



図 9下段の顔は、形状と色素沈着の両方が異なる顔のレーザースキャンです。 中央の列の人は色素沈着のみが異なり、形は違いません。 上の列の顔の形は異なりますが、色素沈着は異なりません。

結果10：色特性は、形状特性の劣化に重要な役割を果たします。

もちろん、顔画像の輝度構造は認識にとって非常に重要です。 適切な顔認識には、明るさ（つまり、モノクロ画像）のみを使用するだけで十分です。 ただし、色情報は認識にとって重要ではないという信念は、観察された事実と矛盾することが研究により示されています。 フォームのプロパティが不正確であることが判明した場合（たとえば、解像度が低下した場合）、脳は色情報を使用して認識を成功させます。 このような場合、認識率はモノクロ画像の認識率よりもはるかに高くなります。 色の使用方法の仮説の1つは、色情報の診断的役割の仮説です。たとえば、肌や髪の色は正しい答えを教えてくれます。 2番目の可能性-色を使用すると、低レベルの画像処理（画像領域の分割など）の可能性が向上します。



図 10低レベルの画像処理タスクを簡単に解決できる色の例。 （A）色分布（右側の画像）を使用すると、輝度分布（中央のモノクロ画像）よりも、領域の境界、したがって形状プロパティをより正確に決定できます。 （B、C）頭皮の形状がモノクロ画像よりも色分布によってより明確に決定される方法に注意してください。

結果11：画像の反転（ネガ）は、おそらく色素沈着特性のゆがみにより、顔認識の割合を大幅に減少させます。

写真にかかわるすべての人は、ネガフィルムで非常に馴染みのある顔を認識するのがどれほど難しいか知っています。 これは、フォームに関するすべての情報は変わらないが、色素沈着の特性の強く不自然な歪みにより認識が困難になることを明確に示しているため、人間の脳は色素沈着の特性を積極的に使用して顔を認識します。



図 11ネガは有名な歌手をいくつか描いていますが、それらを認識しようとします（We Are the Worldの歌を録音しながら撮影します）。

結果12：照明の変更は一般化に影響します。

一部の計算認識モデルでは、信頼性の高いプレゼンテーション（記憶）のために、さまざまな照明条件で顔を見る必要があります。 しかし、人々は根本的に異なる照明条件の下で顔に関するアイデアを一般化することができます。 実験では、被験者にレーザースキャンによって得られた顔のモデルを見せ、片側に照明を当てました。 次に、まったく異なる視点から照らされたモデルを見せ、モデルが同じ顔であるかどうかを尋ねました。 認識率は単純な推測よりも有意に高かったが、同じ側から顔を照らす場合よりは低かった。



図 12同じ顔。左右が照らされています。

結果13：視線方向の一般化は、一時的な関連付けによって実行されます。

さまざまな角度から見慣れた顔を認識することは、非常に複雑な計算タスクです。 人間の脳はそれを簡単に解決します。 同じ顔の異なる角度の画像は同じ角度から撮影された異なる顔の画像よりもはるかに異なるという事実にもかかわらず、人々は同じ顔の画像を正しく関連付けることができます。

時間的関連は、異なる角度からの顔の画像を単一の全体につなぐ「接着剤」であると仮定されています。

実験では、被験者は正面の面で顔が回転し、ある顔から別の顔へのモーフィングが同時に行われたビデオを見せられました。 このような刺激は、被験者が顔を正しく識別する能力を著しく妨げました。 これは、画像シーケンスを見ると一時的な関連付けが生じることを示唆しています。



図 13面a1から面a2へ、そして再びa1への回転と同時モーフィング。

結果14：顔の動きにより認識が向上します。

顔の動きは、特定の条件下での認識を改善します。 固定された頭の周りでカメラを回転させるなどの硬直した動きは、馴染みのある顔の認識を向上させますが、記憶する際には利点を提供しません。 しかし、表情の感情的な変化や会話の変化などの非剛体的な動きが大きな役割を果たします。 これは、非剛体運動中に現れる顔の動的な特性が、脳が顔の構造をより正確に識別し、認識の質を高めるのに役立つことを意味します。



図 14感情とスピーチを反映した動きは、矢印で示されるモーフィングの対象となりました。 たとえば、「ステファン」の唇の動きが「レスター」に重なっている場合、被験者は最初の人物を識別するのに誤りがありました。

ビジョンシステム開発

結果15：視覚システムは、顔の概略画像の基本的な好みで認識を開始します。

人間の視覚システムに特定の初期設定はありますか？ この質問に対する答えは、コンピュータービジョンシステムの研究者が2つの選択肢から選択するのに役立つはずです。1）顔認識システムで顔パターンの特定の構造をプログラムする。 または2）パターンが個人またはオブジェクトに固有であるかどうかに関係なく、学習プロセスを通じて暗黙的なパターンを生成します。

新生児は、出生後最初の数時間ですでに顔のようなパターンに選択的に集中します。 パターンは、目と口を象徴する楕円形の3つのドットのように見える場合があります（図15a）。 顔を表示することが不可能な倒立画像（顔の楕円形にある倒立した三点の点）は、新生児の注意を引き付けません。 より最近の研究では、新生児は下から重みづけされた画像よりも「上から重みづけされた」画像を好むことが示されています（図15b）。 したがって、これが視覚野の一般的な特性なのか、顔認識に固有なのかは不明です。

最も単純な3ポイントテンプレートは、初期段階として顔検索および認識システムで使用できます。



図 15（A）新生児は、下のテンプレートよりも上のテンプレートに集中する傾向があります。 （B）新生児は、上部の要素が優勢なパターンを好みます。

結果16：視覚システムは、生後1年の間に特定の戦略から全体的な戦略に進化します。

通常の大人は、表向きの画像を上下逆さまに認識することはめったにありませんが、家などの他の反転したオブジェクトを認識することは難しくありません。 調査によると、このプロパティは数年にわたって開発されてきました。 6歳児は、倒立画像からの顔の認識率の低下を示しません。 8歳では、この能力はすでにいくらか低下しています。 プレティーンはすでにこの点で大人として行動しています。 実験では、顔画像の個々の要素間の距離を操作し、異なる顔の個々の要素（たとえば、目）を置き換えました。 結果は、顔認識戦略が人生の最初の数年で発展することを示しました：個々の特性に基づく断片化された戦略から、構成情報を使用する全体的なシステムまで。



図 16 6歳の子供は、まっすぐな顔と逆向きの顔の両方で等しく認識されていません。 年をとるにつれて、まっすぐな顔の認識は大幅に改善されますが、逆さまの顔の認識は改善されません。 水平-年齢; 垂直方向-正しい認識の割合。 左側-顔認識に関するデータ、右側-家の認識に関するデータ。

神経基盤

結果17：人間の視覚システムは、顔認識のために皮質の別々の領域を形成する可能性があります。

研究により、大脳皮質の領域は、人や動物の顔の画像に対して強い選択的応答を与え、任意のオブジェクトの画像や顔の概略的な画像に対してさえ弱い応答を与えることが示されています（図17）。 これは、コンピュータビジョンシステムの設計者に、客観的に完全な生物学的システムの特徴である一般化と選択性の可能なメカニズムのフレームワークを促すかもしれません。



図 17左上隅には、脳の右半球におけるFFA（紡錘状の顔面領域）の局在が示されています。 視覚刺激とFFA領域への応答の例が示されています。 人間の顔と猫の写真は強い反応を引き起こし、顔と任意のオブジェクトの概略画像は弱い反応を引き起こしました。

結果18：顔画像に対する側頭下皮質の応答の遅延は120ミリ秒であり、これは主に直接信号伝播による処理を意味します。

反応率に関する研究には、運動成分の大幅な遅延が含まれます（たとえば、被験者は顔を見るとボタンを押す必要があります）。 ニューラル認識マーカーを使用する場合、自然のシーンで動物の存在の事実を認識するような複雑なタスクには50ミリ秒かかります。 側頭下（IT）皮質の一部の細胞は、個人に固有です。 これらのセルの応答の遅延は、80〜160ミリ秒の範囲です。 これは、計算の観点から、フィードバックおよび反復なしで、IT皮質までの画像処理が1つの直接パスで実行されることを意味する場合があります。 ノイズの多い画像の処理には時間がかかる場合があります。



図 18顔のさまざまな刺激画像に対するサル皮質IT細胞の反応の例。 霊長類の画像の劣化の程度や人間の顔の反応は体系的です。 手の画像に対する反応が低いということは、細胞が体の他の部分の画像の原因ではなく、顔に固有であることを意味します。

結果19：顔識別と表情認識は、さまざまなシステムによって行われる可能性があります。

顔の識別に関係なく、表情に関する情報を抽出することは可能ですか、それとも相互に関連していますか？ 行動研究、動物の電気生理学的研究、および神経活動の視覚化により、これら2つのタスクの分離は顔面の最初の部分で発生し、識別と感情の原因となる脳の領域が別々にあることがわかります。