記事「 PIFR：Pose Invariant 3D Face Reconstruction 」の翻訳をご紹介します。
顔の検出と認識、3D絵文字とステッカーの生成を含む多くの実際のアプリケーションでは、フラットな画像から顔のジオメトリを復元する必要があります。 ただし、特に顔に関するほとんどの情報がわからない場合、このタスクは依然として困難です。
江南大学（中国）のJiangとWu、およびサリー大学（イギリス）のKittlerは、 新しい3D顔再構成アルゴリズム-PIFRを提供します。これにより、困難なポーズでも再構成の精度が大幅に向上します。
ただし、最初に3Dマスクと顔の再構成に関する以前の作業を簡単に確認しましょう。
最先端の研究
著者は、3Dマスクをモーフィングするための4つの一般的に利用可能な方法に言及しています。
- バーゼル大学が提案したBMLモデル 。
- Brantonなどによって開発された3DMMモデル 。
- サリー大学（英国）が提供する3D多重解像度顔モデル 。
- Imperial Collegeが作成した大規模な顔モデル（KMML） 。
この記事では、最も一般的なBMLモデルを使用しています。
フラットイメージから3Dモデルを再作成するには、次のようないくつかのアプローチがあります。
- カスケード回帰法;
- 顔のランドマーク検出と3D顔再構築の組み合わせ、およびツリーベースの回帰モデルを構築するための機能のインデックス付け。
- 顔の表情と位置を正規化する方法;
- 3DMM拡張（ E-3DMM ）。これは、表情の変化を考慮します。
- 従来の回帰法に基づく3DMMランドマークの重み付きフィッティング 。
推奨される方法-PIFR
Jiang、Wu、およびKitlerによる記事は、3DMMメソッドに基づく新しいポーズ不変3D顔再構成（PIFR）を提案しています。
最初に、著者は正面画像を生成し、1つの入力顔画像を正規化することを提案します。 この手順により、個人の追加のID情報を復元できます。
次のステップは、2つの画像（正面とソース）の3D特徴の加重和を使用することです。 これにより、元の画像のポーズを保持できるだけでなく、識別情報を拡張することもできます。
提案されたアプローチのスキーム：
実験では、特に複雑なポーズで、PIVLアルゴリズムが以前の方法と比較して3D顔面再構成のパフォーマンスを大幅に改善したことが示されています。
提案されたモデルをより詳細に検討してください。
メソッドの説明
PIVLメソッドは、3DMMフィッティングプロセスに大きく依存しています。これは、キーポイントの3D投影の座標を計算する際のエラーを最小限に抑えることで表現できます。 ただし、3Dモデルで作成された面には約50,000の頂点があるため、反復計算により収束が遅く非効率的になります。
この問題を克服するために、研究者は、マスクを装着するプロセスの主要な真実として、キーポイント（たとえば、目の中心、口の角度、鼻の先端）を使用することを提案しています。 特に、加重参照3DMM近似が使用されます。
一番上の行：元の画像とランドマーク。 最下行：3D顔モデルと2D画像上の位置合わせ
次のタスクは、3Dフェイスマスクをクローズアップで再作成することです。 この問題を解決するために、研究者は姿勢と表情の高精度正規化（VNPV）の方法を使用しますが、顔の表情ではなく姿勢のみを正規化します。 さらに、視野角のために閉じている顔の領域を復元するために、 ポアソン編集が使用されます。
他の方法とのパフォーマンス比較
PIVLメソッドの有効性を評価して、顔を再現しました。
- 小規模および中規模のポーズ。
- クローズアップ;
- 複雑な姿勢（偏差角±90）。
これを行うために、研究者は3つの公開データセットを使用しました：
- Flickrの画像を使用して作成されたAFWデータセットには、468個のマークされた顔、複雑な背景、顔のポーズを持つ205個の画像が含まれています。
- テストセットの顔の224枚の画像とトレーニングセットの顔の811枚の画像を含むLFPWデータセット。 各画像には68の特徴的なポイントが付いています。 この研究では、両方のセットから900枚の画像を選択してテストしました。
- AFLWデータセットは、約2億5,000万の手でタグ付けされた画像を含む大規模な顔データベースであり、各画像には21個の特徴点がタグ付けされています。 この研究では、このデータセットの複雑な顔の位置の画像のみが定性分析に使用されました。
定量分析
この研究では、ユークリッド平均メトリック（CEM）を使用して、PIFRメソッドのパフォーマンスをAFWおよびlfpwデータセットのE-3DMMおよびFW-3DMMと比較します。 累積誤差分布（RNO）曲線は次のとおりです。
AFWおよびLFPWデータセットの累積誤差分布（RNO）曲線の比較
これらのグラフと表からわかるように、PIVLメソッドは他の2つのメソッドと比較して優れた効率を示しています。 特に良いのは、クローズアップのためのレクリエーションの有効性です。
定性分析
この方法は、AFLWデータセットとは異なる位置にある顔の写真に基づいて定性的にも評価されました。 結果を次の図に示します。
3D顔再構成の比較：（a）元の画像; （b）FW-3DMM; （c）E-3DMM; （d）提案されたアプローチ
些細な姿勢のためにランドマークの半分が見えなくても、他の方法の大きなエラーや失敗につながる場合でも、PIFR方法はうまく機能します。
AFWデータセットの画像に基づくPIVLメソッドの有効性の追加の例を以下に示します。
一番上の行：2D画像入力。 中央の行：3Dマスク。 下段：マスクの配置
まとめ
新しいPIVL顔再構成アルゴリズムにより、複雑なポーズでも良好な再構成結果が得られます。 この方法では、重み付きマージのソース画像と前面画像の両方を受け入れ、3Dマスクを再作成するのに十分な顔に関する情報を復元できます。
将来、研究者は、マスクの再構成の精度を高めるために、顔に関するさらに多くの情報を復元する予定です。
オリジナル
翻訳済み-Farid Gasratov