YouTubeのビデオを使用して、プログラムは各フレームの詳細度の高い3Dモデルを自動的に構築します。
人間の顔の表情は非常に複雑であるため、これはタスクの複雑さを考えると、非常に印象的な結果です。 感情を認識するためには、目の正確な位置、眉の曲がり、しわを見ることが重要です。 このような3Dモデルのわずかなエラーは非常に顕著なものです。
他の3D追跡および顔デジタイズプログラムの大部分は、オブジェクトの形状が変化し、ある状態から別の状態に「流れる」ときに、ブレンドシェイプメソッドを使用します。 滑らかな変形の方法には、顔の知覚にとって非常に重要な細かいディテールの損失がありません。 新しいアルゴリズムの作成者は、このアプローチを放棄しました。
一方、フレームごとの再構成では、各モデルは互いに「別々に」存在しますが、30/60フレーム/秒で再生される場合、結果はスムーズな修正の場合よりも現実的です。
その他。 他の同様の技術とは異なり、テストビデオ撮影への人間の参加はここでは必要ありません。 その代わりに、オプティカルオプティカルフロー法（3Dオプティカルフロー）を使用して、さまざまな照明条件と姿勢で彼の写真の大きなアーカイブが使用されます。 科学研究の著者は、私たちの時代には、個人ごとに写真の大規模なアーカイブが編集されたと言っています。
このプログラムは、さまざまな光条件とさまざまな表情で成功を収めています。
この作品は、9月6〜12日にチューリッヒで開催されたコンピュータービジョンに関する欧州会議で発表されました。
科学論文
付属資料
このテクノロジーは、映画、3Dプリンティング、コンピューターゲーム、バーチャルリアリティで使用でき、死亡した人物の正確な外観と表情を写真やビデオから復元することができます。
さて、この技術の最も直接的な応用は、よりリアルな3Dムービーの作成とコンピューターゲームのキャラクターの表情のアニメーションのようです。