AIが人間の顔を生成するときに貫通するもの

2014年、機械学習の研究者であるJan Goodfellowは、 生成的競合ネットワークまたはGANのアイデアを提唱しました。 「生成性」は、彼らの仕事の結果が入力であり、「ホットドッグかどうか」などの入力の評価ではなく、画像であるという事実と、「競争力」で構成されます。 :1つのニューラルネットワークは現実的な写真を作成して他のニューラルネットワークを欺こうとし、2つ目は偽物を区別しようとしています。



最初のGAN画像は簡単に識別できました。 2014年のこれらの顔を見てください。





「ディープコンボリューショナルジェネレーティブコンペティティブネットワークを提示するための教師なし学習」(2014年)、ラドフォードら、DCGANとも呼ばれる



しかし、 2017年10月から最後に生成された顔は、すでに特定するの困難です。





「品質、安定性、多様性を改善するための段階的なGANの成長」(2017年)、Karas et al。PGANまたはProGANとも呼ばれる



GANが生成した画像の機能の一部を以下に示します。 顔は研究者にとって一般的なテストの場であり、最も目に見えるアーティファクトの多くは他のタイプの画像に現れるため、顔に焦点を当てています。



ストレートヘアはペンキのように見える







長い髪は、まっすぐな糸で肥大しているように見えることが多く、パレットナイフや巨大なブラシでアクリルの束を塗りつけたように見えます。



テキストは解読できません







GANが顔を訓練した場合、バックグラウンドでまれな構造化オブジェクトを見つけることは困難です。 さらに、GANはイメージの標準バージョンとミラーバージョンの両方でトレーニングされるため、通常は1方向のみで表示されるテキストのモデリング時に問題が発生します。



シュールな背景







生成された顔が信じられそうに見える理由の1つは、すべてのトレーニング画像が中央に配置されているためです。 これにより、たとえば目や耳の生成のばらつきが減少します。 一方、背景には何でも含めることができます。 モデル化するのは難しすぎるので、ニューラルネットワークは最終的に「実際の」背景シーンではなく、一般的な背景テクスチャを複製します。



非対称性







GANでは、遠く離れた依存関係を管理するのが難しい場合があります。 たとえば、イヤリングなどのペアのアクセサリは、通常、データセットでは一致しますが、作成された画像では一致しません。 これらの写真の目は通常同じ方向に見え、通常同じ色に見え、生成された顔はしばしば斜視と異色症に苦しんでいます。 非対称性は、高さやサイズの異なる耳によく見られます。



奇妙な歯







GANは共通のシーンをまとめることができますが、現在、歯などの半規則的な繰り返しの詳細に苦労しています。 GANは時々、曲がった歯を出したり、奇妙な方法で個々の歯を伸ばしたり圧縮したりします。 歴史的に、この問題は、レンガなどの画像を使用したテクスチャ合成など、他の分野で明らかになりました。



混oticとした髪







これは、偽の画像を認識する最も速い方法の1つです。 原則として、GANは髪をひとかたまりに集め、肩の周りにランダムな束を作り、額に太いシャグを投げます。 実際のヘアスタイルは非常に多様で詳細であり、現実的なGAN生成にとって最も難しいオブジェクトの1つとなっています。 異物が毛むくじゃらのテクスチャに変わることがあります。



わかりにくい床







このGANは、10,000人の有名人の200,000枚の画像を使用してCelebAスイートでトレーニングしました。 このセットでは、顔の髪の毛、イヤリング、化粧をしている人とは同時に会いませんでした。 しかし、GANは異なる性別の典型的な属性を定期的に混合します。 一般に、これは、GANが人間社会で受け入れられている反対のバイナリカテゴリ(この場合は「男性対女性」)のアイデアを常に得ているわけではないという事実によると思います。



準規則的なノイズ







一部の領域は、モノクロの背景の代わりに、水平または垂直の縞模様の半規則的なノイズを受け取る場合があります。 上記の場合、ネットワークはおそらくファブリックのテクスチャを模倣しようとしています。 古いGANは、通常、 チェスのアーティファクトと呼ばれるはるかに顕著なノイズを生成します



レインボーフレア







明るい塗りつぶしのある領域には、マルチカラーフレアが適用されます。これらは、首輪、首、白目です(ここには表示されていません)。



実画像の例







明確な背景、テキスト、ペアのイヤリング、同じサイズの歯、詳細なヘアスタイルに注意してください。 GANのすべてのトリックを理解し、 ゲームをプレイして、実際の顔と偽の顔を区別する方法を確認してください。 注:[スタート]ボタンに問題があるものもあります



All Articles