ImageNetでのトレーニング中に生成されたサンプルの進化。 ジェネレータは、画像のクラスによって制限されます（たとえば、「ヒゲフクロウ」または「ゴールデンレトリバー」）。
自然画像の合成の分野では、 条件付きGSSが最良の結果を達成します。これは、無条件のGSSとは異なり、トレーニング中にラベル（「マシン」、「犬」など）を使用します。 また、これによりタスクが容易になり、結果が大幅に改善されますが、このようなアプローチでは大量のタグ付きデータが必要になりますが、実際にはめったに見つかりません。
「タグの少ない高品質な画像の生成」という作業では、高度な条件付きGSSのトレーニングに必要なタグ付きデータの量を減らすための新しいアプローチを提案しています。 このアプローチと大規模なGSSの開発における最近のブレークスルーを組み合わせることで、10分の1の少ないタグを使用して同等の品質の自然画像を生成します。 また、この研究に基づいて、最新のGSSのトレーニングと評価に必要なすべてのコンポーネントを含むCompare GANライブラリの大規模な更新をリリースしています。
半監督と自己監督による改善
条件付きGSSでは、ジェネレーターとディスクリミネーターは通常、クラスラベルに制限されます。 私たちの仕事では、手動で付けられたタグを将来のタグに置き換えることを提案します。 ほとんどタグ付けされていないデータで構成される大規模なセットに良質のラベルを表示するために、2段階のアプローチを使用します。 まず、データベースの未割り当て部分の例としてのみ、画像の特徴の提示について訓練されています。 標識の表示について学習するには、ラベルなしデータをランダムに混合し、深い畳み込みニューラルネットワークが回転角度を予測する、 最近提案されたアプローチの形で自己監視を使用します。 このタスクは、このタスクを正常に完了するために、モデルが基本オブジェクトとその形状を認識できる必要があるという考え方です。
次に、トレーニングされたネットワークの中間層の1つの活性化シーケンスを入力データの特性の新しい表現と見なし、分類器をトレーニングして、初期データセットのラベル付き部分を使用してこれらの入力データのラベルを認識します。 ネットワークは（回転の予測を伴うタスクで）意味的に意味のあるデータ属性を抽出するために事前にトレーニングされているため、この分類子のトレーニングは、ネットワーク全体を最初からトレーニングするよりも例によって効果的です。 最後に、この分類子を使用して、未割り当てデータをマークアップします。
モデルの品質とトレーニングの安定性をさらに向上させるために、識別ネットワークに、前述の補助損失のためにトレーニング中に忘れられない属性の意味のある表現を学習することをお勧めします。 これらの2つの利点は、大規模なトレーニングとともに、 フレシェ距離によって判断して、ImageNetからの画像の合成に適した高度な条件付きGSSの出力を提供します。
ジェネレーターネットワークは、固有ベクトルに基づいて画像を生成します。 各行で、左端および右端の画像の固有コードの線形補間により、画像空間での意味的補間が行われます。
GSSのトレーニングと評価のためにGANライブラリを比較する
GSSの分野での高度な研究は、十分に開発されテストされたコードに大きく依存しています。これは、以前の結果や手法を再現するのにも多大な労力が必要だからです。 オープンサイエンスをサポートし、研究コミュニティが最近のブレークスルーに基づいて構築できるようにするため、Compare GANライブラリの大規模な更新プログラムをリリースしています。 これには、最新のGSSでよく使用される損失関数、正則化および正規化スキーム、ニューラルネットワークアーキテクチャ、数値メトリックが含まれます。 彼女はすでに以下をサポートしています。
- GPUおよびTPUのトレーニング。
- Ginによる簡単なセットアップ（ 例 ）。
- TensorFlowライブラリを介した膨大な数のデータセット。
結論と将来の計画
ラベル付きデータソースとラベルなしデータソースのギャップを考えると、部分的にラベル付けされたデータのみから学習できることがますます重要になっています。 自己監視と半監視のシンプルかつ強力な組み合わせが、GSSのこのギャップを埋めることができることを示しました。 自己監視は、生成モデリングの他の分野で検討する必要がある有望なアイデアであると考えています。