🆘 👵🏽 👻 ディープニューラルネットワークを使用した画像の合成。 Yandexでの講義 👨🏾‍🚒 🔓 🤼

今週は、ニューラルネットワークのサインの下で、HabrahabrのYandexのブログを見てみましょう。ご覧のとおり、ニューラルネットワークは現在、検索を含む非常に多くの分野で使用され始めています。彼らの新しい応用分野を探すのは「流行」のようであり、彼らがしばらく働いていた分野では、そのプロセスはそれほど面白くない。

しかし、視覚画像の合成の世界での出来事はその逆を証明しています。はい、数年前に企業は画像を操作するためにニューラルネットワークを使用し始めました-しかし、これはパスの終わりではなく、その始まりでした。最近、Skoltechコンピュータビジョングループの長であり、YandexとShAD Viktor Lempitskyの親友が、ネットワークを画像に適用するいくつかの新しい方法について話しました。今日の講義は写真に関するものなので、非常に明確です。

カットの下-デコードとほとんどのスライド。

こんばんは今日はたたみ込みニューラルネットワークについてお話しますが、ほとんどの人は無人島で過去4年間を過ごしたと思いますので、たたみ込みニューラルネットワークについて何か聞いたことがあると思います。

したがって、最初の2つのスライドを使用して、それらが画像にどのように適用されるかを説明します。それらはいくつかのアーキテクチャを表します-基本的な操作が特定のタイプに属する多数の構成可能なパラメーターを備えた複雑な関数です。一般的な畳み込み、画像サイズの縮小、いわゆるプーリング、個々の測定に適用される要素ごとの非線形性、行列乗算などです。このような畳み込みニューラルネットワークは、これらの操作のシーケンスを取り、イメージ、たとえばこの子猫を取ります。

さらに、同様の3つの画像セットを100個の画像セットに変換します。各長方形は、MATLAB形式で指定された本当に重要な画像を表します。

次に、いくつかの非線形性が適用され、一般化畳み込みの操作を使用して、新しい画像セットが考慮されます。いくつかの反復が行われ、ある時点でそのような画像のセットが多次元ベクトルに変換されます。行列と要素ごとの非線形性による一連の乗算の後、このベクトルは入力画像のプロパティのベクトルになります。これは、ニューラルネットワークをトレーニングしたときに取得したかったものです。たとえば、このベクトルは、正規化された確率または正規化されていない量に対応する場合があり、大きな値は、オブジェクトの特定のクラスが画像に存在することを示します。この例では、上部のこぶはさまざまな種類の猫に対応しており、ニューラルネットワークはこの画像に1種類または別の種類の猫が含まれていると考えています。

写真を撮ってこの順序で処理し、同様の中間表現を得るニューラルネットワークを、通常、通常、または従来の畳み込みネットワークと呼びます。

しかし、今日は主にそれらについてではなく、新しい一般的なクラスのモデルについて説明します。これは、反転または展開されたニューラルネットワークと呼ばれます。

このような逆ニューラルネットワークの例を次に示します。これは、フライブルクグループ、ドソビツキーおよび同僚のよく知られたモデルであり、パラメーターのベクトルを取り、それらに対応する画像を合成するように訓練されています。

より具体的には、クラス、特定のタイプの椅子、およびカメラの幾何学的パラメーターをエンコードする別のベクトルをエンコードするベクトルが、このニューラルネットワークの入力に供給されます。出力では、このニューラルネットワークは椅子の画像と椅子を背景から分離するマスクを合成します。

ご覧のとおり、このような配置されたニューラルネットワークと従来のニューラルネットワークの違いは、すべてが逆の順序で実行されることです。現在の画像は入力ではなく出力にあります。そして、このニューラルネットワークで生じるアイデアは、最初は単なるベクトルであり、ある時点で画像のセットに変わります。徐々に、画像は一般化された畳み込みを使用して互いに結合され、出力は写真になります。

原則として、前のスライドに示されたニューラルネットワークは、椅子の数百のCADモデルから得られた椅子の合成画像に基づいて訓練されました。各画像には、その画像に対応する椅子クラスとカメラ設定がラベル付けされています。

通常のニューラルネットワークは、椅子の画像を入力として受け取り、椅子の種類とカメラの特性を教えてくれます。

Dosovitskyのニューラルネットワークは反対のことを行います。出口で椅子の画像を生成します。違いが明確であることを願っています。

興味深いことに、反転ニューラルネットワークのコンポーネントは、従来のニューラルネットワークのコンポーネントをほぼ正確に繰り返します。唯一の目新しさと新しいモジュールは、リバースプーリング、アッププール用のモジュールです。この操作は、小さな写真を撮影し、それらを大きな写真に変換します。これは、ほぼ同じように機能する多くの方法で実行できます。例えば、彼らの記事では、彼らは小さなサイズのカードを取り、それらの間に単にゼロを挿入し、同様の画像を処理しました。

このモデルは非常に人気があり、多くの関心とその後の仕事を引き起こしました。特に、そのようなアイデアの見かけは珍しく、エキゾチックで不自然な性質にもかかわらず、そのようなニューラルネットワークは非常にうまく機能することが判明しました。学習セットを記憶できるだけでなく、非常に優れた一般化も可能です。

彼らは、そのようなニューラルネットワークが椅子の2つのモデル間を補間し、ニューラルネットワークでは見たことのないトレーニングセットにある椅子の混合物としてモデルを取得できることを示しました。そして、これらの混合物が椅子のように見え、ピクセルの任意の混合物のように見えないという事実は、私たちのニューラルネットワークが非常によく一般化されていることを示唆しています。

なぜこれがうまく機能するのかを自問すると、いくつかの答えがあります。 2つが最も説得力があります。最初に：直接ニューラルネットワークがうまく機能する場合、なぜうまく機能しないのですか？直接ネットワークと展開されたネットワークの両方は、統計がローカルであるという自然画像の同じ特性を使用し、画像の一部は、見ているグローバル画像のどの部分にも依存しません。このようなプロパティを使用すると、従来の畳み込みニューラルネットワークの畳み込み層内のパラメーターを分離して再利用でき、展開されたネットワークはこのプロパティを使用して正常に使用できます-比較的少数のパラメーターで大量のデータを処理および記憶することができます。

2番目の特性は、直接的なニューラルネットワークではあまり明確ではなく、存在しません。展開されたネットワークをトレーニングする場合、一見すると思われるよりもはるかに多くのトレーニングデータがあります。各画像には数十万のピクセルが含まれており、各ピクセルは独立した例ではありませんが、何らかの方法でネットワーク設定に制限を課しています。その結果、このような展開されたニューラルネットワークは、一連の画像で効果的にトレーニングできます。これは、同じ数のパラメーターを使用した同様のアーキテクチャの直接ネットワークの適切なトレーニングに必要な量よりも少なくなります。大まかに言えば、数百または数万の画像を使用して椅子の良いモデルをトレーニングできますが、100万はできません。

今日は、展開されたニューラルネットワーク、または少なくとも出力画像を生成するニューラルネットワークに関連する3つの現在のプロジェクトについてお話したいと思います。詳細についてはほとんど説明できません-それらはリンクやグループの記事で入手できます-しかし、このようなタスクを実行することで、このクラスのタスクの柔軟性と関心が示されることを願っています。画像合成にニューラルネットワークを他にどのように使用できるかについてのアイデアにつながるかもしれません。

最初のアイデアは、テクスチャの合成と画像のスタイリングです。 Prismaおよび同様のアプリケーションで発生することと一致するクラスのメソッドについて説明します。これらはすべて並行して開発され、Prismaおよび同様のアプリケーションよりもわずかに進んでいます。これらの方法が使用されているかどうか-おそらくわからないでしょうが、いくつかの仮定があります。

それはすべて、テクスチャ合成の古典的な問題から始まります。コンピューターグラフィックスの人々は何十年もこれを行ってきました。簡単に説明すると、次のように定式化されます。テクスチャのサンプルが提供され、このサンプルから同じテクスチャの新しいサンプルを生成できる方法を提案する必要があります。

テクスチャを合成するタスクの大部分は、テクスチャを比較するタスクにかかっています。これらの2つの画像が同様のテクスチャに対応していること、およびこれら2つが異なることを理解する方法は？いくつかの簡単なアプローチ-たとえば、ペアでピクセルごとに3つの画像を比較したり、ヒストグラムを見たりすることは、このペアの類似性がこれと同じであるため、成功につながらないことは明らかです。多くの研究者は、テクスチャの類似性測定値の決定方法、テクスチャ記述子の定義方法について困惑しているため、そのような高度な記述子のいくつかの簡単な測定値は、テクスチャが類似しているかどうかを明確に示します。

1年半前、あるグループがテュービンゲンで突破口を開いた。実際、彼らはウェーブレット統計に基づいた以前の方法を一般化し、活性化統計に置き換えました。彼女は画像を作成し、先史時代の深いネットワークを呼び出します。

通常の実験では、分類のために訓練された大規模なディープニューラルネットワークを使用しました。後に、可能なオプションがあることが判明しました。特定の方法で初期化された場合、ネットワークはランダムな重みで深くなる可能性さえあります。

何らかの方法で、統計は次のように定義されます。画像を取得し、ニューラルネットワークの最初のいくつかの畳み込み層を通過させます。このレイヤーでは、マップのセット、イメージF ^l （t）を取得します。 tはテクスチャサンプルです。彼の一連の画像マップはlレイヤー上にあります。

さらに、テクスチャ統計を考慮します-何らかの方法で、1つまたは別の要素の空間的配置に関連するパラメータをそれ自体から除外する必要があります。自然なアプローチは、このビューでカードのすべてのペアを取ることです。マップのすべてのペアを取得し、これらのペア間のすべてのペアワイズスカラー積をカウントし、i番目のマップとj番目のマップを取得し、k番目のインデックスがすべての可能な空間位置を実行し、同様のスカラー積を考慮して、i、j係数、項を取得しますグラム行列。この方法で計算されたグラムlマトリックスは、テクスチャを表します。

さらに、2つの画像がテクスチャとして似ているかどうかを比較する必要がある場合は、特定のレイヤーセットを取得します。1つのレイヤーにすることができます-この量には1つのメンバーが含まれます。または、いくつかの畳み込み層を取ることができます。これらの2つの画像について、この方法で計算されたグラム行列を比較します。要素ごとに単純に比較できます。

このような統計は、2つのテクスチャが似ているかどうかについて非常によくわかります。スライドで作業する前に提案されたすべてのものよりも優れています。

テクスチャを比較できる非常に優れた尺度ができたので、ランダム近似、ランダムノイズを使用できます。現在の画像をxで表し、特定のパターンtがあるとします。ニューラルネットワークを介して現在の状態を渡し、現在のグラムマトリックスを確認します。さらに、バックプロパゲーションアルゴリズムを使用して、ニューラルネットワーク内のグラムマトリックスが、合成するサンプルのグラムマトリックスにもう少し類似するように、現在の伝播を変更する方法を理解する必要があります。次第に、ノイズの多いイメージが石のセットに変わります。

とてもうまくいきます。ここに彼らの記事の例があります。右側に繰り返したい例があり、左側に合成されたテクスチャがあります。主な問題は作業時間です。小さな画像の場合、数秒かかります。

このアプローチの背後にある考え方は、反転ニューラルネットワークを使用して、テクスチャ生成のプロセスを根本的にスピードアップすることです。

このテクスチャサンプル用に新しく展開されたニューラルネットワークをトレーニングすることが提案されました。これは、入力でノイズを受け取り、新しいテクスチャサンプルを生成します。

したがって、x-以前のアプローチではいくつかの独立変数であり、それを操作してテクスチャを作成しようとしていた-は、従属変数、つまり新しいニューラルネットワークの出力になります。独自のパラメーターθがあります。アイデアは、トレーニングを別のステージに移すことです。ここで、任意のノイズベクトルに対して、結果の画像がサンプルに対応するグラム行列を持つように、パラメータを調整して、ニューラルネットワークを使用して学習します。

損失関数は同じままですが、事前にトレーニングできる追加モジュールがあります。欠点は、トレーニングの長期段階があることですが、プラスはこれです：トレーニング後、新しいノイズベクトルを合成し、ニューラルネットワークを通過させるだけで新しいテクスチャサンプルを合成できます。これには数十ミリ秒かかります。

ニューラルネットワークの最適化は、確率的勾配降下法によっても実行されます。トレーニングは次のとおりです。ノイズベクトルを合成し、ニューラルネットワークに渡し、グラム行列を検討し、不一致を調べ、このパス全体で、ニューラルネットワークのパラメーターを変更する方法を理解します。

アーキテクチャの詳細は次のとおりです。スキップします。アーキテクチャは完全に畳み込み型であり、完全に接続されたレイヤーはなく、パラメーターの数はわずかです。特に、このようなスキームでは、ネットワークは、提供されたテクスチャの例を単純に記憶して、何度も発行することができません。

建築の仕事の例。左側には指定されたサンプルがあり、右側には、上、下、および中央の行の3つのニューラルネットワークのそれぞれがこれらのサンプルに与える3つの例があります。そして、これは以前のように数秒ではなく、数十ミリ秒で起こります。アーキテクチャ機能により、任意のサイズのテクスチャを合成できます。

最適化が必要な初期アプローチと新しいアプローチの結果を比較できます。結果のテクスチャの品質は同等であることがわかります。

中央はゴティス法（聞き取れない-約Ed。）、最適化を使用して得られたテクスチャのサンプルであり、右側は単純にノイズベクトルを変換することによってニューラルネットワークによって生成されたテクスチャの例です。

実際、何が起こるかは次のように解釈できます：結果として得られるニューラルネットワークは疑似オプティマイザーであり、一部のノイズベクトルに対しては、たとえば最適化アプローチを使用して改善できるいくつかの優れたソリューションを生成します。しかし、結果のソリューションは視覚的にわずかに大きな損失関数を持っているため、通常はこれは必要ありませんが、視覚的な品質の観点では、最適化を継続することで得られるものよりも劣ったり優れたりすることはありません。

興味深いことに、このアプローチは画像を様式化するために一般化できます。特定の写真と特定の視覚スタイルのサンプルに基づいて、写真と同じコンテンツとスタイルサンプルと同じ視覚スタイルを持つ新しい画像が作成されるプロセスについて説明しています。

唯一の変更：ニューラルネットワークは、ノイズベクトルだけでなく、スタイル設定が必要な画像も受信します。彼女は、任意のスタイルの例について訓練されています。

元の記事では、最適化アプローチと同等の品質の結果をもたらすアーキテクチャを構築することはできませんでした。後に、この記事の最初の著者であるDmitry Ulyanovは、品質を根本的に改善し、最適化アプローチに匹敵する様式化の品質を達成できるアーキテクチャを発見しました。

上は写真と視覚スタイルの例、下は数十ミリ秒を必要とするこのようなニューラルネットワークのスタイリングの結果、および数秒の最適化が必要な最適化方法の結果です。

品質と、どのスタイリングがより成功しているかについて話し合うことができます。しかし、私は、この場合、これはすでに明白でない質問だと思います。上記の例では、個人的に左のオプションを好みます。おそらく私は偏見があります。

ここで、おそらくより正しい。

しかし、この場合、結果は私にとってまったく予想外です。逆展開されたニューラルネットワークに基づくアプローチはより良いスタイリングを達成し、最適化方法は悪いローカルミニマムまたはプラトーのどこかに行き詰まっているようです-つまり、写真を完全に様式化することはできません。

定型化に戻ります。 2番目のプロジェクトは、次の問題を解決するニューラルネットワークに接続されています。私たちは、人の顔の写真を撮って、彼の視線をこの写真にリダイレクトできるネットワークを構築したかったのです。

なぜこのようなエキゾチックな問題を解決する必要があったのですか？関連するアプリケーションが少なくとも2つあることがわかります。私たちにとっての主なことは、ビデオ会議中のアイコンタクトを改善することです。おそらく、多くの人は、Skypeや他のビデオ会議サービスで話しているときに、カメラと人の顔が場所によって分離されているため、他の人とお互いの目を見ることができないことに気付いています。

別のアプリケーションは、映画の後処理です。あなたには、1分間に100万ドルを撃つスーパースターがいます。あなたはダブルを撃ったが、このスーパースターは間違った方向に見えた。そして、テイクを取り直すか、ビューの方向を編集する必要があります。

この問題を解決するために、多数のシーケンスを収集しました。それらの中で、頭の位置、照明を記録しました-視線の方向以外はすべて。プロトコルは、人がどこを見ているかを追跡できるようなものでした。各フレームは、対応するビューの方向でアナウンスされます。

これにより、同様のデータセットから、既知の例のペアを抽出できました。左右の画像の唯一の違いは、ビューの方向です。たとえば、ここでは、それぞれの場合で、垂直方向の差は15度です。

私たちは、実際にそのような困難な仕事から、教師と一緒に教えるという古典的な仕事に移行しました。左側にサンプルがあり、右側にサンプルを生成する必要があります。残念なことに、セルゲイが言ったように、ブラックボックスの助けを借りてこの問題を解決するだけでは失敗します。 , - . , , . . , — , .