要するに、このプロジェクトのタスクは、古い写真を色付けして復元することです。詳細をもう少し詳しく説明しますが、最初に写真を見てみましょう。ちなみに、ソース画像の大部分はr / TheWayWeWere subredditから撮影されたものです。このような高品質の大きなショットを提供してくれたみんなに感謝します。

これらはほんの数例であり、非常に典型的です！

マリア・アンダーソンは、小さな妖精と彼女のページ1890年、ロシア、サンクトペテルブルクの帝国劇場でのバレエの眠れる森の美女、リューボフ・リヤブツォワ

女性がリビングルームでリラックス（1920、スウェーデン）

1890年頃の死体の近くでポーズ医学生

ハワイのサーファー、1890

紡績馬、1898

バーのインテリアMiller and Shoemaker、1899

1880年代のパリ

1920年代のエジンバラの空撮

1938年のテキサスの女性

ウォータールー駅の人々が初めてテレビを見る、ロンドン、1936

1850年の地理レッスン

1880年の中国のアヘン喫煙者

本当に古い写真や低品質の写真でも、かなりクールに見えることに注意してください。

デッドウッド、サウスダコタ、1877

1877年の兄弟姉妹（デッドウッド）

サンフランシスコのポーツマス広場、1851

860、1860年代頃

もちろん、モデルは完全ではありません。この赤い手は私を夢中にさせますが、それ以外の点では素晴らしいです：

セネカイロコイガール、1908

彼女は、白黒の図面を色付けすることもできます。

技術的な詳細

これは深層学習モデルです。特に、次のアプローチを組み合わせました。

自己注意GAN 。唯一のことは、 事前に訓練されたUnetがジェネレーターとして使用され、スペクトル正規化と実際にはSelf-Attentionメカニズムのためにそれを変更したことです。これはかなり簡単な修正です。以前のバージョンのWasserstein GANと比較して、その違いが顕著であることをお伝えします。 Wasserstein GAN理論は好きでしたが、実際には機能しません。しかし、私は自己注意GANネットワークに恋をしたばかりです。
GANの漸進的な成長のような学習構造（正確には同じではありません）。違いは、レイヤーの数が一定であるということです。入力データのサイズを変更し、サイズ間の遷移が成功するように学習速度を調整しただけです。同じ最終結果を生成するように見えますが、学習速度が速く、安定性が高く、一般化のパフォーマンスが向上しています。
TTURルール （2つのタイムスケール更新ルール）。ここでは、ジェネレーター/弁別器（批判）の1対1の反復と、弁別器のトレーニング速度の向上が非常に明確です。
ジェネレーター損失関数は2つの部分で構成されます。そのうちの1つは、VGG16に基づく知覚的損失（または機能損失）の主な機能です。ジェネレーターモデルをプッシュして、入力画像を複製します。 2番目の部分は、弁別者からの損失の推定です（批評）。好奇心の強い人には：良い結果を得るには知覚的損失関数だけでは不十分です。それは単純に茶色/緑/青の束を奨励する傾向があります-あなたは、テストで不正行為をすることによって、ニューラルネットワークが本当に得意とするものを知っています！重要な点は、GANが本質的に損失関数を学習することです。これは実際、機械学習で目指している理想への大きな一歩です。そしてもちろん、以前に手動でエンコードしたものをマシン自体が学習すると、結果は大幅に改善されます。もちろん、これはこの場合です。

このモデルの美しさは、さまざまな画像修正でかなり優れていることです。上の図は色付けモデルの結果ですが、これは同じモデルで開発したいパイプラインの1つのコンポーネントにすぎません。

次に、古い画像を完成させようとします。次の項目は、彩度と豊かさ（退色）を改善するためのモデルです。現在、彼女はトレーニングの初期段階にあります。これは基本的に同じモデルですが、いくつかのコントラスト/輝度設定は、色あせた写真や古い/貧弱な機器で撮影した写真のシミュレーションとして設定されています。私はすでにいくつかの心強い結果を受け取っています。

プロジェクトの詳細

このプロジェクトの本質は何ですか？ GANを適用して、古い写真が非常に良く見えるようにします。そしてさらに重要なことは、プロジェクトが有用になることです。そして、もちろん、私は間違いなくビデオの操作に興味がありますが、最初にこのモデルをメモリ消費の制御下に置く方法を理解する必要があります（これは本当の獣です）。モデルが1080Tiで2〜3日間学習しなかったらいいのですが（残念ながら、GANの典型です）。これは私の子供ですが、予見可能な将来のためにコードを積極的に更新および改善しますが、おそらく多少の困難はありますが、プログラムをできるだけユーザーフレンドリーにするように努めます。

そして、いつかコードを適切に文書化することを誓います。確かに、私は「自己文書化コード」（LOL）を信じる人々の一人です。

自己起動モデル

プロジェクトは素晴らしいライブラリFast.AI上に構築されています。残念ながら、これは古いバージョンであり、新しいバージョンに更新する必要があります（これは間違いなく議題に含まれています）。つまり、前提条件、つまり：

古いライブラリFast.AI。 2か月間プロジェクトに没頭していたので、私はそれがどうなったのか少し見逃しました。なぜなら、「古い」とマークされたものは実際に私が持っているものとは似ていないからです。過去2か月ほどですべてが変化しました。したがって、他のバージョンで動作しない場合は、ここで分岐しました。繰り返しになりますが、最新バージョンへの更新が予定されています。事前に謝罪します。
すべてのFast.AI依存関係 ：便利なrequirements.txtおよびenvironment.ymlファイルがあります。
Pytorch 0.4.1 （spectral_normが必要なため、最新の安定版リリースが必要です）。
JupyterLab 。
Tensorboard （ Tensorflowのインストール）およびTensorboardX これは必ずしも必要ではないと思いますが、はるかに簡単です。便宜上、Tensorboardで必要なすべてのフック/コールバックを提供しています！それらの使用例があります。デフォルトでは、処理中の画像は200回の反復ごとにTensorboardに記録されるため、モデルが何をするのかを常に便利に把握できることに注意してください。
ImageNet ：トレーニング用の優れたデータセット。
強力なグラフィックカード 。 GeForce 1080Tiに11 GBを超えるメモリを搭載したいと考えています。あなたがより弱い何かを持っているならば、それは難しいでしょう。 UnetとCriticはとてつもなく素晴らしいですが、大きくなるほど、結果は良くなります。

モデルをトレーニングせずに、 今すぐ自分で画像処理を開始したい場合は 、こちらから既製のウェイトをダウンロードできます。次に、JupyterLabでColorizationVisualization.ipynbを開きます。重みへのリンクを含む行があることを確認します。

colorizer_path = Path('/path/to/colorizer_gen_192.h5')

次に、netGが初期化された後、カラライザーモデルをロードする必要があります。

 load_model(netG, colorizer_path)

次に、プログラムを開始する/ test_images /フォルダーに画像を配置します。 Jupyter Notebookの結果は、次の行で視覚化できます。

 vis.plot_transformed_image("test_images/derp.jpg", netG, md.val_ds, tfms=x_tfms, sz=500)

多くのメモリ（たとえば、GeForce 1080Ti 11 GB）を備えたGPUでプログラムを実行する場合、プラスまたはマイナスで約500ピクセルのサイズを節約します。メモリが少ない場合は、画像のサイズを小さくするか、CPUで実行する必要があります。私は実際に後者を試みましたが、何らかの理由でモデルは非常に、非常にゆっくりと動作し、問題を調査する時間が見つかりませんでした。鑑定家は、ソースからPytorchをビルドすることを推奨しました。そうすると、パフォーマンスが大幅に向上します。うーん...その瞬間はそうではありませんでした。

追加情報

Jupyterでは、生成された画像の視覚化を行うことができます。この視覚化フックのインスタンスを作成するときは、値をtrueに設定するだけです。

GANVisualizationHook(TENSORBOARD_PATH, trainer, 'trainer', jupyter=True, visual_iters=100

私はfalseのままにして、Tensorboardを使用することを好みます。私を信じて、あなたもそれをしたいです。さらに、長時間放置しておくと、Jupyterはそのような画像で多くのメモリを消費します。

モデルの重みは、GANTrainerトレーニングの実行中に自動的に保存されます。デフォルトでは、1000回の繰り返しごとに保存されます（これは負荷の高い操作です）。これらはトレーニング用に指定したルートフォルダーに保存され、名前はトレーニングスケジュールで指定されたsave_base_nameに対応します。ウェイトは、ワークアウトサイズごとに個別に保存されます。

Jupyter Notebookから始めて、コードを上から下にナビゲートすることをお勧めします。これらのメモは、プロトタイプ作成と視覚化のための便利なインターフェイスとしてのみ使用します。他のすべては、それらの場所を見つけるとすぐに.pyファイルに移動します。便利に有効化して表示できる視覚化の例は既にあります。ノートブックでxVisualizationを開くと、プロジェクトに含まれるテストイメージが表示されます（test_imagesにあります）。

GANスケジュールが表示されている場合、これはプロジェクトで最もuいものであり、私のバージョンのプログレッシブ学習GAN実装であり、Unetジェネレーターに適しています。

カラーライザージェネレーターの事前トレーニング済みの重みもここにあります。 DeFadeプロジェクトはまだ作業中です。数日のうちに良い重みを付けようとします。

通常、トレーニング中に最初の良い結果が表示されます。つまり、192ピクセルのサイズからです（提供されているトレーニング例を使用する場合）。

私はどこかでめちゃくちゃになったと確信しているので、そうであれば私に知らせてください。

既知の問題

最良の結果を得るには、画像のサイズを少し調整する必要があります。モデルは、画像を生成する際に、明らかにいくつかのアスペクト比とアスペクト比の影響を受けます。以前ははるかに悪化していましたが、照明/コントラストの増加と進歩的な学習の導入により状況は大幅に改善しました。私はこの問題を完全に取り除き、それに焦点を合わせたいと思いますが、これまでのところ、画像が過度に飽和している、または奇妙なグリッチがあるように見えても絶望しません。ほとんどの場合、少しサイズを変更するとすべてが正常になります。原則として、過飽和の画像の場合、サイズを大きくする必要があります。
上記に加えて、最適な画像を取得することは、最適なパラメーターを選択する技術にかかっています 。はい、結果は手動で選択されます。私は品質に非常に満足しており、モデルは完全にではなく非常に確実に動作します。プロジェクトはまだ進行中です！このツールは「AIアーティスト」として使用できると思いますが、まだ一般向けには準備ができていません。ちょうどその時ではありません。
状況を複雑にするために、現在、モデルは残酷にメモリを消費しているため、1080Tiカードでは最大500-600ピクセルの写真を処理しています。ここには多くの最適化オプションがありますが、まだ実行していません。
予想されるサイズに適合しないものについては、Unetジェネレーターにゼロパディングを追加しました（これにより、任意のサイズの画像を読み込むことができます）。これは非常に高速なハックであり、任意のサイズのテストイメージの出力にバカな右下限をもたらします。もっと良い方法があると確信していますが、まだ見つかりません。
モデルは青い服が大好きです。理由は定かではありませんが、解決策が模索中です！