絵文字も面白い現象だと思いますか？

先史時代、私がまだ小学生で、インターネットの楽しさを理解し始めたばかりのとき、ICQに追加された最初の連絡先から、顔文字は毎日私を楽しませました。



それ以来、たくさんの水が流れましたが、私は成熟していません。時々、私に送られた絵文字に微笑を続け、異なるサイズの目で送信者を表現したり、顔全体に愚かな笑みを浮かべます。 しかし、すべてがそれほど悪いわけではありません。一方で、私はデータ分析と機械学習の開発者および専門家になりました！ それで、昨年、私の新しい関心は、比較的新しいが、興味深く刺激的な想像力、深層学習技術に惹かれました。 地球上で何百人もの最も賢い科学者と最もクールなエンジニアが長年その問題に取り組んできましたが、今では、最終的に、ディープニューラルネットワークを教えることは、通常の回帰や木製アンサンブルなどの「古典的な」方法ほど難しくありません。 そして、絵文字について思い出しました！



絵文字を送信すると、本当に顔を作ることができると想像してください。 これは素晴らしいディープラーニングの練習であり、私は決断し、仕事に取り掛かりました。



ガレージディープラーニング-フェローシップ

ガレージディープラーニング-2つのネットワーク

ガレージでの深層学習-笑顔の復活



投稿全体を開いた人たちは、失望しないようにし、インターネット上の無数の投稿のストーリーラインを繰り返さないようにします。これは記事から完成したモデルを取り、大量のデータをネットワークに注ぎ、魔法のようにすべてが判明します。 私はこの問題にもっと系統的にアプローチし、多くの実験を行い、結果を詳細に研究し、合理的な結論を出そうとしました（ハハ、希望！）結論。 さらに、結果として、実際の生産で使用する準備ができていないモデルを取得するには、少なくとも概念的には、理解可能なエンジニアリング努力を適用してリアルタイムで作業することができます。



私の話は、手の波と簡単なスクリプトの立ち上げで驚くほどの結果が得られるというおとぎ話ではありません。 これは、現代の記事やそうではない記事や無数の実験の長い研究によってゆっくりと確実に克服された連続した失敗の物語です。

免責事項

このシリーズの記事には、トレーニングの速度を選択および変更する方法、トポロジを構成する方法、使用されたデータセットを具体的に処理する方法など、多くの質問が含まれていません。 詳細を掘り下げるのではなく、プロジェクト全体について書いて、私が直面した根本的な問題とその可能な解決策について話したかったのです。



また、私は英語の膨大な数について事前に謝罪したいと思います：この分野にはロシア語の文献はほとんどなく、慣れているかのように書きましたが、ロシアのアナログを使用しようとした場所もあります。



すべての資料、データセット、写真、ビデオはオープンソースから取得され、教育目的のみに使用されます。

水の中のオール！

そもそも、ツールチェーン：私は自分でかなり大人を選ぶことにしましたが、同時に最も柔軟なツールキットを選びました。 これはすぐにCaffeとさまざまなハードコアC ++ライブラリを削除しました。結局、これは研究プロジェクトです！

原則として、（当時）テアノとトーチだけが残っていました（テンソルフローはまだ出ていません）。 PythonとLuaはどちらもよく知っていて、両方の言語でかなりの経験を持っているので、選択は純粋に趣味の良いものでした。表現、およびより一般化されたようです。 テアノではなくトーチにある完成したレンガの層の補償として、私はラザニア、本質的に同じレンガですが、テアノの上に使用することにしました。



私は十分な知識を持って選択しなかった、つまり、ネットワークの経験がまだないことをすぐに言わなければならないので、その過程で何度も後悔し、トーチを選択しなかったことを悲しくしました。 その結果、私はまだどちらが良いか決定していません:)



プラットフォームを選択しましたので、コーディングできます！ でも何？

挑戦する

食べ物は多かれ少なかれ明確です。顔文字をリストから選択せずに、顔に描いて絵文字を送信したいと思います。 全体として、私は顔を作り、写真を撮りたいと思っています。理想的には、システムは私がどの笑顔を描いているかを理解し、メッセージにそれを入力する必要があります。 すぐに失望します。Skype、VPSU、またはハングアウトへのプラグインの形でプロトタイプに到達しませんでした（まだ？）。十分な時間がないため、ネットワークシステムを完成させました。



幸いなことに、そのような製品要件は技術的な要件に簡単に変換できます。簡単に言えば、自分撮りをスマイリーに変換できるようにする必要があります。



顔をスマイリーに変換するには、最初に顔を見つけて選択する必要があります（ユーザーが画面上で顔を揃えるように強制したくはありませんか？）。



したがって、アルゴリズム：

1. 顔を探しています。
2. 切り取ります。
3. 笑顔に変換します。
4. ??????
5. 利益！

すべてを教えることができます！

ただ何？ 最初に、顔検出について説明しましょう。 インターネットには、画像の分類に関する記事がたくさんあります。 しかし、まず、分類は必要ありませんが、検出は必要です！ そして、それははるかに複雑です。 幸いなことに、最初の重要な洞察がここに表示されます。検出を分類に減らすことができます。 ネットワークを取得して、画像全体ではなく、この画像内のすべての正方形のウィンドウに適用してみましょう。 より正確には、すべてではなく、（x、y）に沿ったオフセット（4 i、4 j）を持ついくつかのサイズのウィンドウで、i、jは（0、ceil（w / 4））、（0、ceil（h / 4））。

アルゴリズム（ハーフコード）が判明します。

def windows(img): window_size = min(img.height, img.width) while not_too_small(window_size): y = 0 while y < img.height: while x < img.width: yield (x, y, x + window_size, y + window_size) x += dx if pixels_x_left_unyilded(): yield (img.width - window_size, y, img.width, y + window_size) y += dy if pixels_y_left_unyilded(): while x < img.width: yield (x, img.hight - window_size, x + window_size, img.hight + window_size) x += dx window_size /= resizing_factor dx /= resizing_factor dy /= resizing_factor
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

合計で、いくつかの異なる縮尺で画像のサイズを変更し、各縮尺に対して、4ピクセルのステップで固定サイズのウィンドウを駆動します。 そして、各正方形の顔を分類します。 その後、もちろん、各人にライトアップされた多数の正方形を取得するので、それらを何らかの形でマージする必要があります。 アルゴリズムは異なると考えられますが、賢くはありませんが、強く交差する中で最も照らされた正方形を選択します：

 def filter_frames(frames): res = [] while len(frames) > 0: frames.sort(by=probability_of_face) res.append(frames[0]) frames = frames[1:] for f in frames: if intersection(res[-1], f) > big_enough: frames.remove(f)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

教えますか？

そして何？ 幸いなことに、ディープラーニングに関するいくつかのテキストおよびビデオコースからの知識、いくつかの興味深いブログ、および現代研究に関するかなり多数の一連の既読記事（その時点で、その月の基準によって大きかったが、それにもかかわらず、十分）。



画像を使用したい場合は、畳み込みネットワークを使用します。 例外なし。



実際、この分野には偉大な人たちからの別の意見があります。普通のレイヤーと邪悪なレイヤーの畳み込みを使用するのは正しいことです。 実際、これらは通常のレイヤーにすぎませんが、オブジェクトの位置から独立した「使い古された」特性を備えています。 しかし、この特性は、第一に、ネットワーク自体によって学習される可能性があり、第二に、検出中に位置が重要であるため、まったく正しくありません！



このアプローチの悪いニュースは、最新のハードウェアに実装できないことです。そこで、このオプションを数十年間延期し、畳み込みネットワークを作成しました。



そして、ここはとても簡単です。 CNNの最初の画期的な突破口であるAlexNetの例に従ってください。AlexNetのアーキテクチャは非常に簡単に繰り返すことができます。 再トレーニングが非常に簡単であることを除いて、ネットワークが大きいほど良いですが、ヒントンのおかげで、ドロップアウトと呼ばれる手法を使用してこれに対処することは非常に簡単で、念のためスケールをわずかに減衰させます。





私の最初の、まだ小さいネットワーク：

 def build_net12(input): network = lasagne.layers.InputLayer(shape=(None, 3, 12, 12), input_var=input) network = lasagne.layers.dropout(network, p=.1) network = conv(network, num_filters=16, filter_size=(3, 3), nonlin=relu) network = max_pool(network) network = DenseLayer(lasagne.layers.dropout(network, p=.5), num_units=16, nonlin=relu) network = DenseLayer(lasagne.layers.dropout(network, p=.5), num_units=2, nonlin=relu) return network
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

主に小さいのは、その時点で利用可能なGPUがまだなかったため、CPUで最適化したためです。これは非常に遅いです。

さて、私たちはすでに学習していますか？

そして何で？ 幸いなことに、善良な人々は顔の認識と検出のための多くのオープンデータセットを作成しました。 私が最初にしたことは、FFDBというデータセットを取得することでした。 その中には多くの写真があり、その上に顔が楕円でマークされています（写真の真上ではなく、楕円のパラメーターはテキストファイルに個別に書き込まれます）。 このデータセットは教育目的にのみ使用できますが、まさにそのような目標がありますよね？ :)さらに、そこにいくつかのデータを投げて、自分でマークアップし、CPDVに似た写真から取得しました。

すべてがそこにあります、教えに行きましょう！

行こう そしてすぐに、魔法のように、判明しました！







スクリーンショットは、DeepEventと呼ばれるニューラルネットワーク用に特別に開発されたトレーニング監視システムで撮影されました。興味がある場合は、別の記事で説明します。



最初の10回のトレーニングの繰り返しは、それらがほとんど言わず、ランダムな重みの初期化に大きく依存しているという理由だけでカットされます。

操作例では、ネットワークが顔を見つけたすべてのウィンドウは赤でマークされ、フィルタリング後に残っているウィンドウは緑でマークされます。

また、ここで少し詐欺が行われていることも認めています。すべてのグラフは、非常に実験的なものではなく、やや高度なもので、修正が必要な場所で作成されましたが、似ています。 実際、DeepEventは一度に開発されたわけではなく、最初の実験の結果は永久に失われました。 私が今覚えているように、このネットワークは最初は92％ではなく、約89.5％を生成しました。



そして、私が92％という小さな努力でネットワークが非常に高く表示されたとしても、実際の検出品質には多くのことが望まれています。 どうする より大きなネットワークを学ぶ必要があります！

 def build_net48(input): network = lasagne.layers.InputLayer(shape=(None, 3, 48, 48), input_var=input) network = lasagne.layers.dropout(network, p=.1) network = conv(network, num_filters=64, filter_size=(5, 5), nolin=relu) network = max_pool(network) network = conv(network, num_filters=64, filter_size=(5, 5), nolin=relu) network = max_pool(network) network = conv(network, num_filters=64, filter_size=(3, 3), nolin=relu) network = max_pool(network) network = conv(network, num_filters=64, filter_size=(3, 3), nolin=relu) network = max_pool(network) network = DenseLayer(lasagne.layers.dropout(network, p=.5), nolin=relu, num_units=256) network = DenseLayer(lasagne.layers.dropout(network, p=.5), nolin=relu, num_units=2) return network
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、それは何も起こりません。 ディープラーニングには大量のデータが必要であるため、記事で伝えるのを忘れることがよくあります。 たくさん。 上記のデータセットを使用して、小さなモデルを適切にトレーニングすることができましたが、小さなモデルでは必要な品質が得られませんでした。 大規模モデルは通常の低値をまったく満たしていませんでした。ドロップアウトのしきい値を下げると、すぐに再訓練されました。これは論理的です。大規模モデルは少量の訓練データを覚えやすいです。

増強

さて、私はより多くのデータが必要だと考えました-もっとデータをやりましょう！ そして、彼が後で学んだように、データ拡張と呼ばれるプロセスを実装しました：これは、変換が元のデータに適用されるときに行われ、トレーニングサンプルのサイズを効果的に数百倍、さらには数千倍にします。



したがって、各例では、0.5の確率で、顔/顔ではないクラスがこれから変化しないため、水平に反映します。 また、各人について、データセットに存在する楕円から取得した元の正方形を取得しませんでしたが、最初の正方形は特定の間隔でランダムにわずかに増加（または減少）し、次に、誤ってxにわずかにシフトし、一定の間隔でy。

さらに、後でこの正方形自体を取得しないように思いつきましたが、xまたはy（50/50）でランダムにわずかに引き伸ばされました。 その結果、顔から写真から長方形が切り取られ、圧縮によって正方形に変換する必要があります。 この変換の違いは、前の変換は正方形のサイズと位置を変更しますが、顔自体は変形しないことです。この変換は顔を変形します。垂直または水平のいずれかにわずかに伸縮します。



擬似コードの増強：

 def get_rnd_img_frame(img, box, net_input_size): box = move_box(box, random(minx, maxx), random(miny, maxy)) box = scale_box(box, random(minscale, maxscale)) if random.random() >= 0.5: stretch_x, stretch_y = random(1., stretchx), 1 else: stretch_x, stretch_y = 1, random(1., stretchy) box = stretch_box(box, stretch_x, stretch_y) frame = img.crop(box) if random() > 0.5: frame = mirror(frame) return frame.resize((net_input_size.x, net_input_size.y))
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

上記の組み合わせを使用すると、効果的に無限のデータセットが得られました。私の推定によると、500時代以上のトレーニングを繰り返す画像の可能性は、画像サイズの10分の1前後でした。



同じ小さなモデルの結果を以下に示しますが、トレーニングセットとテストセットが追加されています。





作業の例では、フィルタリングを2段階に分けたため、青い正方形がまだあります：最初は各サイズのウィンドウのみが個別にフィルタリングされ、サイズの中から最適なものを選択し（青）、同時にすべてのサイズからグローバルに選択します（緑）何らかの理由で、ウィンドウのスライド手順を減らしました。

最適化i

確かに、少量のトレーニングデータの見返りに、別の問題がありました。潜在的に無限の量のデータには、潜在的に無限に強力なコンピューターが必要です！ またはスマートなトリック。 私はソフトウェアをより専門にしているので、次回は無限に強力なコンピューターを構築することを決定し、現在の問題をスマートトリックで解決します。トレーニング用にデータセットを事前生成せず、完全にメモリにロードしますが、特定のインデックスを作成します最初の不完全なデータセット。実行時に直接補足します。 実際、反復中、ミニバッチ内の各オブジェクトに対して、上記のアルゴリズムを呼び出し、更新されたデータをその場で生成します。



ちなみに、面白い話はこれに関連しています。 CPUでこれをすべてデバッグし、GPUで実行を開始すると、パフォーマンスがおかしくなりました。自分で判断すると、増強アルゴリズムには多数のロジックが含まれており、その後、画像のリフレクションとサイズ変更も行われます！ したがって、ミニバッチの1024要素すべてに対して、反復ごとに数十のミニバッチを掛けます！



一般的に、もちろん、これはカテゴリ的に私に合わなかったので、整理しに行きました。 そして、すべてが非常に論理的であることが判明しました。シングルスレッドpythonプログラムでは、GPUは単純にスリープしますが、CPUはゆっくりとミニバッチを生成します。 怠azineは悪いです、私たちはそれと戦わなければなりません、そして私はGPUが、私が利用できるあらゆる瞬間、ギャレーの奴隷のように動作するべきだと決めました！



解決策？ GPUをブロックしないでください！ さあ、GPUが現在のネットワークでネットワークを学習している間に、CPUは次のバッチを非同期で準備します。 だから私はやった。 そして、私はこの手術の成功を確信していましたが、がっかりしました。それはほとんど助けになりませんでした。 特に小規模ネットワークでは、CPUがGPUよりもはるかに長く実行され、GPUはほとんどの時間スリープすることが判明しました。



さて、私はこれらのすべてのWebサービスを設計しましたか？ 大量のオブジェクトの並列読み取り専用処理を最適化する方法は？ シャーディング（別名MapReduce）！ たくさんのプロセスを開始して、それぞれが処理するミニバッチの一部を与え、結果をキューに入れて、待機せずにすぐに次のミニバッチの一部を処理します。 さらに、このキューをリッスンする別のプロセスを開始し、ピースがどのミニバッチに属しているかを理解し、ピースからミニバッチを組み立てて、2番目のターンでスタックします。GPUで動作するメインプロセスは既にデータを取得しています。



そして最後に、32個のコンピューティングコアを備えたサーバーで武装し、32個のプロセスで拡張データの生成を開始し（2つはほとんど常にインラインまたはGPUで待機しています）、2番目の時代から始まって、GPUはほとんど不要にダウンロードしました。

ほら、教えて！

そのため、通常のサイズのおもちゃ以外のモデルを既に教えることができ、成功しました！、適切な設定で、再訓練せず、低域の外に出かけることはありません。







ここでは、学習プロセスで威勢のいいバーストがどのように現れるかを明確に見ることができます（理由-それがさらに進んでいきます）が、ややおしゃべりですが、最終的にはすべてが多少良くなります。



次のシリーズ：

さらに多くのデータ、さらに多くのネットワーク、キャリブレーション、印象的なネットワークのアンサンブル、現代のテクノロジー、より多くの写真、少女、ドラマ！