年末年始の深層学習とカフェ

やる気

この記事では、実際にディープラーニングを使用する方法を学習します。 SVHN データセットのCaffeフレームワークが使用されます。



深層学習 この話題の言葉は長い間耳に響いていましたが、実際に試してみることはできませんでした。 それを修正する良い機会を見つけました！ 年末年始には、画像解析コースの一環として家番号を認識するためにカグルコンテストが認められました。



よく知られているSVHNサンプルの一部が提供されました。これは、トレーニングの73257イメージとテスト（未割り当て）サンプルの26032イメージで構成されています。 1桁につき10クラスのみ。 画像はRGB色空間で32x32です。 ベンチマークが示すように、ディープラーニングに基づく方法は、人の精度よりも高い精度を示します-2％の誤差に対して1.92％！



SVMとNaive Bayesに基づく機械学習アルゴリズムの経験がありました。 既知の方法を適用するのは退屈なので、ディープラーニングの何か、つまり畳み込みニューラルネットワークを使用することにしました。

カフェの選択

ディープニューラルネットワークを操作するためのさまざまなライブラリとフレームワークがあります。 私の基準は次のとおりです。

1. チュートリアル
2. 開発のしやすさ
3. 展開の容易さ
4. アクティブなコミュニティ。

Caffeはそれらを完璧に歩きました。

1. 良いチュートリアルが彼らのサイトにあります。 Caffe Summer Bootcampからの講義を個別にお勧めします。 クイックスタートとして、 ニューラルネットワークの基礎について、次にCaffeについて読むことができます。
   
   
2. Caffeを使い始めるのにプログラミング言語も必要ありません。 Caffeは、構成ファイルを使用して構成され、コマンドラインから起動されます。
   
   
3. デプロイ用にchef-cookbookとdocker-imagesがあります。
   
   
4. githubでは積極的な開発が進行中です。Googleグループでは、フレームワークの使用について質問することができます。
   
   

さらに、Caffeは非常に高速です。 GPUを使用します（ただし、CPUで対応できます）。

設置

最初に、 ドッカーを使用してラップトップにCaffeをインストールし、CPUモードで実行しました。 ニューラルネットワークのトレーニングは非常に遅かったが、比較できるものはなく、これは正常であるように思われた。



次に、 25ドルのAmazonクーポンを見つけて、NVIDIA GPUとCUDAをサポートするAWS g2.2xlargeを試してみることにしました。 そこでChefで Caffeをデプロイしました。 その結果、41倍高速になりました-CPUでは100回の反復に290秒かかりましたが、GPUでは7秒でCUDAを使用できました。

ニューラルネットワークアーキテクチャ

機械学習アルゴリズムで許容可能な品質を得るために特徴の良いベクトルを形成する必要があった場合、これは畳み込みニューラルネットワークでは必要ありません。 主なことは、優れたネットワークアーキテクチャを考案することです。



次の表記法を紹介します。

• input-入力レイヤー。通常、これらは画像ピクセルです。
• conv-畳み込み層[ 1 ]、
• プール-サブサンプルレイヤー[ 2 ]、
• 完全に接続-完全に接続された層[ 3 ]、
• output-出力レイヤー。目的の画像クラスを生成します。

画像分類の主要なアーキテクチャは、次のNSアーキテクチャです。

input -> conv -> pool -> conv -> pool -> fully-conn -> fully-conn -> output
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

レイヤーの数（conv-> pool）は異なる場合がありますが、通常は2倍以上です。 完全な接続の数は1日以上です。



このコンテストの一環として、いくつかのアーキテクチャが試されました。 私は次のもので最も正確になりました：

  input -> conv -> pool -> conv -> pool -> conv -> pool -> fully-conn -> fully-conn -> output
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Caffeアーキテクチャの実装

Caffeは、Protobufファイルを使用して構成されます。 コンテストのアーキテクチャの実装はこちらです。 各レイヤーの構成における重要なポイントを考慮してください。

入力層

最初の2つのレイヤー（トレーニングおよびテストフェーズ用）のタイプはIMAGE_DATA、つまり 入力ネットワークは画像を受け入れます。 画像はテキストファイルにリストされます 。1列は画像へのパス、2列はクラスです。 テキストファイルへのパスは、image_data_param属性で指定されます。



画像に加えて、 HDF5 、LevelDB、およびlmbdからデータを入力できます。 最後の2つのオプションは、作業速度が重要な場合に特に関連します。 したがって、Caffeは画像だけでなく、あらゆるデータを扱うことができます。 最も簡単な作業方法はIMAGE_DATAを使用することです。このため、コンテストに選ばれました。



入力レイヤーには、transform_param属性を含めることもできます。 入力データが受けなければならない変換を示します。 通常、画像をニューラルネットワークに送信する前に、画像は正規化されるか、たとえばLocal Contrast Normalizationのようなトリッキーな操作が実行されます。 この場合、mean_fileが指定されました-入力から「平均」画像を減算します。



Caffeはバッチ勾配降下法を使用します。 入力レイヤーにはbatch_sizeパラメーターが含まれています。 1回の反復で、サンプル要素のbatch_sizeがニューラルネットワークの入力に到達します。

畳み込みとサブサンプリングの層（conv、pool）

3mは、タイプがCONVOLUTIONの畳み込み層です。 以下は、アクティブ化関数cタイプの表示です：RELU。 4番目のレイヤーは、タイプがPOOLのサブサンプルレイヤーです。 次の2回は、conv、poolレイヤーの繰り返しですが、パラメーターは異なります。



これらのレイヤーのパラメーターの選択は経験的です。

完全に接続された出力層（完全接続、出力）

完全に接続されたレイヤーのタイプはINNER_PRODUCTです。 出力層は、損失関数（タイプ：SOFTMAX_LOSS）と精度層（タイプ：ACCURACY）によって層に接続されます。 精度レイヤーはテスト段階でのみ機能し、検証サンプルで正しく分類された画像の割合を示します。



weight_filler属性を指定することが重要です。 大きい場合、損失関数は最初の反復でNaNを返すことができます。 この場合、weight_filler属性のstdパラメーターを減らす必要があります。

トレーニングオプション

十分に訓練されたニューラルネットワークを取得するには、学習パラメーターを設定する必要があります。 Caffeでは、トレーニングパラメーターはprotobuf構成ファイルを介して設定されます。 このコンテストの設定ファイルはこちらです。 多くのパラメーターがありますが、そのうちのいくつかをより詳細に検討します。

• net-国会議事堂のアーキテクチャの構成へのパス、
• test_interval-NSがテストされる反復回数（フェーズ：テスト）、
• スナップショット-NSの学習状態が保持される反復回数。
  
  Caffeでは、トレーニングを一時停止して再開できます。

トレーニングとテスト

NSのトレーニングを開始するには、トレーニングファイルが設定されている構成ファイルでcaffe trainコマンドを実行する必要があります 。

 > caffe train --solver=/home/deploy/winny-f/winny_f_svhn_solver.prototxt
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

1つの時代は（73257-120）/ 128〜= 571反復です。 1時代よりもわずかに多く、700回の繰り返しで、検証サンプルのネットワーク精度は84％です。 134時代には、精度はすでに91％です。 181エポック-88％。 たとえば、1000年など、より多くの時代のネットワークをトレーニングすると、精度が安定し、より高くなります。 このコンテストでは、トレーニングは181エポックで中止されました。



Caffeでは、--snapshotオプションを追加することにより、スナップショットからネットワークトレーニングを再開できます。

 > caffe train --solver=/home/deploy/winny-f/winny_f_svhn_solver.prototxt --snapshot=winny_net/winny-F_snapshot_77000.solverstate
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

未割り当て画像のテスト

NSをテストするには、ネットワークアーキテクチャの展開構成を作成する必要があります。 これでは、前の構成とは異なり、精度レイヤーがなく、入力レイヤーが単純化されています。



26032イメージで構成されるテストサンプルは、マークアップなしで実行されます。 そのため、コンテストのテスト選択の精度を評価するには、 いくつかのコードを記述する必要があります 。 CaffeにはPythonとMatlabのインターフェースがあります 。



Caffeには、さまざまな時代のネットワークをテストするためのスナップショットがあります。 134時代のネットワークは88.7％の精度（kaggleでのプラ​​イベートスコア）を示し、181時代のネットワークは87.6％でした。

精密なアイデア

修士論文によると、実装されたアーキテクチャの精度は96％に達する可能性があります。



得られた精度88.7％を高めるにはどうすればよいですか

• ネットワークをより多くの時代に向けてトレーニングします。 たとえば、顔のキーポイント検出のディープラーニングチュートリアルでは、ネットワークは1000の時代を教えました。
• 期待値が0で分散が1になるようにデータを標準化します。これを行うには、HDF5またはLevelDb / lmdbを使用してデータを保存します。
• 学習オプションを操作します。 たとえば、100時代ごとにlearning_rateを減らします。
• ドロップアウトレイヤーを使用することもできますが、このためには1000年よりもさらに多くの時代をネットワークでトレーニングする必要があります。
• SVHNデータセットには、追加の600,000個のタグ付き画像が含まれています。 それらは研究で使用されますが、コンテストの一環として、それらの使用は不公平になります。 この場合、使用可能なデータに基づいて新しいデータを生成できます。

おわりに

実現された畳み込みニューラルネットワークの精度は88.9％でした。 これは最良の結果ではありませんが、最初のパンケーキにとっては悪くありません。 最大96％の精度向上の可能性があります。



Caffeフレームワークのおかげで、ディープラーニングに没頭してもそれほど難しくありません。 いくつかの構成ファイルを作成し、1つのコマンドで学習プロセスを開始するだけで十分です。 もちろん、人工ニューラルネットワークの理論の基礎知識も必要です。 この記事のクイックスタートのために、（資料へのリンクの形で）これとその他の情報を提供しようとしました。