ニューラルネットワークアーキテクチャ

ニューラルネットワークアーキテクチャの翻訳



ディープニューラルネットワークのアルゴリズムは、今日非常に人気があります。これは、よく考え抜かれたアーキテクチャによって主に保証されています。 過去数年間の開発の歴史を見てみましょう。 より深い分析に興味がある場合は、 この作業を参照してください。





トップ1のワンクロップ精度と、1つのダイレクトパスに必要な操作の数に関する一般的なアーキテクチャの比較。 詳細はこちら 。

Lenet5

1994年に、最初の畳み込みニューラルネットワークの1つが開発され、ディープラーニングの基礎を築きました。 Yann LeCunによるこの先駆的な仕事は、1988年以来多くの成功を収めた後、 LeNet5と呼ばれています 。







LeNet5アーキテクチャは、特に画像全体の画像プロパティの分布に関して、ディープラーニングの基礎となりました。 学習パラメータを使用した畳み込みでは、複数のパラメータを使用して、異なる場所から同じプロパティを効率的に抽出できました。 その年には、学習プロセスをスピードアップできるビデオカードはなく、中央処理装置でさえも低速でした。 したがって、このアーキテクチャの主な利点は、大きな多層ニューラルネットワークの各入力データとして各ピクセルを使用するのとは対照的に、パラメーターと計算結果を保存できることでした。 LeNet5では、画像は空間的に強く相関しているため、最初のレイヤーでピクセルは使用されません。したがって、個々のピクセルを入力プロパティとして使用しても、これらの相関は利用されません。



LeNet5の機能：

• 畳み込み層、プーリング層、非直線性層の3つの層のシーケンスを使用する畳み込みニューラルネットワーク-> Lekunの研究の出版以来、これはおそらく画像に関する深層学習の主な機能の1つです。
• 畳み込みを使用して空間プロパティを取得します。
• 空間マップ平均化を使用したサブサンプリング。
• 双曲線正接またはシグモイドの形の非線形性。
• 多層ニューラルネットワーク（MLP）の形式の最終的な分類器。
• レイヤー間の接続の疎行列により、計算量が削減されます。

このニューラルネットワークは、多くのその後のアーキテクチャの基礎を形成し、多くの研究者に刺激を与えました。

開発

1998年から2010年まで、ニューラルネットワークはインキュベーション状態にありました。 多くの開発者はアルゴリズムの能力を徐々に磨きましたが、ほとんどの人はその能力の向上に気付きませんでした。 携帯電話カメラの全盛期とデジタルカメラの低価格化により、ますます多くのトレーニングデータが利用可能になりました。 同時に、コンピューティング機能が向上し、プロセッサがより強力になり、ビデオカードがメインのコンピューティングツールに変わりました。 これらのすべてのプロセスにより、かなりゆっくりではありますが、ニューラルネットワークの開発が可能になりました。 ニューラルネットワークの助けを借りて解決できるタスクへの関心が高まり、最終的に状況が明らかになりました...

ダン・シレサン・ネット

2010年、Dan Claudiu CiresanとJurgen Schmidhuberは、 GPUニューラルネットワークの実装に関する最初の説明の1つを公開しました。 彼らの研究には、 NVIDIA GTX 280での9層ニューラルネットワークの直接および逆実装が含まれていました。

アレックスネット

2012年、アレクセイ・クリジェフスキーは、 LeNetの詳細かつ拡張されたバージョンであるAlexNetを公開しました。これは、ImageNetコンペティションで大きなマージンを獲得しました。







AlexNetでは、LeNet計算の結果がはるかに大きなニューラルネットワークにスケーリングされ、はるかに複雑なオブジェクトとその階層を研究できます。 このソリューションの機能：

• 非線形性としての線形整流ユニット（ReLU）の使用。
• トレーニング中に個々のニューロンを選択的に無視するためのドロップ手法の使用。これにより、モデルの過剰なトレーニングが回避されます。
• 重複最大プーリング。平均プーリングの平均化の影響を回避します。
• NVIDIA GTX 580を使用して学習をスピードアップします。

その頃には、ビデオカードのコアの数が大幅に増加し、トレーニング時間を約10分の1に短縮できるようになり、その結果、はるかに大きなデータセットと写真を使用できるようになりました。



AlexNetの成功により小さな革命が始まり、畳み込みニューラルネットワークはディープラーニングの主力となりました-この用語は、「有用なタスクを解決できる大規模なニューラルネットワーク」を意味します。

オーバーフィート

2013年12月、Jan LekunのNYU研究所は、 AlexNetの変形であるOverfeatの説明を公開しました。 また、この記事では境界ボックスの学習者について説明し、その後、このトピックに関する他の多くの作品が公開されました。 人工的なバウンディングボックスを使用するよりも、オブジェクトを分割する方法を学ぶ方が良いと考えています。

Vgg

オックスフォードで開発されたVGGネットワークでは、各畳み込み層で初めて3x3フィルターが使用され、これらの層でさえ畳み込みのシーケンスで結合されました。



これは、同じ画像プロパティを抽出するために大きな畳み込みが使用されたLeNetに規定されている原則と矛盾しています。 AlexNetで使用されている9x9および11x11フィルターの代わりに、少なくともネットワークの最初の層では、LeNet作成者が回避しようとした1x1畳み込みに非常に近い非常に細かいフィルターを使用し始めました。 しかし、VGGの大きな利点は、シーケンスで組み合わされたいくつかの3x3コンボリューションが、5x5や7x7などのより大きな受容野をエミュレートできるという発見でした。 これらのアイデアは、後にInceptionおよびResNetアーキテクチャで使用されます。







VGGネットワ​​ークは、複数の3x3畳み込み層を使用して複雑なプロパティを表します。 VGG-Eのブロック3、4、および5に注意してください。より複雑なプロパティを抽出して結合するには、256×256および512×512 3×3フィルターシーケンスが使用されます。 これは、3層の大きな畳み込み分類子512x512と同等です！ これにより、膨大な数のオプションと優れた学習能力が得られます。 しかし、そのようなネットワークを習得することは困難でした;私はそれらを小さなものに分割し、レイヤーを一つずつ追加しなければなりませんでした。 その理由は、モデルを正規化する効果的な方法の欠如、または多くのパラメーターによって促進される大きな検索スペースを制限するいくつかの方法でした。



多くのレイヤーのVGGは多数のプロパティを使用するため、トレーニングは計算コストがかかります。 Inceptionアーキテクチャのボトルネックレイヤーで行われているように、プロパティの数を減らすことで負荷を減らすことができます。

ネットワーク内ネットワーク

Network-in-network （NiN）アーキテクチャは、1x1畳み込みを使用して畳み込み層のプロパティの組み合わせ性を高めるという単純なアイデアに基づいています。



NiNでは、各畳み込みの後、空間MLPレイヤーを使用して、次のレイヤーに供給する前にプロパティをより適切に組み合わせます。 1x1畳み込みの使用は元のLeNetの原理と矛盾するように思えるかもしれませんが、実際には、より多くの畳み込み層を詰め込むよりもプロパティを組み合わせることができます。 このアプローチは、次のレイヤーの入力としてベアピクセルを使用することとは異なります。 この場合、プロパティカードのフレームワーク内での畳み込みの後、プロパティの空間的な組み合わせに1x1の畳み込みが使用されるため、これらのプロパティのすべてのピクセルに共通するはるかに少ないパラメーターを使用できます！







MLPは、個々の畳み込み層をより複雑なグループに結合することで、個々の畳み込み層の有効性を大幅に向上させることができます。 このアイデアは、後でResNet、Inception、およびそれらのバリアントなどの他のアーキテクチャで使用されました。

GoogLeNetとインセプション

Google Christian Szegedyは、ディープニューラルネットワークでの計算の低下を心配しており、その結果、最初のInceptionアーキテクチャであるGoogLeNetを作成しました。



2014年の秋までに、ディープラーニングモデルは、ビデオの画像コンテンツとフレームを分類するのに非常に役立ちました。 多くの懐疑論者はディープラーニングとニューラルネットワークの利点を認識しており、Googleを含むインターネットの巨人は、サーバー容量に効率的で大規模なネットワークを展開することに非常に興味を持っています。



クリスチャンは、ニューラルネットワークの計算負荷を軽減し、最高のパフォーマンス（ImageNetなど）を実現する方法を探していました。 または、計算量を保持しながら、生産性を向上させます。



その結果、コマンドはInceptionモジュールを作成しました：







一見、これは畳み込みフィルター1x1、3x3、5x5の並列の組み合わせです。 しかし、ハイライトは、「高価な」パラレルブロックで使用する前にプロパティの数を減らすために1x1（NiN）の畳み込みブロックを使用したことです。 通常、この部分はボトルネックと呼ばれます。詳細については、次の章で説明します。



GoogLeNetは、Inceptionモジュールなしのステムを初期レイヤーとして使用し、平均プーリングとNiNに類似したsoftmax分類器も使用します。 この分類器は、AlexNetおよびVGGと比較して、非常に少ない操作を実行します。 また、 非常に効率的なニューラルネットワークアーキテクチャの作成にも役立ちました。

ボトルネック層

このレイヤーは、各レイヤーのプロパティ（および操​​作）の数を減らすため、結果を取得する速度を高いレベルに維持できます。 データを「高価な」畳み込みモジュールに転送する前に、プロパティの数が4倍に削減されます。 これにより、計算量が大幅に削減され、アーキテクチャが普及しました。



それを理解しましょう。 入力に256個、出力に256個のプロパティがあり、Inceptionレイヤーが3x3のたたみ込みのみを実行するとします。 256x256x3x3のコンボリューション（累積乗算の589,000演算、つまりMAC演算）を取得します。 これは計算速度の要件を超える可能性があります;たとえば、Googleサーバーでレイヤーが0.5ミリ秒で処理されるとします。 次に、折りたたみのプロパティの数を64（256/4）に減らします。 この場合、まず256-> 64の1x1畳み込みを実行し、次にすべてのInceptionブランチで別の64畳み込みを実行してから、64-> 256プロパティの1x1畳み込みを再度適用します。 操作の数：

• 256×64×1×1 = 16,000
• 64×64×3×3 = 36,000
• 64×256×1×1 = 16,000

約70,000だけで、操作の数がほぼ10倍減少しました！ しかし、同時に、このレイヤーの一般化は失われませんでした。 ボトルネックレイヤーは、ImageNetデータセットで優れたパフォーマンスを示しており、ResNetなどの後のアーキテクチャで使用されています。 それらの成功の理由は、入力プロパティが相関していることです。つまり、プロパティを1x1畳み込みと正しく組み合わせることで冗長性を取り除くことができます。 そして、より少ないプロパティで折り畳んだ後、次のレイヤーでそれらを再び重要な組み合わせに展開できます。

Inception V3（およびV2）

クリスチャンと彼のチームは非常に効果的な研究者であることが証明されています。 2015年2月、 バッチ正規化InceptionアーキテクチャがInceptionの2番目のバージョンとして導入されました。 バッチ正規化は、出力レイヤー内のすべてのプロパティ分布マップの平均と標準偏差を計算し、これらの値で応答を正規化します。 これはデータの「ホワイトニング」に対応します。つまり、すべてのニューラルマップの応答は同じ範囲にあり、平均値はゼロです。 次のレイヤーは入力データのオフセットを記憶する必要がなく、プロパティの最適な組み合わせのみを検索できるため、このアプローチにより学習が容易になります。



2015年12月に、 Inceptionモジュールの新しいバージョンと対応するアーキテクチャがリリースされました 。 著者の記事は、元のGoogLeNetアーキテクチャをよりよく説明しており、行われた決定についてさらに詳しく説明しています。 主なアイデア：

• ネットワークの深さと幅のバランスがきちんと整っているため、ネットワーク内の情報の流れが最大化されます。 各プーリングの前に、プロパティマップが増加します。
• 深さが増加すると、プロパティの数またはレイヤーの幅も体系的に増加します。
• 各レイヤーの幅は、次のレイヤーの前にプロパティの組み合わせを増やすために増加します。
• 可能な範囲で、3x3のたたみ込みのみが使用されます。 5x5および7x7フィルターは複数の3x3を使用して分解できることを考えると
  
  
  
  
  
  
  
  新しいInceptionモジュールは次のようになります。
  
  
  
  
• フィルターは、 平滑化畳み込みを使用してより複雑なモジュールに分解することもできます。
  
  
  
  
• Inceptionモジュールは、Inceptionの計算中にプーリングを使用してデータのサイズを削減できます。 これは、単純なプーリング層と並行してストライドで畳み込みを実行することに似ています。
  
  
  
  

Inceptionは、最終的な分類子としてsoftmaxを含むプーリングレイヤーを使用します。

Resnet

2015年12月、Inception v3アーキテクチャが導入されたのとほぼ同時に革命が起こりました-彼らはResNetを公​​開しました 。 シンプルなアイデアが含まれています。2つの成功した畳み込み層の出力を送信し、次の層の入力をバイパスします。







このようなアイデアは、たとえばここですでに提案されています 。 ただし、この場合、著者は2つのレイヤーをバイパスし、大規模にアプローチを適用します。 1つのレイヤーをバイパスしても大きな利点はありません。2つのレイヤーをバイパスすることが重要な発見です。 これは、ネットワーク内ネットワークのような小さな分類子とみなすことができます！



また、数百、数千のレイヤーのネットワークをトレーニングする初めての例でもありました。

多層ResNetは、Inceptionで使用されるものと同様のボトルネックレイヤーを使用しました。







このレイヤーは各レイヤーのプロパティの数を減らします。まず、小さい出力（通常は入力の4分の1）で1x1畳み込みを使用し、次に3x3レイヤーを使用して、1x1をより多くのプロパティに再び畳み込みます。 Inceptionモジュールの場合と同様に、これにより、豊富なプロパティの組み合わせを維持しながら計算リソースを節約できます。 Inception V3およびV4のより複雑でわかりにくいステムと比較してください。



ResNetは、最終分類子としてsoftmaxを使用したプーリングレイヤーを使用します。

毎日、ResNetアーキテクチャに関する追加情報が表示されます。

• 同時に並列モジュールと直列モジュールのシステムと見なすことができます。多くのモジュールでは、入出力信号が並列になり、各モジュールの出力信号が直列に接続されます。
• ResNetは、パラレルモジュールまたはシリアルモジュールの複数のアンサンブルと見なすことができます 。
• ResNetは通常、ネットワークの全長に沿って順次実行されるのではなく、20〜30層の比較的小さな深度ブロックで並行して動作することが判明しました。
• RNNで行われるように、出力信号が戻ってきて入力として与えられるため、ResNetは大脳皮質の改善されたもっともらしいモデルと見なすことができます。

インセプションV4

クリスチャンと彼のチームはInceptionの新しいバージョンで再び卓越しました。



stemの後のinceptionモジュールはInception V3と同じです：







この場合、InceptionモジュールはResNetモジュールと組み合わされます。







このアーキテクチャは、私の好みでは、より複雑で、エレガントではなく、不透明なヒューリスティックなソリューションで満たされています。 著者がこれらの決定またはそれらの決定を行った理由を理解することは困難であり、同様に彼らに何らかの評価を与えることは困難です。



したがって、わかりやすく修正しやすい、クリーンでシンプルなニューラルネットワークの賞品はResNetに贈られます。

SqueezeNet

SqueezeNetは最近公開されました。 これは、ResNetとInceptionの多くの概念の多くの点でのリメイクです。 著者らは、アーキテクチャを改善することで、複雑な圧縮アルゴリズムを使用せずにネットワークサイズとパラメーター数を削減できることを実証しました。

ENet

最近のアーキテクチャのすべての機能は、非常に効率的でコンパクトなネットワークに結合され、非常に少ないパラメーターと計算能力を使用しながら、同時に優れた結果をもたらします。 アーキテクチャはENetと呼ばれ、Adam Paszke（ Adam Paszke ）によって開発されました。 たとえば、画面上のオブジェクトの非常に正確なマーキングとシーンの解析に使用しました。 Enetのいくつかの例 。 これらのビデオは、 トレーニングデータセットとは関係ありません。



ここでは、ENetの技術的な詳細を見つけることができます。 これは、エンコーダーとデコーダーに基づくネットワークです。 エンコーダーは、従来のCNNカテゴリ化スキームに基づいて構築され、デコーダーは、元のサイズの画像にカテゴリを広げることによってセグメンテーションのために設計されたアップサンプリングネットワークです。 画像のセグメンテーションには、ニューラルネットワークのみが使用され、他のアルゴリズムは使用されませんでした。







ご覧のとおり、ENetは他のすべてのニューラルネットワークと比較して、最高の特定の精度を備えています。



ENetは、最初から可能な限り少ないリソースを使用するように設計されました。 その結果、エンコーダーとデコーダーはともに、fp16精度でわずか0.7 MBを占有します。 そして、このような小さなサイズで、ENetはセグメンテーション精度に劣らず、他の純粋なニューラルネットワークソリューションよりも優れています。

モジュール分析

CNNモジュールの体系的な評価を公開しました 。 それは有益であることが判明しました：

• バッチ正規化なしのELU非線形性（batchnorm）または正規化ありのReLUを使用します。
• RGB色空間の学習した変換を適用します。
• 線形学習率減衰ポリシーを使用します。
• 中間および最大プーリング層の合計を使用します。
• 128または256のミニパケットサイズを使用します。これがビデオカードに対して大きすぎる場合は、パケットのサイズに比例して学習速度を下げます。
• 畳み込み層および平均予測として完全に接続された層を使用して、最終的なソリューションを提供します。
• トレーニングデータセットのサイズを増やす場合は、トレーニングでプラトーに達していないことを確認してください。 データの清浄度はサイズよりも重要です。
• 入力画像のサイズを大きくできない場合、後続のレイヤーのストライドを減らすと、効果はほぼ同じになります。
• GoogLeNetのように、ネットワークに複雑で高度に最適化されたアーキテクチャがある場合は、注意して変更してください。

Xception

Xceptionは、よりシンプルでエレガントなアーキテクチャをInceptionモジュールに導入しました。これは、ResNetおよびInception V4よりも効率的です。

Xceptionモジュールは次のようになります。







アーキテクチャのシンプルさとエレガントさにより、誰もがこのネットワークを好むでしょう。







これには36段階の畳み込みが含まれており、これはResNet-34に似ています。 同時に、モデルとコードはResNetのようにシンプルで、Inception V4よりもずっと快適です。



このネットワークのtorch7実装はこちらから入手できますが 、Keras / TF実装はこちらから入手できます。



不思議なことに、最近のXceptionアーキテクチャの作成者は、 分離可能な畳み込みフィルターに関する私たちの研究からも刺激を受けました。

MobileNets

M obileNetsの新しいアーキテクチャは、2017年4月にリリースされました。 パラメーターの数を減らすために、Xceptionと同じように、取り外し可能な畳み込みを使用します。 また、著者はパラメーターの数を大幅に減らすことができたと書かれています。FaceNetの場合は約半分です。 フルモデルアーキテクチャ：







このネットワークを実際のタスクでテストしましたが、Titan Xpグラフィックカードの1パッケージ（1バッチ）で非常に低速で動作することがわかりました。 単一の画像の出力時間を比較します。

• resnet18：0.002871
• アレックスネット：0.001003
• vgg16：0.001698
• squeezenet：0.002725
• mobilenet：0.033251

これは高速作業とは言えません！ パラメータの数とディスク上のネットワークサイズは削減されますが、これには意味がありません。

その他の注目すべきアーキテクチャ

FractalNetは、 ImageNetでまだテストされておらず、ResNetの派生バージョンまたはより一般的なバージョンである再帰アーキテクチャを使用します。

未来

ニューラルネットワークアーキテクチャの開発は、ディープラーニングの開発にとって最も重要であると考えています。 ここに提示されているすべての作業を注意深く読み、熟考することを強くお勧めします。



なぜアーキテクチャの開発にこれほど多くの時間を費やす必要があるのか​​、そしてその代わりに何を使用し、どのようにモジュールを組み合わせるのかを正確に伝えるデータを使用しないのはなぜでしょうか？ 魅力的な機会ですが、その作業はまだ進行中です。 以下に初期結果を示します。

さらに、コンピュータービジョンのアーキテクチャについてのみ説明しました。 開発の他の領域も進行中であり、他の領域の進化を研究することは興味深いでしょう。



ニューラルネットワークのパフォーマンスとコンピューティングのパフォーマンスの比較に関心がある場合は、最近の研究をご覧ください。