[ブックマーク] Zooニューラルネットワークアーキテクチャ。 パート2

ニューラルネットワークのアーキテクチャの種類に関する記事の第2部を公開します。 これが最初のものです。



最近発生しているすべてのニューラルネットワークアーキテクチャを追跡するのは簡単ではありません。 専門家が最初に急ぐすべての略語を理解することさえ不可能な作業のように思えるかもしれません。



そこで、そのようなアーキテクチャ用のチートシートを作成することにしました。 それらのほとんどはニューラルネットワークですが、一部は異なる品種の動物です。 これらのアーキテクチャはすべて新しくユニークなものとして提示されていますが、それらの構造を描くと、内部接続がより明確になりました。









「 ディープコンボリューショナルインバースグラフィックスネットワーク（DCIGN） 」という名前は、実際にはそれぞれがエンコードおよびデコード部分としてコンボリューションおよび展開ネットワークを備えた変分オートエンコーダーであるため、誤解を招く可能性があります。猫と犬だけの写真だけを見て、猫と犬の画像を一緒に構築することを学ぶことができます。さらに、このネットワークに猫の写真と厄介な隣人を表示することができます 犬に犬と画像を切り取るように頼むと、DCIGNは似たようなことをしなくてもこれを行うことができます。また、DCIGNは光源の変更や3Dオブジェクトの回転など、画像のさまざまな複雑な変換をモデル化できることも示しています。バックプロパゲーションによって教えられました。



Kulkarni、Tejas D.、他 「深い畳み込み逆グラフィックネットワーク。」ニューラル情報処理システムの進歩。 2015年。

オリジナルペーパーPDF

---

生成的敵対ネットワーク（GAN）は、ニューラルネットワークの別のファミリーに属します。これらは双子であり、2つのネットワークが連携して動作します。 GANは任意の2つのネットワークで構成されますが（多くの場合、これらは直接配信ネットワークまたは畳み込みネットワークです）、ネットワークの1つがデータを生成し（「ジェネレーター」）、2番目の分析（「識別器」）を行います。 弁別器は、入力データまたはトレーニングデータを受信するか、最初のネットワークで生成されます。 弁別器がデータソースをどれだけ正確に判断できるかは、ジェネレーターエラーの評価に役立ちます。 したがって、識別器が実際のデータと生成されたデータをよりよく区別することを学習する一種の競合があり、ジェネレーターは識別器に対して予測しにくくなる傾向があります。 ノイズの多い複雑な画像でも最終的に予測可能になるため、これは部分的に機能しますが、実際のデータとほとんど変わらない生成データは、区別することを学ぶのがより困難です。 ここでのタスクは2つのネットワークをトレーニングするだけでなく、それらの間の必要なバランスを維持することでもあるため、GANのトレーニングは非常に困難です。 パーツの1つ（ジェネレーターまたはディスクリミネーター）が他のパーツよりも優れている場合、GANは収束しません。



グッドフェロー、イアン他 「生成的敵対ネット」。ニューラル情報処理システムの進歩。 2014年。

オリジナルペーパーPDF

---

リカレントニューラルネットワーク（RNN）は同じ直接分布ネットワークですが、時間シフトがあります。ニューロンは前の層からだけでなく、前のパスの結果として自身からも情報を受け取ります。 したがって、情報を送信してネットワークをトレーニングする順序は重要です。最初に「ミルク」、次に「クッキー」、または「クッキー」、次に「ミルク」の順にすると異なる結果が得られます。 RNNには1つの大きな問題があります-消える（または爆発的な）勾配の問題：使用されるアクティベーション関数に応じて、情報は時間とともに失われ、非常に深い直接配信ネットワークでも失われます。 ニューロンの状態ではなくスケールのみに関係するため、これはそれほど深刻な問題ではないと思われますが、過去に関する情報を保存するのはスケールです。 重みが0または1,000,000の値に達した場合、過去の状態に関する情報はあまり有益ではありません。 RNNは、時間の経過に関係のないデータ（オーディオやビデオではない）でも順番に表示できるため、さまざまな分野で使用できます。 画像またはテキスト行は1ピクセルまたは1文字を入力できるため、X秒前に発生したものではなく、シーケンスの前の要素に重みが使用されます。 一般に、繰り返しネットワークは、オートコンプリートなどの情報を継続または補足するのに適しています。



エルマン、ジェフリーL.「時間の構造を見つける」。認知科学14.2（1990）：179-211。

オリジナルペーパーPDF

---

Long Short Term Memory（LSTM） -フィルター（ゲート）とメモリブロック（メモリセル）を使用して爆発的勾配の問題を克服する試み。 この考えは、むしろ生物学ではなく、回路の分野から来ました。 各ニューロンには、入力フィルター、出力フィルター、および忘却ゲートフィルターの3つのフィルターがあります。 これらのフィルターの役割は、フローを停止して再開することにより情報を保存することです。 入力フィルターは、メモリブロックに保存される前のステップの情報量を決定します。 出力フィルターは、次のレイヤーが受信するノードの現在の状態に関する情報を決定するのにビジーです。 一見忘れフィルターの存在は一見奇妙に思えますが、忘れておくと便利な場合があります。ニューラルネットワークが本を覚えている場合、新しい章の冒頭で、前の章のヒーローを忘れる必要があるかもしれません。 LSTMは、例えばシェークスピアを模倣したり、単純な音楽を作曲するなど、本当に複雑なシーケンスを学習できることが示されています。 各フィルターは前のニューロンに対する重みを保存するため、このようなネットワークは非常にリソースを消費することに注意してください。



Hochreiter、Sepp、JürgenSchmidhuber。 「長期短期記憶」。ニューラル計算9.8（1997）：1735-1780。

オリジナルペーパーPDF

---

ガイド付きリカレントユニット（GU）は、LSTMの形式です。 フィルターは1つ少なく、接続方法も少し異なります。入力、出力フィルター、および忘却フィルターの代わりに、更新フィルターがここで使用されます。 このフィルターは、最後の状態から保存する情報量と、前のレイヤーから取得する情報量を決定します。 リセットゲートフィルターは、忘却フィルターとほぼ同じように機能しますが、配置が少し異なります。 完全なステータス情報は次のレイヤーに送信されます-ここには出力フィルターはありません。 ほとんどの場合、GRUはLSTMと同じように機能しますが、最も重要な違いは、GRUがわずかに高速で使いやすいことです（ただし、表現力がやや劣ります）。



チョン、ジュンヨン、他 「シーケンスモデリングに関するゲートリカレントニューラルネットワークの経験的評価。」ArXiv preprint arXiv：1412.3555（2014）。

オリジナルペーパーPDF

---

ニューラルチューリングマシン（NMT）は、LSTMの抽象化および「ブラックボックス」からニューラルネットワークを「取得」する試みとして定義でき、内部で何が起こっているかを把握できます。 ここでのメモリユニットはニューロンに組み込まれていませんが、ニューロンから分離されています。 これにより、従来のデジタルデータウェアハウスのパフォーマンスと不変性を、ニューラルネットワークのパフォーマンスと表現力と組み合わせることができます。 アイデアは、メモリアドレス指定可能なメモリと、このメモリの読み取りと書き込みが可能なニューラルネットワークを使用することです。 これらはチューリング完全であるため、チューリングニューラルマシンと呼ばれます。読み取り内容に基づいて状態を読み取り、書き込み、変更する機能により、ユニバーサルチューリングマシンが実行できるすべてを実行できます。



グレイブス、アレックス、グレッグ・ウェイン、イヴォ・ダニエルカ。 「ニューラルチューリングマシン。」ArXiv preprint arXiv：1410.5401（2014）。

オリジナルペーパーPDF

---

双方向RNN、LSTM、およびGRU（BiRNN、BiLSTM、およびBiGRU）は 、単方向の対応物とまったく同じように見えるため、図には示されていません。 唯一の違いは、これらのニューラルネットワークが過去だけでなく未来とも接続されていることです。 たとえば、単方向LSTMは、文字を1つずつ受け取ることで、単語「魚」を予測することを学習できます。 双方向LSTMは、返却パス中に次の文字も受信するため、将来の情報へのアクセスが可能になります。 これは、情報を補足するだけでなく、ギャップを埋めるようにニューラルネットワークをトレーニングできることを意味します。そのため、エッジに沿って画像を拡大する代わりに、欠落しているフラグメントを中央に描画できます。



Schuster、Mike、Kuldip K. Paliwal。 「双方向リカレントニューラルネットワーク」。IEEETransactions on Signal Processing 45.11（1997）：2673-2681。

オリジナルペーパーPDF

---

ディープ残余ネットワーク（DRN）は、通常2〜5のレイヤー間の追加の接続を備えた非常に深いFFNNであり、隣接するレイヤーだけでなく、より遠いレイヤーも接続します。 ネットワークは、たとえば5つのレイヤーを介してソースデータに対応する入力データを見つける方法を探す代わりに、「入力ブロック+入力ブロック」のペアを入力ブロックと一致させるようにトレーニングされます。 したがって、入力データはニューラルネットワークのすべてのレイヤーを通過し、シルバープラッターの最後のレイヤーに供給されます。 そのようなネットワークは、最大150層の深さのサンプルでトレーニングできることが示されました。これは、従来の2-5層ニューラルネットワークから予想されるよりもはるかに多くなります。 ただし、このタイプのネットワークは実際には明示的に時間を使用しないRNNであることが証明されており、多くの場合、フィルターのないLSTMと比較されます。



彼、カイミング、他。 「画像認識のための深い残差学習。」ArXiv preprint arXiv：1512.03385（2015）。

オリジナルペーパーPDF

---

ニューラルエコーネットワーク（エコー状態ネットワーク、ESN）は、リカレントニューラルネットワークのもう1つのタイプです。 それらは、それらのニューロン間の接続がランダムであり、きちんとした層に組織化されていないという事実によって区別され、それらは異なって学習します。 データを入力に送信してエラーを逆伝播する代わりに、データを転送し、ニューロンの状態を更新し、しばらくの間出力データを監視します。 入力層はシステムを初期化する役割を果たし、出力層は時間の経過とともに現れるニューロンの活性化順序のオブザーバーとして機能するため、入力層と出力層は非標準の役割を果たします。 トレーニング中は、オブザーバーと非表示レイヤーの関係のみが変更されます。



イェーガー、ハーバート、およびハラルドハース。 「非線形性の利用：カオスシステムの予測と無線通信のエネルギーの節約。」Science 304.5667（2004）：78-80。

オリジナルペーパーPDF

---

Extreme Learning Machine（ELM）は同じFFNNですが、ニューロン間にランダムな接続があります。 これらはLSMおよびESNに非常に似ていますが、直接配信ネットワークのように使用されます。これは、それらが再帰またはインパルスではないという事実によるものではなく、エラーバック伝播法を使用してトレーニングされるという事実によるものです。



カンブリア、エリック等 「極端な学習機械[傾向と論争]」IEEEインテリジェントシステム28.6（2013）：30-59。

オリジナルペーパーPDF

---

液体状態マシン（LSM）はESNに似ています。 主な違いは、LSMはパルスニューラルネットワークの一種であるということです。しきい値関数はS字曲線に置き換わり、各ニューロンはメモリブロックでもあります。 ニューロンの状態が更新されると、値はその近傍の合計として計算されず、それ自体に追加されます。 しきい値を超えると、エネルギーが放出され、ニューロンは他のニューロンにインパルスを送信します。



Maass、Wolfgang、ThomasNatschläger、およびHenry Markram。 「安定状態のないリアルタイムコンピューティング：摂動に基づくニューラル計算の新しいフレームワーク。」ニューラル計算14.11（2002）：2531-2560。

オリジナルペーパーPDF

---

サポートベクターマシン（SVM）メソッドは、分類問題の最適なソリューションを見つけるために使用されます。 古典的な意味では、メソッドは線形共有データを分類できます。たとえば、どの画像がガーフィールドを表し、どの画像がスヌーピーを表すかを決定します。 トレーニングのプロセスでは、ネットワークはそのままで、すべてのガーフィールドとスヌーピーを2Dチャートに配置し、データを直線で分割しようとします。これにより、両側に1クラスのデータのみが存在し、データからラインまでの最大距離になります。 カーネルトリックを使用して、次元nのデータを分類できます。 3Dグラフを作成することにより、ガーフィールドとスヌーピーおよびサイモンの猫を区別できます。次元が高いほど、より多くの漫画のキャラクターを分類できます。 この方法は、常にニューラルネットワークとは見なされません。



コルテス、コリーナ、ウラジミールヴァプニク。 「サポートベクターネットワーク」。機械学習20.3（1995）：273-297。

オリジナルペーパーPDF

---

最後に、動物園の最後の住人は、Kohonenの自己組織化マップ（Kohonenネットワーク、KN、または組織化（機能）マップ、SOM、SOFM）です。 KNは、競争学習を使用して、教師なしでデータを分類します。 ネットワークは、入力データとの最大の一致についてニューロンを分析します。 最も適切なニューロンは、入力データにさらに近づくように更新されます。さらに、それらの近傍の重みも入力データに近くなります。 近隣の状態がどの程度変化するかは、最適なノードまでの距離に依存します。 KNは、常にニューラルネットワークと呼ばれるわけでもありません。



コホネン、テューヴォ。 「トポロジー的に正しい機能マップの自己組織化。」生物学的サイバネティックス43.1（1982）：59-69。

オリジナルペーパーPDF

---

最初の部分も読んでください。