ニューラルネットワーク学習アルゴリズムを扱っています。 これまでのところ、単純な非再帰ニューラルネットワーク。 これまでのところ、比較的単純なアルゴリズム、何らかの形の勾配降下法です。 今日、私はニューロインフォマティクスに関する興味深いセミナーで話しましたが、彼らはなぜ発明されたものを再発見するのかと私に尋ねました。
そして本当に、matlabがあります。 誰でも既成の標準アルゴリズムと既に最適化されたアルゴリズムの1つを使用して2つの動きで標準グリッドを作成およびトレーニングし、恐ろしい標準分類の問題を教えると、すべてがうまくいきます。 これは、前世紀の70年代以降、エラーの逆分布に関して根本的に新しいことは何も起きていないことを考えると、より関連性があります。 そして、新しいグリッドも既にmatlabにあります。
この投稿では、なぜあなたが車輪を再発明する必要があるのかをお見せします。
言葉を少なくして、いわば、写真を増やしましょう。 私は座って、数時間でいくつかのビデオを作りました。
前の記事から問題を解決します。 数十年にわたってテストされた標準ネットワーク、10ニューロンの4層の多層パーセプトロンを、各ニューロンの追加のバイアスシナプスに完全に接続してみましょう（Rumelharttには退屈なものはなかったため）。 入り口では、範囲[-1; 1]の座標が与えられ、出力では、この場所の空飛ぶ孔雀の写真のポイントの色を3つの数字の形で予測します。 そして、写真内のすべてのポイントの色をネットワークに要求し、彼女が学んだことを確認します。
左側にはネットワークが描く画像があり、その下部にはRMSEがあります。これは、画像のすべてのポイントでのネットワークの標準誤差です。 時代のすべてのポイントの標準誤差の右下のグラフ。 ポイントはランダムに選択されるため、エラーはすべてのデータの平均とは異なります。 グラフは、見やすくなるように動的に再スケーリングされます。 そして、チャートの上部にはスケールがあります。 最後に、最後の右上の正方形は、ランダムな2次元位相空間におけるネットワークの位置です。 この視覚化方法は、私の過去の記事の1つで詳しく説明されています 。 ネットワーク内で何が起こっているかを理解することは非常に便利です。
最初のネットワーク最もオークの方法-通常の勾配降下法を学びます。 トレーニング例は、300ポイントのパックで提供されます。 このメソッドは、より複雑なアルゴリズムの一部として引き続き使用されます。 たとえば、トランプディープネットワークのトレーニングで。 1000時代のビデオでは、エポックごとに1フレーム。 0.1〜0.01の範囲の適応速度
ビデオは、トレーニングの途中で、ネットワークがRMSE = 0.35でエラーの改善をほぼやめていることを示していますが、位相図は、ノイズレベルを下回るネットワークに一定の横方向のドリフトがあることを示しています。 最後の数フレームで約8000の時代を経て、このドリフトが終了するローカルミニマムを見てみましょう。 ネットワークはRMSE = 0.308の時点で停止しましたが、それをモックすることはすでに無意味です。
次に、2番目のビデオを撮ります。 10ニューロンの同じ4層。 しかし、ここには、自転車の再発明の過程で発明された、私の最高の準確率的アルゴリズムのほぼすべての能力が含まれています。 ミニバッチのパックサイズは適応的に100から1000に変化し、速度も1.5桁大きくなります。
ここですべてがずっと明るくなっていることがすぐにわかります。 100時代のネットワークは、教科書のメソッドが数千に到達しなかった限界を通過し、500エポック後にRMSE = 0.24に到達できるはるかに美しい写真を賞賛します。確率論。 写真は、ネットワークがはるかに美しい変革をマスターしたことを示しています。
しかし、それはポイントでもありません。 このかなり良い結果を前回の記事の写真と比較してみましょう。 確率論を使用したほぼ同じアルゴリズムによって取得されますが、固定層などの基礎を持たないネットワーク上で取得されます。 RMSE = 0.218
個人的には、一目見れば、ニューロインフォマティクスのいくつかのことを進める前に、それを再発見するのに害がないことを理解するのに十分です。 ジョブズが言ったように、「空腹のまま。 「神経科学の多くのことは、アイディアがあり、それに時間をかけるなら、最も普通の家庭のコンピューターで最も普通の人によって改善されることができます。 ここに蓄積された知識が少なすぎ、コンピューターが床を占領する時代からあまりにも多くが残っており、あまりにも多くの素晴らしいアルゴリズムが試されたことはありません。
そして、おそらく、明日、Googleはあなたに10億を提供するか、さらにはさらに急に、銀行の将来の脳はあなたの名誉に名前が付けられます。 またはもっと涼しい-あなたがこの世界に住むのは面白いでしょう。