レポートは純粋に人気があったため、ここでは詳細を提示しませんでしたが、モデルには興味深い特性があります。これについて詳しく説明します。
ネットワーク構造
よく知られているホップフィールドネットワークが基礎として採用されましたが、各ニューロンから各ニューロンへの主要な接続（技術的には1クロックサイクルの遅延を持つリンクと見なすことができます）に加えて、1ビートを超える遅延を持つリンクが追加されました（2-8クロックの遅延が実際に調査されました） ）
これらの追加の接続は、各ニューロンからそれぞれに接続され、さらに、そのような接続のいくつかのブロックが同時にありました-特に、ビデオには、それぞれから2、3、4、5、および6ティック遅れた接続があります。
したがって、N個のニューロンのネットワークでは、N ^ 2リンクではなく、（k + 1）* N ^ 2リンクが作成されます。ここで、kは遅延リンクのブロック数です。
問題の声明
一般に、このようなネットワークで将来解決したいタスクは、動的画像の自己学習です（つまり、大まかに言えば、入力で連続した画像のシーケンスで頻繁に遭遇するサブシーケンスを区別して記憶する機能です）。
しかし、まず最初に、より簡単な問題を解決しました-いくつかのよく知られたシーケンス（つまり、文字が連続して表示される単語）があり、それらは入力に騒々しい方法で送信されます（ショーは必ずしも最初の文字ではなく単語の任意の文字で開始できます）、また、ネットワークは、どの単語が現在入力されているかをできるだけ早く理解する必要があります（すぐに判断することはできません-単語には一般的な文字や音節さえあります）。
モデル問題のパラメーターは次のとおりです：各7文字の6ワード、各文字-100ピクセルの写真、ノイズレベル-約20％（つまり、各文字が表示されるたびに、ランダムに選択されたピクセルの20％が反転します）。
元の問題の解決策
ネットワークは問題を非常にうまく解決しました-ほとんど人間レベルで、この程度のノイズで、どの文字が表示されているかを常に正確に理解できない場合、単語のいくつかの完全な印象で、ネットワークはどの単語が表示されているかを自信を持って言うことができます。 わずかなノイズで、最初の2〜4文字が表示された後に単語が認識されます。
結果は良好ですが、他の方法でかなり達成可能です。
反射効果
ネットワークの動作は、入力に何らかのシーケンスが提示され、入力が「オフ」にされた後、最も興味深いことが判明しましたが、その状態の計算を続けました。 ネットワークは同時に外見的に基本的に文字に似た状態に順次移行することがわかりました（これは自然です-学習アルゴリズムによると、文字はネットワークの安定状態でなければなりません）、最初に、常にではなく、次に、これらの文字が順番に加算されます、記憶された単語の音節を幾分連想させるが、それらと同一ではなく、異なるリズムで変化し（状態が変化するまで長い間繰り返される文字もあれば、すぐに通過する文字もあり）、元の単語よりもかなり長いサイクル長を有する（覚えている） 7文字の単語、およびこのプロセスから生じる単語は、ループの前に50文字以上になることがあります）。
さらに、入力がオフになる前に異なる単語が入力に表示された場合、および異なる時間にオフになった場合、結果の単語は異なっていました。
つまり ネットワークの状態は、以前の状態に応じて非常に重要であると言えます。 何が起こっているのかを自由に解釈できるようにすると、夢との類似性を描くことができます-夢は複雑なプロットに並んで、以前の経験を何らかの形で反映しますが、それを直接繰り返さないでください。
一般に、モデルには興味深い動作があり、それは確かにあなたを考えさせます。 ビデオでは、この動作のかなり大胆な解釈を自分に許可しましたが、それが正しくない場合、大まかな、しかし基本的に真の近似ではありますが、予見可能な将来に、思考の基本的なメカニズムをまだ説明できることを期待できます。
PS議論は大歓迎です-シーケンスが外部から設定されていないが、入力ストリームから抽出する必要がある場合、学習問題を解決する方法を理解することはできません。トピックに関する考えだけでなく、非常に喜んでいます。