^{一部の人々は、自分の考えを信じているが、偏見を並べ替えるだけだと信じています。}

ずいぶん前に、ニューロンモデリングテクニックの進化に関するレビュー記事を書いて、このケースを放棄しました。 この説明には、ニューロンに興味のあるすべての人にとって古くてよく知られている方法が含まれています。ソ連崩壊前に発行された教科書の概要を得たと言えます。 興味のある人がhabrahabr.ru/post/101020にアクセスできる場合は、古いレビューを参照してください。 現在、私の観点から、魅力的で最新のモデリング手法に関するいくつかの資料を収集しています。これらは、構造化されたレビューという形で言及するに値します。 ここでは、ほとんどの人にとって、それがどのように機能し、どのように適用されるのかではなく、なぜそれを使用するのかを知る方が興味深いという単純な理由で、これらのメソッドについて説明します。 テキストの量が大幅に減少し、関心が高まり、これらの方法が実際にどのように機能するか、誰もが自分で見つけることができます。

準備をしなさい。

ミニバッチにおける非同期分布確率的勾配降下

^{ロシア語は豊かで表現力豊かです。 しかし、すでに十分ではありませんでした。}

巧妙な言葉のひどく不可解なヒープ。 この方法はhabrahabr.ru/post/146077の記事で説明されており、それほど恐ろしいものではありませんでした。 そこで彼は非同期勾配降下法（非同期SGD）と呼ばれました。 私はそれを理解しようとし、英語名「非同期SGD」にしがみついた。



最初に言及する価値があるのは、勾配降下法そのものです。 これは、局所的な最小または最大関数を見つける方法です。 塔があったら、ここで何が議論されているかについて漠然と理解しているはずです。 一般に、それは最適化アルゴリズムとして使用され、ニューラルネットワークを使用する場合は、冷静に機械学習アルゴリズムと呼びます。



ここで、「確率的」という言葉を追加します。 なぜこれがメソッドに必要なのですか？ これの用途は何ですか？ セット全体を一度に使用する他の方法とは異なり、この方法は一度にトレーニングセットから1つの例を使用するだけです。 ポイントは、待機にうんざりしている場合は、追加のトレーニング用のデータを追加したり、トレーニングを停止したりでき、データの処理済み部分のトレーニング結果を表示したいということです。



これら2つの（通常および確率的）勾配降下法の間には、「ミニバッチ」と呼ばれる妥協点があります。 この場合、トレーニングサンプルの小さなパックが使用されます。 ネットワーク上の複数のコンピューター間でコンピューティングを分散するのに最適なのは、この小さなバッチ方式です。



非同期および分散について-分散非同期データ処理（非同期ピアツーピア）を使用します。 この場合、複数のミニバッチがピアツーピアネットワークのコンピューターで同時に処理され、利用可能なノードの任意の数と組み合わせでトレーニングを継続できます。 すべてのコンピューターが最後のバッチ計算を完了して一般モデルを更新するのを誰も待っていません。 バッチごとに、潜在的に異なり、原則として、古いモデルパラメーターが使用されます。 これが主な主な欠点です。 利点は、最適化に関与するすべてのマシンが常に計算で忙しく、トレーニングプロセス中にマシンを追加したりオフにしたりできることです。 欠点は、データの均一性により、モデルがとにかく収束する（最適化、トレーニング済み）という事実によって相殺されます。 私は、この声明を証明する作品に行くことを敢えてしませんでした。 ピアツーピアネットワークで非同期の "データマイニング"メソッドの原理を単に説明するリンクのみを共有できます。 誰かがそれを必要としているかもしれませんが、これはそれ自体が興味深いです。 これで、スーパーコンピューターは不要になり、ネットワーク上の友人が必要になります。

http://www.inf.u-szeged.hu/~ormandi/presentations/europar2011.pdf

スパース分散ビュー

^{人工知能が存在する場合、人工の鈍さも存在する必要があります。}

外国語では、「スパース分散表現」のように聞こえます。



この方法の主なポイントは、生物学的ニューラルネットワークの特性を強打することです。 大脳皮質のニューロンは非常に緊密に相互接続されていますが、多数の抑制性（抑制性）ニューロンは、一度にすべてのニューロンのごく一部のみがアクティブになることを保証し、通常は互いにかなり離れています。 つまり、情報は常に、利用可能なすべてのニューロンのうち少数のアクティブなニューロンのみによって脳に提示されます。 このタイプの情報のコーディングは、「まばらな分散表現」と呼ばれます。



また、ここでhabrahabr.ru/post/134950を読む、スパースオートエンコーダスパースオートエンコーダメソッドもありますが、その意味は同じであり、生物学的ニューラルネットワークの特性を強打するだけです。



メソッドに戻りましょう。 「スパース」は、わずかな割合の層ニューロンのみが同時にアクティブにできるという要件です。 どっちにしてもいいよ 基本的な原則は、エンコーダーおよびスパース表現と同じままです。 主なことは、次のレイヤーの入力データの次元が削減され、データが圧縮されることです。これは、ネットワークが隠れた関係、特徴の相関関係、および一般にデータの一般的な構造を見つける必要があるためです。



「分散」は、ニューラルネットワークのレイヤー内の何かを表すために、ニューロンがそのレイヤー全体に散在している間、そのごくわずかな割合のニューロンの活性化が必要であるという要件でもあります。 過剰なサイレントニューロンも不良です。 レイヤー内の十分な数のアクティブなニューロンは、非常に隠された関係と相関を見つけるときに些細なパターンを回避できます。 もちろん、単一のニューロンの活動は何かを意味し、「祖母のニューロン」について覚えていますが、活動は他の多くのニューロンのコンテキストでのみ解釈されるべきです。 単一のアクティビティは、レイヤーの階層を上昇しません。 実際、最後の層のニューロンの活動は、ニューラルネットワークの受容野を通して世界の写真を提示します。



結論として、このようなニューラルネットワークでの情報の表示は、悪名高い「祖母のニューロン」の形成につながるだけだと言えます。 内容がわからない場合は、写真を見てください。この画像は、記事habrahabr.ru/post/153945の猫の顔認識に関与しているニューロンの最大刺激に対応しています。 純粋な「猫の顔のコンセプト」。







または、同時刻49:15から5分間の同志Anokhinのパフォーマンスを見てください 。 彼の言葉に基づいて、あなたの脳には市民サーシャ・グレイの概念に責任があるニューロンがあると主張することができます。

局所受容野

^{十分なものはないので、どこかでそれを嫌う人がいます。}

これは、ニューラルネットワークのモデリングにおける適切なルールです。 使用する方法とニューロンのモデルに応じて、さまざまなバンを入手できます。 リストしたくはありません。一言だけ。 ローカル受容フィールドは私たちのすべてです。



もちろん、この方法の最大の利点は、均一な入力データで得られることに言及する価値があります。 簡単な例は視覚データです。 スパース表現の方法を使用して、このようなデータの第1層のニューロンは、異なる角度で輪郭の同じ基本要素を認識することを学習します。これは、脳生物学と非常によく関連しています。

タイプによる樹状突起の分離

^{誘惑に屈する。 そして、彼は繰り返されないかもしれません。}

タイプによる樹状突起の分離は、ニューロンのモデリングにおける顕著な革新であり、実験の無限の可能性を開きます。 この原則は、西側とわが国の両方でニューロンのモデリングの新しいトレンドになりつつありますが、この解決策に至った道は異なります。 西洋では、彼らはこの原理の生物学的基礎を引き出そうとしているが、今では彼らは、新皮質の第4層のニューロンが他の層や脳の他の部分からシナプスを取り、細胞の体に近い樹状突起に到達させ、層内で互いに離れた樹状突起を通してのみ通信すると言っている。



また、そのような根拠を拒否しませんが、さらに、彼らは単一のニューロンの興奮の総和の仮説を批判します。



次に、開かれたモデリングの可能性に移ります。 ニューロンの応答にさまざまな種類の樹状突起からの信号へのさまざまなルールを割り当て、樹状突起のあるタイプから別のタイプへの遷移に関するルールを設定できます。 当然、さまざまなタイプの導入は、ニューラルネットワーク全体の動作にも影響を与えるため、ルールに対する多くの優れた提案は、ニューラルネットワーク全体では実行できません。 しかし、樹状突起をタイプごとに分離した、すでに確立され実証されたニューロンのモデルがいくつかあります。



以下では、人間の記憶の特性と一致し、樹状突起を型に分離することで得られるニューラルネットワークの新しい特性について説明します。 使用されるメソッドの特定の各ケースでは、プロパティは異なる名前を持ち（名前は常にメソッドの作成者の意性です）、実装メカニズムが大きく異なりますが、これは基本原理の類似性を否定するものではありません。



最初に、Hierarchical Temporal Memoryメソッドのニューロンモデルの構造図を見てください。

連想メモリ

^{すべてがニューロンを活性化するパターンではありません。}

原理は、樹状突起を2つのタイプに分離し、入力で信号を論理的に結合することです。



最初のタイプの樹状突起は、「永久記憶」の樹状突起と任意に呼ぶことができ、ニューロンをモデル化するための非常に馴染みのある規則に従って機能します。 イノベーションはありません。入力をタイプに分割することなく、ニューラルネットワークに思いついたことがわかっている古いルールを使用できます。たとえば、「信号が目的の入力セットに到達すると、ニューロンがアクティブになります」というルールに似ています。 このようなルールをトリガーするには、ニューロンがパターンを認識する必要があり、便宜上、「読み取り専用メモリーのトリガー」と呼びます。



2番目のタイプの樹状突起は、「連想記憶」の樹状突起と任意に呼ぶことができ、新しいが直感的なルールに従って機能します。 ここに、いわばモデリングの革新があります。 このようなルールの基本原則は、次の言葉で表現できます。「読み取り専用メモリが機能しない場合、連想樹状突起入力によりニューロンがアクティブになる可能性があります。 読み取り専用メモリがトリガーされたときにアクティブになっている場合、入力の結合性は増加します。 誰かが理解できない場合は、条件付きで反射する同志と学者のパブロフのために単一のニューロンに取り組んでいます。 この場合、犬は苦しみません。



実装に応じて、原則が単純すぎると仮定しないでください。ルールの複雑さとモデリングの多くの機能が発生します。 たとえば、連想性は、ニューロン全体の活動（一定の記憶と連想から既にトリガーされる可能性がある）と一定の記憶によるパターン認識の両方から増加する可能性があります。 連想性は、作動ごとに減少するか、時間に応じて保持および減少します。 樹状突起は、あるタイプから別のタイプに渡ることができ、また成長して新しい接続を追加することができます。 空間的な制限を課す規則があるかもしれません。 たとえば、「パーマネントメモリ」の樹状突起は前の層のニューロンとのみ通信でき、「連想メモリ」の樹状突起はその層または階層の上位層のニューロンとのみ通信できます。

新しい状況の認識

^{中断したときにそれを言ってすみません。}

新しい認識メカニズムは、樹状突起をタイプに分離することでのみニューラルネットワークに追加できます。 このメカニズムの原理は、次の言葉で表現できます。「ニューロンまたはニューロンのグループが活動の増加を示す場合、ニューラルネットワークは新しい状況に直面しています」。 トリガーのルールは実装ごとにあまりにも異なるため、この原則の意味は明らかではありませんが、一般に、新しいものを認識した後にニューロンの活動が増加するだけです。 ニューロンはよりアクティブですが、ルールはネットワーク内で満たされます。その主なタスクは、この増加したアクティビティを排除することです。



ニューラルネットワーク全体の新しいメカニズムを認識することで得られる利点から始めましょう。 ニューラルネットワークは、友人および学者のパブロフによって説明された、よく知られた「指向反射」を実装できます。 しばらくの間、神経生理学者は脳の神経回路網の構成の新しい検出器について話し始めました。これは、知覚の重要な新しいことが発生したときに現れる反射反射の受容体です。 しかし、通常の受容体（センサー）とは異なり、特定の新しい状況の受容体は、機能の特定の組み合わせのセンサーとして基本的に実装することはできません。 それらが使い捨てであるという理由だけで、既に満たされ記憶されているように、新しい状況は繰り返されません。 そして、この新しい認識メカニズムにより、ネットワーク内のすべてのニューロンが新しい検出器になります。 これは革新です。



さらに、新しいものの認識は、新しい連想的なつながり、つまり「連想記憶」の樹状突起の成長を確立する素晴らしい機会です。 さらに、新しいタイプの樹状突起を追加するか、ニューラルネットワーク全体を処理するためのルールを導入するだけで、「コンテキストメモリ」を実装できます。 ポイントは、すべての新しい状況が発生したことを覚えておく必要があるということです。それらはコンテキストになります。 文脈記憶のメカニズムは、新しいものの認識のメカニズムと密接に関連していますが、別のセクションで以下で検討します。



これで、ニューラルネットワークに応じた実装機能について説明できます。



一定の連想記憶を持ち、時間内に動作し、シーケンスを記憶できるニューラルネットワークでは、連想活性化は通常予測と呼ばれます。 このようなニューラルネットワークの仕事は、後続のイベントを常に予測することであり、予測されていないイベントは本当に新しいと見なされます。 つまり、ルールは次のとおりです。「永続メモリのトリガーが連想メモリのトリガーにならなかった場合、新しい状況に直面します。」 新しい接続を認識すると、新しい連想接続がニューラルネットワークに追加されます。



一定のコンテキストメモリを備えたニューラルネットワークでは、同様の、しかしより直感的なルールが使用されます。「永続メモリが機能し、コンテキストメモリが無音の場合、新しい状況でよく知られたパターンに直面します。」 不明なコンテキストで発生したイベントは、かなり新しいと見なされ、新しいコンテキストリンクを追加する理由になります。



一定の連想記憶と文脈記憶（3種類の樹状突起）を備えたニューラルネットワークでは、新しい状況を認識するメカニズムを追加することで、連想と文脈を分離するという重要な問題を解決します。 ニューロンが新しい状況を認識するまで、周囲のニューロンのすべての活動がコンテキストとして認識され、記憶されます。 ニューロンがこの状況の新規性を実現した瞬間、周囲のニューロンのすべての活動が関連として認識され、記憶されます。

コンテキストメモリ

^{それぞれが彼の常識を最大限に考えましたが、誰もが同じことを考えました。}

コンテキストメモリメカニズムは、新しいタイプの樹状突起とその新しい認識メカニズムを追加することで取得できます。 このような文脈的記憶は、「永続的記憶が機能し、文脈的記憶が沈黙している場合、新しい状況に直面している」というルールに基づいて、新しい認識メカニズムのニーズを満たすことに実際に関与しています。 コンテキストメモリは、ニューロンがすでに遭遇したすべての状況をそれ自体に保存します。実際には、定数メモリがトリガーされ、新しい状況を正しく認識することができます。 そして、文脈記憶の革新は、その主なタスクがニューロンの連想的活性化ではなく、ニューロンの増加した活動を減衰させることにあるということです。



実際、連想記憶と文脈記憶のいくつかの実装の違いはニューロンへの影響のみであり、連想記憶と文脈接続を確立および調整する規則は、最小の詳細に一致する場合があります。 コンテキストメモリは、予測、つまりニューロンの連想活性化にも使用できます。 同時に、連想メモリはシーケンスのコンテキストとして正常に使用でき、予測できない状況を認識できます。 ニューロンへの影響によってそれらを正確に区別することを提案します。関連性は刺激的で、コンテキストは落ち着いています。



コンテキストメモリの基本原理は、次の言葉で表現できます。「アクティブなコンテキスト入力により、そのような条件下で読み取り専用メモリが既にトリガーされていることがニューロンに明らかになります。 2つのニューロンが同時にアクティブになると、2つのニューロンが互いにコンテキストになります。



コンテキストメモリは、ネットワーク全体に同時に影響するルールではなく、ニューロン内のルールのアクションによって「スパース分散表現」の条件を満たすのに役立ちます。 これがより生物学的にもっともらしいとだけ言ってみましょう。 永続的な記憶パターンの学習中にニューロンが活性化されると仮定した場合、同時にアクティブな2つのニューロンが互いに接続しようとすることを考慮してください。 そのアクティブな隣人は私たちの教育されていないニューロンに信号を送ります。



これは、ニューロンが自身のさまざまなパターンを選択して永続的なメモリをトリガーするメカニズムであり、ニューロン内にあります。 ニューロンはお互いを理解しているため、外部のハタを使用する必要はありません。

一定の連想記憶、および動機付け、承認、および感情的な入力を備えたニューロン。

^{あなたがあなたの前に誰もやったことのないことをしたとき、人々はそれがどれほど難しかったかを理解することができません。}

この方法は、動機付け、許可、および感情的な入力に加えて、各ニューロンのすべての入力の存在を前提としています。 さらに、それはアノヒンの機能システムの理論とシモノフの感情の理論に基づいています。



私自身はこの方法を完全には理解していませんが、次のことを安全に言うことができます。 一定の連想記憶に加えて、動機はニューロンを活性化することもできます。 動機付け、承認、および感情的な入力は、ニューロンの活動の外部制御および評価として使用されます。 学習して機能するニューロンの機能は、「意味論的確率的結論」と呼ばれます。 また、そこには入力の「悲惨な」合計についての話はありません。 このニューラルネットワークはデータを抽出せず、感情的なニーズを満たすという問題に対処します。 ニューラルネットワーク自体と、ニューラルネットワークが関連付けられている環境の両方をシミュレートする必要があります。 ニューラルネットワークの出力は、私たちの周りの世界に影響を与えるはずです。そうでなければ、その機能から洗い流されることはありません。



外部観察者の観点から、現在支配的な感情の意味論的確率的結論は、環境の考えを反映するニューラルネットワークの助けを借りて、感情の予測満足度の真実の計算として考えることができます。 受容野からニューラルネットワークの出力まで、雷信号は最も抵抗の少ない経路を通ります（実際、経路は最も高い確率で構成されます）。感情、制裁、および動機付けは、ニューロンが雷を逃すことを許可または禁止する鍵です。







意味論的確率論的推論は、各ニューロンが環境の観察によって得られる一定の確率で得られる推論の規則であるという点で論理的推論とは異なりますが、推論では、すべての推論規則は厳密に定義され、完全に信頼でき、その数は変更されません。



ファジーロジックは、ファジーロジックを駆動し、確率で駆動することさえあります。 ニューラルネットワークの動作の例は、次のように説明することもできます。 私たちが本当に森から家に着きたいのなら、牛か馬のどちらかを利用し（おそらく撤退のルールを使用し）、賃貸アパートか祖母に運転します（おそらく結果）。 この状況で現実に最も近い（おそらく）オプションが私たちの観点から勝ちます。



この方法では感情、制裁、動機の仕事については説明しません。私自身はまだ理解していないため、多くのスペースが必要になります。 ここで知識の渇きを癒してください。

www.math.nsc.ru/AP/ScientificDiscovery/PDF/principals_anokhin_simonov.pdf

ニューラルネットワークを操作するその他の「現代の」方法

^{自分の価値を知るだけでは十分ではなく、まだ需要があるはずです。}

ニューラルネットワークのトポロジを効果的に進化させる方法は、ニューラルネットワークのトポロジに対してのみ、進化アルゴリズムを使用した同じ方法です。 原則として、進化的アルゴリズムは最近、一種の命の恩人になりました。 科学活動の分野にアイデアがない場合、賢い人があなたの前にそれを考えていないなら、あなたのポケットに進化アルゴリズム、バム、および「真新しい」科学的方向を適用するのに十分です。 問題を進化させるのに十分な、普遍的な問題解決者が存在します。

http://nn.cs.utexas.edu/downloads/papers/stanley.cec02.pdf



進化的アルゴリズムを使用するもう1つの方法は、ニューラルネットワークの機械学習アルゴリズムに置き換えることです。 本質的に新しいものはなく、以前の方法よりもさらに簡単な方法です。 リンクの表示は価値がありません。

文学

<sup>口を開いて最終的に疑念を払拭するよりも、静かにして馬鹿に見える方が良いです。

独創性は、そのソースを隠す技術です。</sup>

• 階層的一時記憶（HTM）とその皮質学習アルゴリズムhttps://www.groksolutions.com/htm-overview/education/HTM_CorticalLearningAlgorithms_ru.pdf
• 勾配降下による非同期ピアツーピアデータマイニングhttp://www.inf.u-szeged.hu/~ormandi/presentations/europar2011.pdf
• Vityaev E.E. 機能システムの理論P.K.に含まれる脳の原理 アノヒンと感情の理論P.V. Simonova http://www.math.nsc.ru/AP/ScientificDiscovery/PDF/principals_anokhin_simonov.pdf
• Zhdanov A.A. 自律型人工知能。 M。：BINOM。 2008年知識研究所。