思考の論理。 パート8.波動ネットワークの要因の分離

前のパートでは、ウェーブネットワークと呼ばれるニューラルネットワークのモデルについて説明しました。 このモデルは、従来の波動モデルとは大きく異なります。 通常、各ニューロンには独自の振動があると想定されています。 古典的なモデルで体系的な脈動を起こしやすいこのようなニューロンの共同作業は、特定の一般的な同期とグローバルリズムの出現につながります。 皮質の波の活動にまったく異なる意味を入れています。 ニューロンは、シナプスの感度の変化だけでなく、シナプスの外側にある膜受容体の変化によっても情報をキャプチャできることを示しました。 その結果、ニューロンは、周囲のニューロンの活動の特定のパターンの大きなセットに応答する能力を獲得します。 特定のパターンを形成するいくつかのニューロンをトリガーすると、必ず皮質を伝播する波がトリガーされることを示しました。 このような波は、ニューロンからニューロンに送信される摂動だけでなく、それを発する各パターンに固有のニューロン活動の特定のパターンを移動するときに作成する信号です。 これは、皮質の任意の場所で、波がもたらしたパターンに従って、皮質のどのパターンが活動状態になったかを判断できることを意味します。 繊維の小さな束を介して、波信号を皮質の他のゾーンに投影できることを示しました。 次に、波動ネットワークのニューロンのシナプストレーニングがどのように発生するかについて説明します。

波動因子の分離

皮質の任意のニューロンを取得します（下図）。 彼には受容野があり、その中にシナプス結合の密なネットワークがあります。 これらの化合物には、周囲のニューロンと、脳の他の部分から信号を運ぶ皮質に入る軸索の両方が含まれます。 これにより、ニューロンは小さな周辺地域の活動を監視することができます。 地形投影が属する皮質ゾーンに該当する場合、ニューロンはその受容野に該当する軸索から信号を受信します。 皮質上に誘発された活動の活発なパターンがある場合、ニューロンは、通過するときにそれらからの識別波の断片を見ます。 同様に、脳のある領域から別の領域に波のパターンを運ぶ波トンネルから生じる波についても同様です。





要因を強調する情報源。 1-皮質ニューロン、2-受容野、3-地形投影、4-誘発活動パターン、5-波動トンネル



ニューロンが受容野で目に見える活動では、その起源に関係なく、主な原理が観察されます-それぞれのユニークな現象は、この現象に固有の独自のユニークなパターンを引き起こします。 現象が繰り返される-ニューロンに見える活動のパターンが繰り返されます。



何が起こっているのかがいくつかの現象を含んでいる場合、いくつかのパターンが互いに重なり合っています。 重ね合わせると、アクティビティのパターンが時間的に一致しない場合があります。つまり、波面が失われる可能性があります。 これを考慮に入れるために、1波周期の周期に等しい時間間隔を示します。 ニューロンのシナプス入力ごとに、この期間にわたって活動を蓄積します。 つまり、この入力に発生したスパイクの数を合計するだけです。 その結果、サイクル全体で統合されたシナプス活動の図を記述する入力ベクトルを取得します。 このような入力ベクトルを使用して、前述のすべての教示方法をニューロンに使用できます。 たとえば、ニューロンをヘブフィルターに変換し、入力データストリームに含まれる主要コンポーネントを選択させることができます。 本質的に、これは、最も頻繁に着信信号が一緒に現れる入力の識別になります。 識別波に適用される場合、これはニューロンがどの波が時々一緒に現れるパターンを持っているかを決定し、この組み合わせを認識するようにその重みを設定することを意味します。 つまり、このような要因を強調することにより、ニューロンはおなじみの識別子の組み合わせを認識すると誘発された活動を示し始めます。



したがって、ニューロンは、その機能によって検出される特定の現象に合わせて調整されたニューロン検出器のプロパティを取得します。 同時に、ニューロンはプレゼンスセンサーとして機能するだけでなく（現象があります-現象はありません）、トレーニングされた因子の重症度に関する活動レベルを通知します。 興味深いことに、シナプス信号の性質は基本的ではありません。 同様に成功すると、ニューロンは、波のパターン、地形の投影パターン、またはそれらの共同活動の処理に同調できます。



最初の主要なコンポーネントを区別するヘブトレーニングは、任意の皮質ニューロンの局所受容野に汎用検出器としてトレーニングするために必要なすべての情報が含まれていることを示すために、純粋に例示的なものであることに注意してください。 多くの多様な要因を区別するニューロンの集合訓練のための実際のアルゴリズムは、やや複雑に編成されています。

安定性-延性

ヘブの教育は非常に明確です。 反復学習の本質を説明するために使用すると便利です。 接続のアクティブ化のみを説明すると、ニューロンが学習するにつれて、その重みが特定の画像に調整されます。 線形加算器の場合、アクティビティは次によって決定されます。







信号とシナプスのバランスで際立っている画像との一致は、ニューロンの強い反応を引き起こし、ミスマッチは弱いです。 ヘブによれば、ニューロン自体がアクティブになった瞬間に信号が到達するシナプスの重みを強化し、その時点で信号がない重みを弱めます。



無限の重みの増加を避けるために、合計を一定の制限内に保つ標準化手順が導入されています。 このようなロジックは、例えば、イア規則につながります：







標準のヘブトレーニングで最も不愉快なことは、学習率係数を導入する必要があることです。ニューロンが学習するにつれて、これを減らす必要があります。 事実、これが行われない場合、ニューロンは何らかのイメージを学習し、供給された信号の性質が変わると、変更されたデータストリームに特徴的な新しい因子を分離するために再トレーニングされます。 学習速度の低下は、もちろん、第一に、学習プロセスを遅くし、第二に、この低下を制御する明白な方法を必要としません。 学習速度の不正確な処理は、ネットワーク全体の「剛性」と新しいデータに対する耐性につながる可能性があります。



これはすべて、安定性と可塑性のジレンマとして知られています。 新しい経験に応答したいという欲求は、以前に訓練されたニューロンの重みを変える恐れがありますが、安定化は、新しい経験がネットワークに影響を与えなくなり、単に無視されるという事実につながります。 安定性または延性のいずれかを選択する必要があります。 この問題の解決に役立つメカニズムを理解するために、生体ニューロンに戻りましょう。 シナプス可塑性のメカニズム、つまり、実際のニューロンのシナプストレーニングが何で起こるかについて、さらに詳しく調べてみましょう。



シナプス可塑性の現象の本質は、シナプス伝達の効率が一定ではなく、現在の活動のパターンに応じて変化する可能性があることです。 さらに、これらの変更の期間は大きく異なり、さまざまなメカニズムによって引き起こされます。 可塑性にはいくつかの形態があります（下図）。





シナプス感受性のダイナミクス。 （A）-促進、（B）-増幅とうつ病、（C）-破傷風後の効能（D）-長期の効能と長期のうつ病（Nicholls J.、Martin R.、Wallas B.、Fuchs P.、2003）



スパイクの短いボレーは、対応するシナプス前終末からのメディエーターの解放の緩和（促進）を引き起こす可能性があります。 促進は即座に現れ、ボレーの間持続し、刺激の終了後約100ミリ秒間顕著に目立ちます。 同じ短時間の曝露は、メディエーターの放出の抑制（抑制）につながり、数秒間続きます。 促進は、うつ病の期間と同様の期間で、第2段階（増幅）に入ることができます。



パルスの連続的な高周波シリーズは、通常破傷風と呼ばれます。 名前は、同様のシリーズが強直筋の収縮に先行するという事実によるものです。 シナプスでの破傷風の摂取は、数分以内に観察されるメディエーター分泌の破傷風後の効力を引き起こす可能性があります。



繰り返される活動は、シナプスの長期的な変化を引き起こす可能性があります。 これらの変化の1つの理由は、シナプス後細胞のカルシウム濃度の増加です。 濃度が大幅に増加すると、二次メッセンジャーのカスケードがトリガーされ、シナプス後膜に追加の受容体が形成され、受容体感度が一般的に増加します。 濃度の弱い増加は反対の効果をもたらします-受容体の数が減少し、その感度が低下します。 最初の状態は長期効力と呼ばれ、2番目は長期鬱病です。 そのような変更の期間は数時間から数日です（Nicholls J.、Martin R.、Wallas B.、Fuchs P.、2003）。



外部インパルスに応答して個々のシナプスの感度がどのように変化するか、増幅が起こるかうつ病が起こるかは、多くのプロセスによって決定されます。 これは主に、ニューロンの興奮の全体像がどのように発達し、それがトレーニングのどの段階にあるかに依存すると考えられます。



説明されているシナプス感度の動作は、ニューロンが次の操作が可能であることをさらに示唆しています。

• 特定の画像にすばやく調整する-円滑化;
• 100ミリ秒程度の間隔の後にこの設定をリセットするか、より長いホールド-増幅と低下に転送します。
• 増幅とうつ病の状態をリセットするか、それらを長期効力または長期鬱病に変換します。

学習のこの段階は、「適応共鳴の理論」として知られる概念とよく相関しています。 この理論は、安定性と可塑性のジレンマを解決する方法として、Stefan Grossberg（Grossberg、1987）によって提案されました。 この理論の本質は、入ってくる情報がクラスに分割されることです。 各クラスには独自のプロトタイプ（このクラスに最も近いイメージ）があります。 新しい情報については、既存のクラスの1つに属しているか、以前のものとは異なり、一意であるかどうかが判断されます。 情報が一意でない場合は、クラスのプロトタイプを明確にするために使用されます。 これが根本的に新しいものである場合、新しいクラスが作成され、そのプロトタイプがこのイメージになります。 このアプローチにより、一方では新しい検出器を作成でき、もう一方では既に作成された検出器を破壊することはできません。







適応共鳴ネットワークART



この理論の実際の実装は、ARTネットワークです。 最初は、ARTネットワークは何も知りません。 彼女に送信された最初の画像は、新しいクラスを作成します。 イメージ自体はクラスプロトタイプとしてコピーされます。 次の画像は、既存のクラスと比較されます。 画像が既に作成されたクラスに近い場合、つまり共鳴を引き起こす場合、クラス画像の修正トレーニングが行われます。 イメージが一意であり、プロトタイプのいずれにも似ていない場合、新しいクラスが作成され、新しいイメージがプロトタイプになります。

皮質内の検出ニューロンの形成が同様の方法で発生すると仮定すると、シナプス可塑性の段階に次の解釈を与えることができます。

• まだ検出器としての特殊化を受けていないが、波の活性化により活動を開始したニューロンは、その受容野の活動の状況に合わせてシナプスの重みをすばやく変更します。 これらの変化は促進の性質にあり、波活動の1サイクルのオーダーで継続します。
  
  
• 直近の環境で、そのような刺激に調整されたニューロン検出器がすでに十分にあることが判明した場合、ニューロンは元の状態にリセットされ、そうでなければシナプスはより長い画像保持の段階に進みます。
  
  
• 増幅段階で特定の条件が満たされると、ニューロンシナプスは画像の長期保存の段階に入ります。 ニューロンは、対応する刺激の検出器になります。
  
  

それでは、人工ニューラルネットワークに関連するトレーニング手順について少し体系化してみましょう。 学習目標から始めましょう。 トレーニングの結果として、2つの基本要件を満たすニューロン検出器を受け取りたいと想定します。

• 彼らの助けがあれば、起こるすべてを完全かつ適切に説明することが可能になるでしょう。
• そのような記述は、現在の出来事に固有の基本的な法律を選び出すためのものです。

最初の方法では、記憶することで、後に重要なパターンになる可能性のある詳細を逃さずに情報を蓄積できます。 2番目は、意思決定が依存する可能性のある説明の中でこれらの要因の可視性を提供します。



最適なデータ圧縮に基づくアプローチはよく知られています。 そのため、たとえば、因子分析を使用して、変動の大部分を占める主要なコンポーネントを取得できます。 最初のいくつかのコンポーネントの値を残し、残りを破棄すると、記述の長さを大幅に削減できます。 さらに、要因の値は、これらの要因が対応する現象の記述されたイベントの重大度について教えてくれます。 しかし、この圧縮には欠点もあります。 実際のイベントの場合、総計の最初の主要な要因は通常、総分散のごく一部しか説明しません。 それらの重要でない要因のそれぞれは、最初の要因よりも何倍も劣っていますが、基本情報の原因はこれらの重要でない要因の合計です。



たとえば、数千の映画を撮影し、その評価を数十万人のユーザーが評価した場合、そのようなデータを使用して因子分析を実施できます。 最初の4〜5つの要因が最も重要です。 それらは、映画の主要なジャンルの領域に対応します：アクション、コメディ、メロドラマ、探偵、SF。 ロシアのユーザーにとっては、古いソビエト映画を説明する強い要因もあります。 強調表示された要因の解釈は簡単です。 これらの要因の空間で映画を説明する場合、この説明は、この映画でこの要素またはその要素がどれだけ表現されているかを示す係数で構成されます。 各ユーザーには、評価に影響する特定のジャンル設定があります。 因子分析を使用すると、この影響の主な方向を特定し、それらを因子に変えることができます。 しかし、最初の重要な要因は推定値の分散の約25％しか占めていないことがわかります。 残りはすべて、他の何千もの小さな要因によるものです。 つまり、主な要因で映画の説明をポートレートに圧縮しようとすると、情報の大部分が失われます。



さらに、説明力のほとんどない要因の重要性について話すことはできません。 したがって、1人の監督の複数の映画を撮影する場合、それらの推定値は互いに密接に相関している可能性があります。 関連する要因は、これらの映画の評価の変動のかなりの割合を説明しますが、これらだけです。 これは、この要因が他の映画には現れないため、データ全体の説明の割合が無視できることを意味します。 しかし、これらのフィルムにとっては、最初の主要なコンポーネントよりもはるかに重要です。 そして、ほとんどすべての小さな要因について。



因子分析に与えられた推論は、情報をコーディングする他の方法にシフトできます。 デビッドフィールドは、1994年の記事「感覚コーディングの目的は何ですか？」（フィールド、1994年）で、脳に内在するメカニズムに関する同様の質問を取り上げました。 彼は、脳はデータを圧縮せず、コンパクトな形式のデータを目指して努力していないと結論付けました。 脳は放出された表現により快適です。それを記述するために多くの異なる属性を持っているとき、同時にそれらのごく一部のみを使用します（下図）。





コンパクトコーディング（A）および経済的な分散コーディング（B）（Field、1994）



因子分析と他の多くの記述方法の両方は、特定の法則の検索と、対応する因子またはクラスの兆候の識別によってはじかれます。 しかし、多くの場合、このアプローチが実際には適用できないデータセットがあります。 たとえば、時計回りの位置を取る場合、彼女には優先方向がないことがわかります。 ダイヤル上を均等に移動し、時間ごとにカウントします。 矢印の位置を伝えるために、要因を強調する必要はありません。それらは目立たず、単にダイヤルを対応するセクターに分割し、このパーティションを使用します。 脳の大部分は、イベントの分布密度を考慮に入れて、分割を意味しないデータを処理しますが、何らかの種類の間隔記述の導入を単に必要とします。 実際、適応共鳴の原理は、データ空間がかなり均一な分散媒体である場合でも機能する、このような間隔記述を作成するメカニズムも提供します。



主要なコンポーネントの分離または適応共鳴プロトタイプの固定は、ニューラルネットワークが記述システムの形成に便利なニューロン検出器をトレーニングできるようにするすべての方法とはほど遠いものです。 実際、大脳皮質を再生するニューラルネットワークでは、グループへの健全な分割を取得したり、一定の規則性を強調したりすることができる方法を使用できます。 実際のクラストは、例として挙げたものに限らず、さまざまな方法を活用しているようです。



個々のニューロンのトレーニングについて話していました。 しかし、私たちのネットワークの主な情報要素はニューロンのパターンであり、それだけが独自の波を開始できます。 フィールド内の単一のニューロンは戦士ではありません。 次のパートでは、特定の現象に対応する神経パターンがどのように発生して機能するかを説明します。



中古文学



継続



前のパーツ：

パート1.ニューロン

パート2.要因

パート3.パーセプトロン、畳み込みネットワーク

パート4.バックグラウンドアクティビティ

パート5。脳波

パート6.投影システム

パート7.ヒューマンコンピューターインターフェイス