⛹🏼 😺 🏼 意識の論理。パート7.コンテキスト空間の自己組織化 🦉 😁 🚉

前に、情報には外部形式と内部意味の両方があるという事実について説明しました。外部形式は、たとえば、見たり聞いたりしたものです。意味は、私たちがどのような解釈をしたかです。外部形式と意味の両方は、特定の概念で構成された説明にすることができます。

説明が多くの条件を満たす場合、元の説明の概念を他の概念に置き換え、特定の規則を適用するだけで説明を解釈できることが示されました。

解釈の規則は、情報の解釈を提供しようとしている付随する状況に依存します。これらの状況は通常、情報が解釈されるコンテキストと呼ばれます。

大脳皮質は神経のミニコラムで構成されています。皮質の各ミニ列は、独自の情報コンテキストで機能する計算モジュールであると仮定しました。つまり、皮質の各ゾーンには、何百万もの意味の独立した計算機が含まれており、同じ情報が独自の解釈を受け取ります。

情報をエンコードおよび保存するメカニズムが示されました。これにより、皮質の各ミニカラムは、以前のすべてのイベントに関するメモリの独自の完全なコピーを持つことができます。独自のフルメモリがあるため、各ミニカラムは、現在の情報の解釈が以前のすべての経験とどのように一致しているかを確認できます。解釈が以前になじみのあるものと「類似」しているコンテキストは、情報に含まれる一連の意味を形成します。

作業の1サイクルで、皮質の各ゾーンは、着信情報の解釈方法に関する数百万の可能な仮説をチェックし、それらの中で最も意味のあるものを選択します。

地殻がこのように機能するためには、最初にその上にコンテキストのスペースを形成する必要があります。つまり、解釈の規則に影響を与える「状況のセット」をすべて強調することです。

私たちの脳は進化の結果として生まれました。その一般的なアーキテクチャ、作業原理、投影システム、皮質ゾーンの構造-これらはすべて自然選択によって作成され、ゲノムに組み込まれています。しかし、すべてが可能であるわけではなく、ゲノムを介して伝達することは理にかなっています。生命体は、出生後に自分自身でいくつかの知識を習得する必要があります。環境への理想的な適応は、すべての機会にルールを遺伝的に維持することではなく、あらゆる新しい状況で最適なソリューションを学び、見つけることができるようにすることです。

コンテキストは、外界とその法則の影響下で形成されるべきまさに知識です。このパートでは、コンテキストを作成する方法と、コンテキスト空間内で後続の自己組織化を行う方法について説明します。

各タイプの情報には、コンテキストのスペースを作成できる独自の「トリック」があります。最も明白な2つのトリックについて説明します。

例付きのコンテキストの作成

私たちにいくつかの説明を与え、それらを解釈する方法を示した教師がいるとします。同時に、彼は正しい解釈を与えただけでなく、それがどのように得られたか、つまりどの概念が解釈されたものになったかを説明しました。したがって、それぞれの例について、解釈の規則に気づきました。これらのルールからコンテキストを作成するには、これらのグループをグループにまとめて、一方ではこれらのグループをできるだけ少なくし、他方では1つのグループ内のルールが互いに矛盾しないようにする必要があります。

たとえば、文章と他の言語への翻訳があります。この場合、翻訳された単語の比較があります。異なる文の場合、同じ単語が異なる方法で翻訳されることが判明する場合があります。タスクは、このようなセマンティックエリアを見つけることです。これらは、翻訳ルールが安定して明確になるコンテキストでもあります。

正式に書き留めます。「記述-解釈-変換規則」という形式の例で構成されるメモリMがあるとします。

記述とその解釈は、変換のルールrによって相互接続されています。ルールは、その解釈が元の記述からどのように得られたかについて話します。最も単純な場合、変換ルールは、ある概念を別の概念に置き換えるための一連の規則にすぎません。

つまり、変換ルールは「初期概念-概念解釈」という一連の変換です。より一般的な場合、1つの概念を複数の概念に変換したり、複数の概念を1つに変換したり、複数の概念の説明を別の複雑な説明に変換したりできます。

2つの変換ルールに次の整合性関数を導入します。一致する変換の数

矛盾の数

矛盾の数は、同じ初期情報が異なる方法でルールによって変換される変換の数を示します。

次に、クラスタリングの問題を解決します。 1つのクラスのすべてのメモリが変換ルールと互いに矛盾しないという条件で、すべてのメモリを最小数のクラスに分割します。結果のクラスは、コンテキスト空間{Cont _i | i = 1⋯N _Cont }になります。

コンテキストクラスごとに、変換ルールRを、このクラスに含まれる要素のすべてのルールの全体と見なします。

必要なクラスタリングでは、EM（expectation-maximization）アルゴリズムのアイデアを追加で使用できます。 EMアルゴリズムは、まずオブジェクトを適切な方法でクラスに分割することを前提としています。ほとんどの場合、ランダムな割り当てです。各クラスのポートレートを考慮し、このクラスを参照する尤度関数を計算するために使用できます。次に、どのクラスが各要素に対応する可能性が最も高いかに基づいて、すべての要素をクラスに再配布します。

いずれかの要素がどのクラスにも信頼できる属性を持たない場合、新しいクラスを作成します。クラスに割り当てた後、前の手順に戻ります。つまり、このクラスに誰が参加したかに応じて、クラスのポートレートを再度カウントします。収束するまで手順を繰り返します。

実際の場合、たとえば私たちの生活の中で、情報が一度にすべて表示されるわけではありません。経験を積むにつれて徐々に蓄積します。同時に、新しい知識はすぐに古いものと一緒に情報回転率に含まれます。私たちの脳は、新しい情報の2段階処理を使用していると考えられます。最初の段階では、新しい経験が記憶され、すぐに使用できます。第2段階では、新しい処理とこの処理の古い複雑な処理との相関が行われます。

最初の段階は覚醒中に発生し、他の情報処理に干渉しないと想定できます。第二段階では、主な活動を「停止」し、脳を特別なモードに移行する必要があります。このような特別なモードは夢のようです。

これから進んで、少し古典的なEMアルゴリズムを変更して、脳のプッシュプル回路に近づけます。クラスの空のセットから始めます。「覚醒」フェーズを使用して、新しい経験を獲得します。新しい要素を割り当てた直後に、各クラスの肖像を変更します。「スリープ」フェーズを使用して、経験を再考します。

変換ルールrのメモリ要素を番号jのコンテキストクラスに割り当てる尤度関数を選択します

アルゴリズムは次の形式を取ります。

クラスの空のセットを作成します
「覚醒」段階では、一貫して新しい経験の一部を提出します。
要素のr成分とクラスRのポートレートを比較します。各要素について、δ（r、R _j ）= 0のクラスを選択し、その中で最大φ（r、R _j ）のクラスを選択します。
矛盾のないクラスがない場合は、そのような要素の新しいクラスを作成してそこに配置します。
要素をクラスに追加するとき、クラスRの肖像を数えます。
覚醒段階が完了したら、スリープ段階に進みましょう。経験を統合します。「覚醒」中に得られた経験、および古い経験の一部（理想的にはすべての古い経験）のために、必要に応じて新しいクラスを作成して、コンテキストにクラスを再割り当てします。エクスペリエンスの割り当てを変更する場合、両方のクラスのポートレートを変更します-要素が残ったクラスと、現在割り当てられているクラスです。
「覚醒」と「睡眠」の段階を繰り返し、新しい経験を与え、古いものを再統合します。

固定コンテキストの変換ルールを検索する

上記のコンテキストを作成するためのメカニズムは、教師がフレーズの意味を説明し、同時に各概念の解釈を示す場合、教育に適しています。コンテキストを作成する別のオプションは、トレーニング例でコンテキスト変換が既知であり、初期情報とその解釈に対応する2つの情報記述がある場合の状況に関連しています。しかし、どの概念がどの概念に移行したかはわかりません。

この状況は、たとえば、一次視覚野の訓練中に発生します。速い痙攣性の眼球運動は、サッカードおよびマイクロサッカードと呼ばれます。ジャンプの前後で、目は同じ絵を見るが、変位の異なるコンテキストである。特定の振幅と方向のジャンプが特定のコンテキストと比較される場合、質問は、このコンテキストで視覚的な記述がどの規則によって変化するかということです。明らかに、同じ変位に関連する「ソース画像-変位後の画像」のペアの十分なセットがあると、変換ルールの普遍的なセットを構築することが可能です。

別の例。特定のコンテキストで単語の別の言語への翻訳を知りたいとします。一連の文があり、そのうちのいくつかはこの単語を持っています。そして、これらすべての文章の翻訳があります。カップルの「文-翻訳」は、事前にコンテキストに分割されています。これは、同じコンテキストに関連するすべての翻訳について、この単語が均等に翻訳されることを意味します。しかし、翻訳のどの単語があなたが探しているものに対応するかはわかりません。

翻訳のタスクは非常に簡単に解決されます。翻訳が求められている文脈では、希望する単語が存在する「文-翻訳」のペアを選択し、すべての翻訳に共通するものを確認する必要があります。これは一般的であり、単語の望ましい翻訳になります。

正式には、これは次のように記述できます。「説明-解釈-コンテキスト」という形式のメモリで構成されるメモリMがあります。

説明とその解釈は、R _jの変換規則によって相互接続されていますが、これは私たちには知られていません。しかし、これらの変換が行われたコンテキスト番号Cont _iはわかっています。

ここで、現在の説明で情報フラグメントI ^origに遭遇し、この説明I ^transの解釈を取得したいコンテキスト番号jがあるとします。

コンテキスト変換がjと一致し、ソース記述にフラグメントI ^origが含まれるような要素MのサブセットをメモリMから選択します。

すべてのI ^int _i変換には、探している変換のフラグメントが含まれます（コンテキストでそのような変換が許可されている場合）。私たちのタスクは、このような最大長の記述を決定することです。これは、集合M 'の要素のすべての解釈に存在します。

興味深いことに、そのような記述を見つけるイデオロギーは、必要な振幅の増幅に基づいた量子コンピューティングのアルゴリズムのイデオロギーと一致します。セットM 'のI ^int _iの説明では、求められている要素を除く他のすべての要素はランダムに発生します。これは、必要な情報が増幅されるように記述の干渉を整理することが可能であり、不必要な干渉が誤って干渉し、互いに消し合うことを意味します。

振幅ジャンプで「トリック」を行うには、それに応じてデータを提示する必要があります。放電されたバイナリコードを使用して各概念をエンコードすることを思い出させてください。いくつかの概念の説明は、概念の説明に含まれるバイナリコードの論理的な追加から得られるバイナリ配列に対応しています。

解釈に対応するバイナリ配列を取得し、必要なコードの増幅に関連する「干渉」を実行すると、必要な変換のバイナリコードが取得されます。

MがN個の要素を含むと仮定します。各記述に、概念の記述に含まれるコードの論理的加算から得られたmビットのビット配列bを関連付けます。次元mの振幅Aの配列を形成します

例の数Nが増加すると、コードの有用な要素は1のままです（または、データにエラーが含まれる場合は約1になります）。不必要な要素は、記述コード内のユニットがランダムに発生する確率に等しい値まで減少します。ランダムレベル（たとえば、0.5）を超えることが保証されているしきい値をカットすると、目的のコードが得られます。

相関コンテキスト

通常、情報の意味を判断するとき、対応関数の非常に高い値がコンテキスト空間に表示されることがわかります。これには2つの理由があります。最初の理由は、情報にいくつかの意味があることです。 2番目の理由は、メインのコンテキストに近いコンテキストでの認識です。

数字の参照画像がメモリに保存されているとします。簡単にするために、メモリ内の画像は中央に配置され、同じスケールに縮小されると想定しています。繰り返しますが、簡単にするために、提出された画像の番号は参照と同じですが、任意の場所にあると仮定します。このような状況では、写真内の数字の認識は、水平および垂直オフセットのさまざまなコンテキストでの説明の考慮に減らされます。コンテキスト空間は、次の図に示すように表すことができます。円で示される各コンテキストは、問題の画像に適用される特定のオフセットに対応します。

水平および垂直変位コンテキストの空間（変位は任意の単位で与えられます）

2文字のAとBの画像を送信してみましょう（下の写真）。

2文字の画像

各文字は、メモリに保存されている対応する標準につながるコンテキストで認識されます。次の図では、文字に最適なコンテキストが赤で強調表示されています。

コンテキストのスペース。 一致関数値が高い強調表示されたコンテキスト

しかし、ある程度の一致が、完全に一致するだけでなく、記述の強い類似性でも決定されるように、対応決定アルゴリズムを構築することができます（そのような手段は後で示されます）。その場合、特定レベルの通信関数は、最適なコンテキストだけでなく、変換の規則に従って、それらに近いコンテキストにもなります。さらに、近接性は一致するルールの数ではなく、結果の記述の特定の近接性を意味します。同じ概念を異なるが近い概念に変換する2つのルールは2つの異なるルールであると同時に、2つの近い変換であるという意味で。近いコンテキストは上のピンクで示されています。

元の画像の意味を強調した後、フォームの説明を取得する予定です。シフト（2,1）のコンテキストでの文字Aと、シフト（-2、-1）のコンテキストでの文字B。ただし、このためには、2つのメインコンテキストだけを残す必要があります。つまり、不要なコンテキストを削除します。この場合、意味が局所的最大値に近いコンテキストは不要です。上の図のコンテキストはピンク色でマークされています。

意味を決定するとき、対応関数のグローバルな最大値を取得してここで停止することはできません。この場合、2文字のうち1文字のみを定義します。特定のしきい値にのみ集中することはできません。 2番目のローカル最大値の対応レベルは、1番目のローカル最大値を取り巻くコンテキストのレベルよりも低いことが判明する場合があります。

多くの実際のタスクでは、コンテキストにより、いくつかの合理的な近接度測定を導入できます。つまり、どのコンテキストでも、それに類似したコンテキストを指定できます。そのような状況では、この相互の類似性を考慮しないと、意味の完全な定義は不可能になります。

上記の例では、コンテキストを独立した独立したエンティティとして描写しませんでしたが、コンテキストを描写する点の近接がコンテキスト変換の近接に対応し始めるように平面に配置しました。そして、目的のコンテキストを、コンテキストを表す点の平面上の局所的最大値として記述することができました。そして、余計なコンテキストがこれらの極大の直接的な環境になりました。

一般的な場合、同じ原理を使用できます。つまり、平面または多次元空間内のコンテキストに対応するポイントを特定し、それらの近接がコンテキストの近接に最も一致するようにします。その後、情報に含まれる一連の意味の選択は、コンテキストポイントを含む空間の極大値の検索に限定されます。

多くのタスクでは、コンテキストの近接度を分析的に判断できます。たとえば、視覚のタスクの場合、主なコンテキストは幾何学的変換であり、その類似性の程度を計算できます。人工モデルでは、いくつかの問題に対してこのアプローチはうまく機能しますが、生物学的システムに対しては、自己組織化に基づくより普遍的なアプローチが必要です。

何らかの方法を使用してコンテキストを形成できたとします。そのようなコンテキストは、その対応関数が同じ情報に同様に反応する、密接と見なすことができます。したがって、コンテキストマッチング関数間のピアソン相関係数は、コンテキストの類似性の尺度として使用できます。

コンテキストのセット全体について、相関行列Rを計算できます。その要素は、対応関数のペア相関になります。

次に、説明で意味を抽出するための次のアルゴリズムを説明できます。

コンテキストのそれぞれで、初期記述は解釈と解釈と記憶の対応の評価を受け取ります。
対応関数ρmaxのグローバル最大値と対応する勝者コンテキストが決定されます。
_ρmaxがカットオフしきい値L ₀を超える場合、勝者コンテキストでの解釈として、セマンティック値の1つが形成されます。
行列Rに基づいて特定のしきい値L ₁を超える相関が抑制されるすべてのコンテキストのアクティビティ（対応関数の値）は抑制されます。
ρmaxがカットオフしきい値L _0を下回るまで、手順はステップ2から繰り返され_ます。

その結果、すべての独立したセマンティック解釈を取得し、あまり正確ではありませんが、解釈の意味に近いものを取り除きます。

畳み込みニューラルネットワークでは、異なる座標での畳み込みは、異なるバイアスコンテキストで画像を表示することに似ています。たたみ込みにカーネルのセットを使用することは、異なるメモリを使用することに似ています。特定の場所のカーネルの畳み込みが高い値を示す場合、隣接する座標の同じカーネルの畳み込みの原因となる隣接する単純なセルでは、値が増加し、最大値の周りに「影」を形成します。この「影」の理由は、最大値を持つコンテキスト近傍の対応関数を増加させる理由に似ています。

重複値を取り除き、ネットワークサイズを小さくするには、max-poolingプロシージャが使用されます。畳み込み層の後、画像空間はばらばらの領域に分割されます。各領域で、最大畳み込み値が選択されます。その後、より小さなレイヤーが取得されます。この場合、空間的な粗大化により、「シャドウ」値の効果が大幅に弱まります。

空間組織

相関行列Rは、コンテキストの類似性を決定します。私たちの仮定では、大脳皮質はミニコラムの平面上にあり、それぞれが特定のコンテキストのプロセッサーです。ランダムではなく、ミニコラムを配置することは非常に合理的であるように思われますが、同様のコンテキストが可能な限り互いに近くに配置されます。

この配置にはいくつかの理由があります。まず、コンテキスト空間で極大値を検索するのに便利です。実際、極大の概念自体は、特定の空間組織を持つ一連のコンテキストにのみ適用できます。

第二に、これにより、解釈を「借りる」ことができます。特定のコンテキストのメモリには、概念の解釈が含まれていないことが判明する場合があります。この場合、意味が近い任意のコンテキストの解釈を使用してみてください。これにはこの解釈があります。他にも非常に重要な理由がありますが、それらについては後で説明します。

類似性に基づいて平面上に配置する問題は、重み付き無向グラフを配置するタスクに近いものです。重み付きグラフでは、エッジは頂点間の関係を定義するだけでなく、これらの関係の重みも決定します。これは、たとえば、これらの頂点の近接性の尺度として解釈できます。グラフを配置することは、グラフの頂点間の距離を通してエッジの重みによって与えられる近接度を最もよく伝えるような画像の構築です。

この問題を解決するために、春のアナロジーが使用されます（Eades P.、グラフ描画のヒューリスティック、Congressus Nutnerantiunt-42、pp。149–160。-1984.）。頂点間の接続はスプリングで表されます。バネの張力は、対応するリブの重量と接続された頂点間の距離に依存します。頂点が一点に落ちないように、すべての頂点間に作用する反発力が適用されます。

結果として生じるスプリングシステムに対して、ポテンシャルエネルギーの方程式を書くことができます。エネルギーの最小化は、必要なグラフの積み重ねを見つけることに対応します。実際には、この問題は、発生する力の作用下で頂点の動きをモデル化するか、エネルギーを最小化する条件を記録するときに生じる方程式系を解決することで解決されます（鎌田、T。、河合、S。、一般的な無向グラフを描画するためのアルゴリズム、情報処理文字、Vol。 31.-pp。7-15。-1989）。

,

セルオートマトンの場合のグラフスタッキングの特定の類似物は、シェリング分離モデルです（The Journal of Mathematical Sociology Volume 1、Issue 2、1971。分離の動的モデルThomas C. Schelling pages 143-186）。このモデルでは、オートマトンのセルは異なるタイプ（色）の値を取るか、空にすることができます。空でないセルの場合、満足度関数が計算されます。これは、セルの環境がセル自体にどれだけ似ているかに依存します。満足度が低すぎると判明した場合、このセルの値は空きセルに移動します。このサイクルは、マシンの状態が安定するまで繰り返されます。その結果、システムパラメータでこれが許可されている場合、最初のランダムな不規則性は、同じタイプの値で構成される島に置き換えられます（下図を参照）。分離モデルが使用されます。たとえば、収入、信仰、人種などが異なる人々の再定住をシミュレートする。

4色の分離の初期および最終状態：

グラフエネルギーを最小化するという考え方とセルオートマトンの分離の原理は、コンテキストの空間的構成にいくつかの変更を加えることで適用できます。次のアルゴリズムが可能です。

着信情報に特有のコンテキストを決定します。
コンテキストの相互相関行列を決定します。
セルラーオートマトンのセルにランダムにコンテキストを分散します。そのサイズにより、すべてのコンテキストに対応できます。
コンテキストを含むランダムなセルを選択します。
セルが空の場合はコンテキストを移動したり、空でない場合はコンテキストを交換したりするための潜在的な場所として、たとえば8つの最近傍などの隣接セルをソートします。
潜在的な可能性のある変位（交換）のそれぞれの場合のオートマトンのエネルギーの変化を計算します。
移動（交換）を行います。これにより、エネルギーを最小限に抑えることができます。そうでない場合は、そのまま残ります。
マシンの状態が安定するまで、手順4から繰り返します。

その結果、コンテキストは、可能であれば類似のコンテキストが互いに近くなるように配置されます。このような自己組織化がどのように発生するかは、以下のビデオで確認できます。

ビデオの各色のドットは、そのコンテキストに一致します。各コンテキストには、それを定義するいくつかのパラメーターがあります。コンテキスト相関は、これらのパラメーターの近接度に基づいて計算されます。与えられた例では、ソース情報からのコンテキストの作成はありません。これは、コンテキスト間の相関がすでに事前に計算されている場合の空間編成の単なる例示です。順列による自己組織化を示すプログラムは、ここから入手できます。

この例では、コンテキストは4つのパラメーターのすべての可能な組み合わせに対応しています。最初のパラメーターは円形、2つのパラメーターは線形、4番目は2つの値を取ります。これは、画像分析に使用できるコンテキストに対応しています。最初のパラメーターは回転、2番目と3番目の水平および垂直オフセットをそれぞれ記述し、4番目のパラメーターは情報がどの目に属するかを示します。

各パラメーターは色スペクトルに関連付けられています。スペクトル内の色の近さにより、パラメータ値の近さを判断できます。この例では、各コンテキストには4つの意味があります。つまり、各パラメーターの値と、それに応じた各パラメーターの色です。四角は、各パラメーターのコンテキストカラーを示しています。すべてのカラー写真は同じコンテキストを示しますが、異なるパラメーターの色で表示されます（下図）。

4つの独立したパラメーターを持つコンテキストの自己組織化の結果

空間的順序付けの本質は、移動するプロセスのコンテキストがすべてのパラメーター間で妥協点を見つける必要があることです。ビデオの例では、線形パラメーターが線形フィールドを構築するという事実により、この妥協点が達成されています。つまり、コンテキストは、座標グリッドの特定の対応を形成するように発生します。ちなみに、これは、文字の認識について説明したときの上記の例でのコンテキストの配置方法です。

表面全体にわたる環状回転パラメータの場合、色の完全なセットを含むグループが形成されました。視覚皮質では、そのような構造は「スピナー」または「スピニングトップ」と呼ばれます。一次視覚野での「ターンテーブル」の外観は、タイトル画像に示されています。これと、目の優勢の列を持つ4番目の正方形については、次のパートで説明します。

各パラメーターがいくつの間隔に分割されるかに応じて、異なる数のコンテキストが取得される傾向があります。線形パラメータと比較して環状パラメータの断片化が大きいと、コンテキストが1つの大きな「ターンテーブル」に並んでいるときに画像が変わる場合があります（下図）。この場合、線形パラメーターは、空間全体に分布するローカル線形フィールドを形成します。

3つの独立したパラメーターを持つケースのコンテキストの空間編成。リングパラメーターが支配的でグローバルな「スピナー」を形成し、2つの線形パラメーターがローカル線形フィールドを形成します。右下の正方形は、赤い点で強調表示されている要素に近い要素を示しています。

順列プロセスの収束に関係なく、類似したコンテキストが主に隣り合って表示されます。以下の図は、そのような近接の例を示しています。各図では、コンテキストの1つが赤で強調表示され、他のコンテキストの明るさは、選択されたコンテキストへの近接度に対応しています。

選択したコンテキストに対するコンテキストの近接度の分布

説明したアルゴリズムを適用する場合、コンテキストのすべての相互相関を考慮する必要があります。相関自体は、オートマトンセルの結合として表すことができます。各セルは他のすべてのセルに関連付けられています。各接続は、通過するセルのペア相関を担当します。Barnes-Hutメソッドを使用すると、リンクの数を大幅に減らすことができます。（Barnes J.、Hut P.、階層O（N log N）力計算アルゴリズム。Nature、324（4）、1986年12月）。その本質は、これらの要素を含む象限の影響に対するリモート要素の影響を置き換えることです。つまり、削除された要素をグループにまとめて、グループの平均距離と平均結合強度を持つ1つの要素と見なすことができます。この方法は、星団内の星の相互引力を計算するのに特に有効です。

個々の星

を置き換える空間象限は、このように整理されたコンテキストマップを持つことで、極大値の検索の問題の解決をわずかに単純化できます。ここで、各コンテキストは、近くにある他の類似したコンテキストと、距離を空けた類似したコンテキストの島に関連付ける必要があります。空間的な組織化後のこのような結合の長さは、組織のエネルギーを計算するための基礎を築いたまさにそのような基準であったため、組織化前よりも短くなります。

空間組織の利点

翻訳の例に戻りましょう。コンテストは、一般的な翻訳ルールが適用されるセマンティックエリアです。コンテキストを空間的に配置した後、ほぼ同じ主題に関連する空間内のコンテキストの隣接グループを取得します。グループ内では、個々のコンテキストのそれぞれが、特定の洗練された意味で複雑な翻訳を表現します。

いくつのコンテキストが必要ですか？それは多ければ多いほど良いと思われます。より多くのコンテキストが利用可能であれば、翻訳を選択する際により多くの詳細と意味の濃淡を考慮することができます。しかし、詳細化の裏側は、解釈経験の断片化です。特定のコンテキスト内の単語の翻訳ルールを知るには、そのコンテキストでの翻訳経験が必要です。各翻訳例には、一連の翻訳ルールがあります。これらのルールを、最も成功していることが判明した1つのコンテキストに参照すると、他のコンテキストからアクセスできなくなります。

空間編成と相関関係により、選択したコンテキストが意味でそれに近いコンテキストを理解できます。これは、選択されたコンテキストに独自の翻訳経験がない場合、意味が近い隣接コンテキストの翻訳経験があれば、それを活用できることを意味します。

隣人の経験に目を向けることで、文脈の洗練と経験の断片化の間の妥協点を見つけることができます。翻訳の場合、共通のトピックに関連し、互いに近くにあるコンテキストのグループのように見え、このサブジェクトエリアの翻訳ルールを共同で保存します。さらに、個々のコンテキストには、意味のニュアンスを反映した特定の洗練が含まれています。

さらに、実際の問題で使用可能なコンテキストモジュールの数が限られているため、最適な近似ソリューションを検索する必要があります。これには、空間コンテキストマップ自体が処理された情報の詳細を大きく考慮しているという事実が非常に役立ちます。

空間編成のもう1つの利点は、「一度に複数のことを実行できる」ことです。会話は、たとえば、車を運転すると同時に電話で話すことができるという事実に関するものではありません。地殻の異なるゾーンがこれに関与している場合、これには驚くべきことは何もありません。しかし、誰かと話をして自分のことを考えたり、異なる対話者と2つの異なるトピックについて一度に話をしたり、シーザーのように異なるトピックについて書いたり同時に話したりする必要がある場合、すべてがより興味深いものになります。地殻の同じゾーンは、一度に複数の情報フローで動作することが強制されていることがわかります。

おそらく、誰もがビジネスまたは思考の意味がかなり大きく異なる場合にのみ、ビジネスまたは思考を組み合わせることが可能であることに気づきました。意味が交差し始めるとすぐに、混乱が始まるか、ある考えが他の考えに完全に取って代わります。

このモデルでは、情報フローの組み合わせは、コンテキストの空間における多様性によって説明できます。それぞれの意味はその場所で処理されますが、ひどいことは何も起こりません。意味とそれに応じたコンテキストの収束により、結合が不可能になります。

実際には、意味の収束により、人がトランス状態に陥り、自分の考えを失い、自分自身を制御しなくなると、いわゆる「脳の過負荷」が発生する可能性があります。いわゆる「ジプシー催眠」はこの効果に基づいています。

複数の人が同時に何か違うことを言い始めても、おそらくあなたに特別な印象を与えることはないでしょう。おそらく、あなたは一つのことに集中し、彼の考えに従うでしょう。全員を同時に聞く試みは、何かを与える可能性は低いです。フレーズのスニペットが聞こえ、ほとんどの場合このレッスンを終了します。

しかし、ジプシーの群衆があなたを取り囲むと、状況は変わります。あなたは警戒し、状況を制御しようとしています。あなたはあなたに語られたすべてを理解しようとしています。原則として、すべてのジプシーは1つのトピックで「ヒット」します。「中心」のジプシーはあなたの未来について語り始め、予言し、警告し、脅します。残りは彼女に反響し、調子を合わせて何かを言う。この時点で、ほとんどの人はトランス状態です。ジプシーの環境の外で目覚めた人は、財布、時計、そして自分自身の正常性に対する自信の喪失を発見します。

適応相関計算。シナプス可塑性の役割

空間編成のプロセスおよび意味の定義において、コンテキストの相互類似性を知る必要があります。これは、対応関数のアクティビティの相関関係を通じて決定できます。相関分析は、ランダムプロセスが経時的に定常であるという仮定に基づいています。つまり、多くの実現にわたって平均することは、経時的に平均することと同等です。新しい経験を得るとコンテキスト自体が変わり、そのため対応関数が変化するため、相関の計算に観測セット全体を使用するのではなく、比較的最近の部分からのみ進めることが合理的であることがわかります。このアプローチは、特に、パターンがローカルな時間的特性を持つことができる場合に、時系列の短期適応予測のために経済で使用されます。

主に最後のN個のアクティブな観測値を考慮して、相関を計算するために、適応スキームを使用できます。カットオフしきい値L ₀としきい値関数を導入します。

新しい経験の到来により、少なくとも1つのコンテキストにしきい値L _0を通過した対応関数がある場合にのみ、2つのコンテキスト間の相関を変更し_ます。両方の関数がしきい値を超えた場合、相関関係を1つだけ増やしてから減らします。

便宜上、小さな値を導入します。

ピアソン相関は次の式で計算されます。

計算に関与する各要素は、新しいエクスペリエンスが出現したときに適応的に再カウントできます。番号iおよびjのコンテキスト一致関数の場合、次のように記述できます。

値の少なくとも1つ、xまたはyがゼロ以外の場合、再計算します

このような相関関係は、コンテキストが常に一緒にアクティブ化される場合は一致し、このプロセスがランダムな場合はゼロになる傾向があります。このような適応計算に従って、コンテキストを接続する接続の重みを形成できます。

シナプス可塑性

共同操作の時点でコンテキスト間のコミュニケーションの強さを強化することは、ヘブの規則（ヘブDO-行動の組織。ジョンワイリー＆サンズ、ニューヨーク、1949年）に非常に似ています。それに応じて、一緒に働くニューロンは、それらの間のコミュニケーションの強さを強化します。

正式なニューロンが線形加算器として機能する場合、その出力は入力の加重和です。

このようなニューロンのヘブ則には次の形式があります

ここで、nは離散時間ステップ、ηは学習率のパラメーターです。

このようなトレーニングでは、信号x _i（n）が適用される入力の重みが増加しますが、これは強くなるほど、トレーニングされたニューロンy（n）の反応が活発になります。

ヘブ則を直接適用すると、ニューロンの重みは無限に増大します。各ニューロンの総重量を一定に保つ必要がある場合、これは簡単に回避できます。その後、重みの成長の代わりに、それらは再配布されます。いくつかの重みは、他の重みを減らすことで増加します。

重みの一般的な正規化を考えると、HebbトレーニングルールはOiaトレーニングルールの形式をとります（Oja、1982）

この式で、x _i ^tはニューロンの入力の状態、witはニューロンのシナプスの重み、y ^tは入力の重み付き合計によって得られる出力のアクティビティです。

上で説明した相関トレーニングと正式なニューロンのトレーニングは、相互に作用するニューロンの接続を強化する原理に対応していますが、同時に完全に異なるメカニズムを実装しています。従来のヘッブストレーニングでは、入力信号の重み付き合計と、それに続く重みの結合正規化により、ニューロンの重みの再分布が発生し、特定の刺激特性に合わせて調整されます。この種のモデルでは何も起こりません。相関の重みの本質は、その空間環境におけるコンテキストの近接性の描写です。重みは互いに独立して訓練され、これはいかなる特徴的な刺激とも決して関係しません。同時に、正規化の要件はありません。重みの増加を制限することは、制限された相関係数の自然な結果です。

実際の脳では、シナプス可塑性の現象が知られています。その本質は、シナプス伝達の効率が一定ではなく、現在の活動のパターンに応じて変化する可能性があることです。さらに、これらの変更の期間は大きく異なり、さまざまなメカニズムによって引き起こされます。

シナプス感受性のダイナミクス。 （A）-促進、（B）-増幅とうつ病、（C）-破傷風後の効能、（D）-長期の効能と長期のうつ病（Nicholls J.、Martin R.、Wallas B.、Fuchs P.、2003）

スパイクの短いボレーは、対応するシナプス前終末からのメディエーターの解放の緩和（促進）を引き起こす可能性があります。促進は即座に現れ、ボレーの間持続し、刺激の終了後約100ミリ秒間顕著に目立ちます。同じ短時間の曝露は、メディエーターの放出の抑制（抑制）につながり、数秒間続きます。促進は、うつ病の期間と同様の期間で、第2段階（増幅）に入ることができます。

パルスの連続的な高周波シリーズは、通常破傷風と呼ばれます。名前は、同様のシリーズが強直筋の収縮に先行するという事実によるものです。シナプスでの破傷風の摂取は、数分以内に観察されるメディエーター分泌の破傷風後の効力を引き起こす可能性があります。

繰り返される活動は、シナプスの長期的な変化を引き起こす可能性があります。これらの変化の1つの理由は、シナプス後細胞のカルシウム濃度の増加です。濃度が大幅に増加すると、二次メッセンジャーのカスケードがトリガーされ、シナプス後膜に追加の受容体が形成され、受容体感度が一般的に増加します。濃度の弱い増加は反対の効果をもたらします-受容体の数が減少し、その感度が低下します。最初の状態は長期効力と呼ばれ、2番目は長期鬱病です。そのような変更の期間は数時間から数日です（Nicholls J.、Martin R.、Wallas B.、Fuchs P.、2003）。

ドナルド・ヘブが彼の規則を策定したとき、シナプスの可塑性についてはほとんど知られていない。最初の人工ニューラルネットワークが作成されたとき、彼らはシナプスの可能性という考えを使用して、重みをキーとして変更しました。ニューラルネットワークが受信情報に適応し、その中の一般的なプロパティを強調できるようにしたのは、重みのスムーズな調整でした。私が絶えず言及している「祖母のニューロン」は、シナプススケールを特徴的な刺激に調整するというアイデアの直接的な結果です。

後に、実際のシナプスの可塑性がよりよく研究されるようになったとき、ニューラルネットワークを訓練するための規則とほとんど共通点がないことが判明しました。まず、ほとんどの場合、シナプス伝達の効率の変化は、トレースなしで短時間で通過します。第二に、さまざまなシナプスのトレーニングに顕著な互換性はありません。つまり、ジョイントの正規化に似たものはありません。第三に、外部からの着信信号の影響で伝送効率が変化し、シナプス後ニューロンの反応、つまり信号受信にどのように依存するかはあまり明確ではありません。これに加えて、これに加えて、実際のニューロンは線形加算器またはしきい値加算器として機能しません。

興味深い状況であることが判明しました。ニューラルネットワークは機能し、良好な結果を示します。ニューラルネットワークに精通しているが、生物学とはほど遠い人の多くは、人工ニューラルネットワークは脳に非常に似ていると考えています。この類似性の概念は、人工ニューラルネットワークの出現の歴史に基づいており、したがって、昔々存在していたニューロンに関するアイデアに基づいています。脳の生物学をよりよく理解している研究者は、人工神経回路網の多くのアイデアが実際の脳のメカニズムに触発されていると合理化して話すことを好みます。ただし、この「インスピレーション」の範囲に注意する必要があります。

「祖母のニューロン」への私の一定の戻りは、主に古典的なアプローチと提案されたモデルにおけるシナプス可塑性の役割の理解に違いを示す試みによるものです。古典的なモデルでは、シナプスの重みの変化は、ニューロンを特徴的な刺激に調整するメカニズムです。シナプス可塑性の役割は完全に異なっていると思います。実際の脳のニューロンのシナプス可塑性は、コンテキスト相関を設定するメカニズムに部分的に関連している可能性があります。

コンテキストマップとKohonenマップの違い

ニューラルネットワークの空間構成は、通常、Kohonenの自己組織化マップに関連付けられています（T. Kohonen、Self-Organizing Maps）。

ベクトルxで与えられる入力情報があると仮定します。ニューロンの2次元格子があります。各ニューロンは入力ベクトルxに関連付けられ、この接続は重みw _jのセットによって決定されます。まず、ランダムな小さな重みでネットワークを開始します。入力信号を供給することにより、各ニューロンに対して、線形加算器としての活動レベルを決定することができます。最も高いアクティビティを示すニューロンを選択し、勝者ニューロンと呼びます。次に、似ていることが判明した画像の方向に重みを移動します。さらに、すべての隣接ノードに対して同様の手順を実行します。勝者のニューロンから離れるにつれて、このシフトを弱めます。

ここで、η（n）は学習率であり、時間とともに減少します。hはトポロジカルな近傍の振幅です（nへの依存性は、時間とともに減少することを示唆しています）。

近傍の振幅は、たとえばガウス関数によって選択できます。

ここで、 dは修正されたニューロンjと勝者ニューロンiの間の距離です。

ガウス関数

学習するにつれて、このような自己組織化マップでは、トレーニング画像の配布方法に対応するゾーンが割り当てられます。つまり、ネットワーク自体は、入力ストリームで互いに類似した画像がいつ出会うかを判断し、マップ上に近い表現を作成します。同時に、画像が異なるほど、それらの表現は互いに別々に配置されます。その結果、学習成果が適切に色付けされている場合、下図に示すようなものになります。

コホーネン地図学習結果

色付け後にコホーネン地図を学習した結果は、外観を、それらを再配置することによって得られたコンテキストの配置に似ていることが判明する場合があります。この類似性は誤解を招くものであってはなりません。それは異なるものについてです。 Kohonenマップは、送信された特性記述へのニューロンの重みの適応に基づいています。実際、これらは同じ「祖母のニューロン」です。提供された情報は、ニューロンから特定の平均的な「祖母」の検出器を「スカルプト」します。着色された領域の中心では、多かれ少なかれ「祖母」が得られ、領域の境界に近づくと「変異祖母」が形成されます。近隣の「祖母」、「祖父」、「子猫」、「犬」のハイブリッドがあります。

Kohonenマップを実際の脳で試してみると、重大な問題が発生します。これは「安定性-可塑性」のよく知られているジレンマです。新しい経験は、「祖母」の肖像を変えて、「祖母の勝者」のすべての隣人を彼女の方向に変えることを強制しています。その結果、ネットワークは組織を変更し、以前に取得した知識を上書きする可能性があります。ネットワークを安定させるには、学習率を時間とともに低下させる必要があります。しかし、これはネットワークの「骨化」につながり、学習を継続できなくなります。私たちの自己組織化では、コンテキストの再配置はそれらの整合性を侵害しません。コンテキストは新しい場所に移動されますが、同時にコンテキストに保存されているすべての情報はそのまま保持されます。

次のパートでは、実際の地殻における空間的自己組織化について説明し、実験的に観察されたものの多くがモデルで正確に説明できることを示します。

アレクセイ・レドズボフ

意識の論理。エントリー

意識の論理。パート1.セルオートマトンの波

意識の論理。パート2.樹状波

意識の論理。パート3.セルオートマトンのホログラフィックメモリ

意識の論理。パート4。脳記憶の秘密

意識の論理。パート5.情報分析へのセマンティックアプローチ

意識の論理。パート6.意味を計算するためのスペースとしての皮質

意識の論理。パート7.コンテキスト空間の自己組織化

意識の論理。「指で」説明

意識の論理。パート8.大脳皮質の空間マップ

意識の論理。パート9.人工ニューラルネットワークと実際の皮質のミニコラム

意識の論理。パート10.一般化のタスク

意識の論理。パート11.視覚および音声情報の自然なコーディング

意識の論理。パート12.パターンを検索します。組み合わせ空間

意識の論理。 パート7.コンテキスト空間の自己組織化