意識の論理。 パート12.パターンを検索します。 組み合わせ空間

詩はラジウムの生産と同じです。

生産のグラム単位、労働年数単位。

ハラス

数千トンの言葉の鉱石。

しかし、これらの燃えることのどのように焼却する言葉

くすぶっている生の言葉の隣。

動き出すこれらの言葉

数千年の心。



ウラジミール・マヤコフスキー



私たちの当面の仕事は普遍的な一般化アルゴリズムを示すことであることを思い出させてください。 そのような一般化は、 第10部で以前に定式化されたすべての要件を満たすべきです。 さらに、機械学習の多くの方法で伝統的な欠点（組み合わせ爆発、再訓練、局所的最小値への収束、安定性-可塑性のジレンマなど）から解放される必要があります。 さらに、そのような一般化のメカニズムは、実際の生きている脳ニューロンの動作に関する知識と矛盾しないはずです。



普遍的な一般化に向けてもう一歩踏み出しましょう。 組み合わせ空間のアイデアと、この空間がパターンを探すのにどのように役立ち、それによって教師との学習の問題を解決するかを説明します。

テキスト行コンテキストシフトタスク

ここで、非常に単純な問題を解決するのが非常に難しいことを示します。 任意のテキスト行を1ポジションだけシフトする方法を学習します。



長いテキストがあるとします。 一貫して最初から最後まで読みました。 1つの読み取りステップで、1文字シフトされます。 N文字の幅のスライディングウィンドウがあり、各瞬間に、このウィンドウに収まるテキストの断片のみが利用できるとします。 テキスト内の文字の位置を示す循環位置識別子（ 4番目のパートの最後に説明）を導入します。 識別子Kのピリオドを示します。位置識別子とスキャンウィンドウが重ねられたテキストの例を下の図に示します。









テキストの断片。 数字は、巡回位置識別子を示します。 識別子の期間K = 10。 垂直線は、スライディングウィンドウの位置の1つを示します。 ウィンドウサイズN = 6



この表現の主なアイデアは、ウィンドウサイズNが識別子Kの周期よりも小さい場合、「文字-位置識別子」のペアのセットにより、スライドウィンドウ内で行を一意に記録できることです。 オーディオ情報をエンコードする方法について説明したときに、以前に同様の録音方法について言及しました。 いくつかの条件付き音素のコードを文字に置き換えると、録音が​​得られます。



スライディングウィンドウに表示されるすべてを説明できる概念のシステムを紹介します。 簡単にするために、大文字と小文字を区別せず、句読点を考慮しません。 潜在的にあらゆる文字があらゆる位置で見つかる可能性があるため、文字と位置のすべての可能な組み合わせ、つまり26 x Kの概念が必要になります。 従来、これらの概念は次のように表すことができます。



{a0、a1⋯a（K-1）、b0、b1⋯b（K-1）、z0、z1⋯z（K-1）}



スライディングウィンドウの状態は、対応する概念の列挙として記録できます。 したがって、上の図に示されているウィンドウでは、



{s1、w3、e4、d6}



各コンセプトに特定の放電バイナリコードを関連付けます。 たとえば、256ビットのコード長を取り、8ビットを割り当てて1つのコンセプトをエンコードする場合、異なる位置での文字「a」のエンコードは下図のようになります。 コードはランダムに選択され、それらのビットは繰り返すことができます。つまり、同じビットが複数のコードに共通する可能性があることを思い出させてください。









0〜9の位置にあるコードaの文字の例。バイナリベクトルは垂直に表示され、単位は水平線で強調表示されます。



構成概念のコードを論理的に追加して、フラグメントのバイナリコードを作成しましょう。 前述のように、フラグメントのこのようなバイナリコードには、ブルームフィルターのプロパティがあります。 バイナリ配列の容量が十分に高い場合、十分に高い精度で、逆変換を実行し、フラグメントのコードからソースコンセプトのセットを取得できます。



以下の図は、前の例のフラグメントの概念コードと要約コードがどのように見えるかの例を示しています。







バイナリコンセプトコードをフラグメントコードに追加する例



この方法で作成された説明には、テキストの断片の文字セットだけでなく、そのシーケンスも格納されます。 ただし、一連の概念とこのシーケンスの要約コードは、シーケンスがテキストに登場したときに巡回識別子がどの位置にあったかによって異なります。 次の図は、同じテキストフラグメントの記述が巡回識別子の初期位置にどのように依存するかの例を示しています。









異なる初期オフセットでテキストエンコーディングを変更する



最初のケースは説明に対応します



{s1、w3、e4、d6}



2番目のケースは次のように記述されます。



{s9、w1、e2、d4}



その結果、テキストは同じですが、概念がまったく異なるため、それを記述するバイナリコードがまったく異なります。



ここで、 前の部分で言われたことに行き着きます 。 テキストをシフトすることにより得られるオプションは、同じ情報の可能な解釈です。 このコンテキストでは、可能なすべての変位オプションはコンテキストです。 そして、情報の本質は変わりませんが、その外部形式、つまり、一連の概念またはバイナリ表現による記述は、コンテキストごとに変化します。つまり、この場合、初期位置のすべての変化に伴います。



テキストの不変量の断片をそれらの変位と比較できるようにするには、変位コンテキストの空間を導入する必要があります。 これにはKコンテキストが必要です。 各コンテキストは、可能な初期バイアスオプションの1つに対応します。



コンテキストはコンテキスト変換のルールによって決定されることを思い出させてください。 各コンテキストでは、このコンテキストで概念がどのように変化するかに関する一連のルールが設定されます。



テキストの場合のコンテキスト変換は、適切なコンテキストオフセットに移動するときに概念を変更するためのルールになります。 したがって、たとえば、バイアスがゼロのコンテキストの場合、遷移ルール​​はそれ自体への遷移になります



a0→a0、a2→a2⋯z（K-1）→z（K-1）



リング識別子の長さK = 10で8ポジションのオフセットを持つコンテキストの場合、上図の例の最下行に対応し、ルールは次のようになります。

a0→a8、a1→a9、a2→a0⋯z9→z7



これらのルールの下では、オフセットが8のコンテキストでは、例の最初の行からのウィンドウの説明は2番目の行からのウィンドウの説明に進みます。



{s1、w3、e4、d6}→{s9、w1、e2、d4}



私たちの場合、実際には、コンテキストは、リング識別子のすべての可能な位置でテキスト行オフセットのバリエーションを実行します。 その結果、2本の線が一致または類似しているが、一方が他方に対して相対的にシフトしている場合、このオフセットを平準化するコンテキストが常に存在します。



後でコンテキストの概念を詳細に開発します。特定の、しかし非常に重要な質問に興味があります。あるコンテキストから別のコンテキストに移動すると、バイナリ記述コードはどのように変わりますか？



この例では、テキストがあり、文字の位置がわかっています。 必要なオフセットを設定すると、文字の位置を常にカウントして新しい説明を取得できます。 初期状態およびシフト状態のバイナリコードを計算することは難しくありません。 たとえば、次の図は、「arkad」行のコードがゼロオフセットでどのように見えるか、1行右にシフトしたときの同じ行のコードを示しています。









ソースコードとオフセット



説明を再カウントするアルゴリズムがあるため、任意の文字列のソースバイナリコード（ゼロコンテキスト）と1つの位置オフセット（「1」のコンテキスト）のコードを簡単に取得できます。 長いテキストを取得すると、1つのオフセットに関連するこのような例を任意の数だけ作成できます。



次に、生成された例を取り上げて、ブラックボックスがあることを想像してみましょう。 入力にバイナリの記述があり、出力にバイナリの記述がありますが、入力の記述の性質についても、変換が発生する規則についても何も知りません。 このブラックボックスの作業を再現できますか？



私たちは教師と一緒に教えるという古典的な課題に取り組みました。 トレーニングサンプルがあり、入力データと出力データを接続する内部ロジックを再現する必要があります。



このような問題の声明は、コンテキスト変換の問題を解決するときに脳がよく遭遇する状況の典型です。 たとえば、最後の部分では、網膜が視覚画像に対応するバイナリコードをどのように形成するかについて説明しました。 目の微動は常にトレーニングの例を作成します。 動きは非常に速いので、同じシーンを見ていると仮定できますが、変位の異なるコンテキストでのみです。 したがって、脳は、画像のソースコードと、目によって行われた変位のコンテキストでこの画像が通過するコードを受け取ります。 視覚的なコンテキストを教えるタスクは、視覚的な変換を管理するルールの計算です。 これらの規則を知っていれば、眼が物理的にこれらの変位を実行する必要なく、変位の異なるバリアントで同じ画像の解釈を同時に取得できます。

難しさは何ですか？

私が研究所で勉強したとき、ゲーム「Bulls and Cows」は非常に人気がありました。 1人のプレーヤーは繰り返しずに4桁の数字を作り、もう1人のプレーヤーはそれを推測しようとします。 試みる人はいくつかの番号を呼び出します、そして考えられた人は彼らの中に何匹の雄牛がいるか、つまり、彼らの場所にある推測された数、そして何匹の牛、隠された番号にあるが彼らが想定されている場所に立っていないかをあなたに伝えます。 ゲームの全体的なポイントは、推測者の答えが明確な情報を提供するのではなく、多くの許容可能なオプションを作成することです。 各試行は、そのようなあいまいな情報を生成します。 ただし、試行の合計により、唯一の正しい答えを見つけることができます。



私たちのタスクには似たようなものがあります。 出力ビットはランダムではなく、それぞれが入力ビットの特定の組み合わせに依存します。 ただし、いくつかの概念が入力ベクトルに含まれている可能性があるため、特定の出力ビットの操作を担当するビットは不明です。



ビットは概念コードで繰り返すことができるため、単一の入力ビットは出力について何も述べません。 出力を判断するには、いくつかの入力ビットの組み合わせを分析する必要があります。



同じ出力ビットは異なる概念のコードを参照する可能性があるため、出力ビットの動作は、同じビットの組み合わせが入力に現れたことを意味せず、この出力ビットがより早く機能しました。



つまり、入力側と出力側の両方からかなり強い不確実性が得られます。 この不確実性は深刻な障害であり、非常に単純なソリューションを複雑にします。 1つの不確実性に別の不確実性が乗算され、 組み合わせ爆発が発生します。



コンビナトリアル爆発に対処するには、「コンビナトリアルスクラップ」が必要です。 複雑な組み合わせの問題を実際に解決することを可能にする2つのツールがあります。 1つは、計算の大規模な並列化です。 また、ここでは、多数の並列プロセッサを使用するだけでなく、タスクを並列化し、利用可能なすべての計算能力をロードできるアルゴリズムを選択することも重要です。



2番目のツールは制限の原則です。 有界性の原理を使用する主な方法は、 「ランダム部分空間」の方法です。 時々、組み合わせの問題は初期条件の強い制限を認めると同時に、これらの制限の後でも必要な解決策が見つかるように十分な情報がデータに保存されるという希望を保持します。 初期条件を制限する方法には多くのオプションがあります。 すべてが成功するとは限りません。 しかし、それでも、制限のオプションが成功する可能性がある場合は、難しいタスクを多数の制限されたタスクに分割することができ、各タスクは元のタスクよりもはるかに簡単に解決できます。



これらの2つの原則を組み合わせることで、問題の解決策を構築できます。

組み合わせ空間

入力ビットベクトルを取得し、そのビットに番号を付けます。 組み合わせの「ポイント」を作成します。 各ポイントで、入力ベクトルのいくつかのランダムビットを削減します（下図を参照）。 入り口を観察すると、これらの各ポイントは全体像を見るのではなく、選択したポイントでどのビットが収束するかによって決定される小さな部分のみを見ることになります。 したがって、次の図では、インデックス0の左端のポイントは、元の入力信号のビット1、6、10、および21のみを監視します。 このようなポイントを多数作成し、それらを組み合わせスペースのセットと呼びます。









組み合わせ空間



この空間の意味は何ですか？ 入力信号はランダムではなく、特定のパターンを含むと想定しています。 パターンには主に2つのタイプがあります。 入力説明の一部は、他の説明よりも多少頻繁に表示される場合があります。 たとえば、この場合、個々の文字は、その組み合わせよりも頻繁に表示されます。 ビットコーディングでは、これはビットの特定の組み合わせが他の組み合わせよりも頻繁に発生することを意味します。



別のタイプのパターンは、入力信号に加えて、それに付随するトレーニング信号があり、入力信号に含まれる何かがトレーニング信号に含まれる何かに関連付けられている場合です。 この場合、アクティブな出力ビットは、特定の入力ビットの組み合わせに対する反応です。



「正面」のパターン、つまり入力ベクトル全体と出力ベクトル全体を見ると、何をするのか、どこに移動するのかが明確ではありません。 何が何に依存しているのかというテーマで仮説を立て始めると、すぐに組み合わせ爆発が起こります。 考えられる仮説の数は膨大です。



ニューラルネットワークで広く使用されている古典的な方法は、勾配降下法です。 彼はどの方向に移動するかを理解することが重要です。 これは通常、出口ターゲットが1つある場合に簡単です。 たとえば、ニューラルネットワークに数字の書き方を教えたい場合、数字の画像を表示し、どのような数字が見えるかを示します。 ネットワークは、ダウンする方法と場所を理解しています。 複数の数字を含む写真を一度に表示し、それらの数字をすべて同時に呼び出すと、場所を示すことなく、状況はさらに複雑になります。



「概要」が非常に限定されたコンビナトリアルスペースのポイント（ランダムサブスペース）が作成されると、いくつかのポイントは幸運であり、完全にクリーンでない場合でも少なくともクリアな形でパターンが表示されることがわかります。 このような制限されたビューにより、たとえば、勾配降下を実行し、すでに純粋な規則性を取得できます。 単一のポイントがパターンにつまずく可能性はそれほど高くないかもしれませんが、パターンが「どこかでポップアップする」ことを保証するために、いつでも非常に多くのポイントをピックアップできます。



もちろん、ポイントのサイズを狭くしすぎると、つまり、パターンで予想されるビット数にほぼ等しいポイントのビット数を選択すると、組み合わせ空間のサイズは、可能な仮説を完全に検索するためのオプションの数になり始め、組み合わせ爆発に戻ります。 ただし、幸いなことに、ポイントの概要を増やして、ポイントの総数を減らすことができます。 この削減は無料ではなく、組み合わせ論は「ポイントに移行」されますが、特定のポイントまでは致命的ではありません。



出力ベクトルを作成します。 組み合わせスペースのいくつかのポイントを各出力ビットに単純に削減します。 どんな種類のポイントをランダムに選択します。 1ビットに分類されるポイントの数は、コンビナトリアルスペースを削減する回数に対応します。 このような出口ベクトルは、組み合わせ空間の状態ベクトルのハッシュ関数になります。 この状態がどのように考慮されるかについては、少し後で説明します。



一般的な場合、たとえば、上の図に示すように、入力と出力のサイズは異なる場合があります。 文字列の再コーディングの例では、これらのサイズは一致しています。

受容体クラスター

組み合わせ空間でパターンを探す方法は？ 各ポイントには、入力ベクトルの独自のフラグメントが表示されます。 彼女が見ているものに多くのアクティブなビットがある場合、彼女が見ているのは何らかのパターンであると想定できます。 つまり、ポイントにヒットするアクティブなビットのセットは、規則性の仮説と呼ぶことができます。 この仮説を思い出してください。つまり、ある時点で見えるアクティブなビットのセットを修正します。 次の図に示す状況では、ポイント0でビット1、6、および21を修正する必要があることは明らかです。









クラスター内のビットを修正する



1ビットの番号の記録をこのビットの受容体と呼びます。 これは、受容体が入力ベクトルの対応するビットの状態を監視し、そこに現れると反応することを意味します。



受容体のセットは、受容体クラスターまたは受容体クラスターと呼ばれます。 入力ベクトルが提示されると、ベクトルの対応する位置にユニットがある場合、クラスター受容体は反応します。 クラスターの場合、トリガーされた受容体の数を計算できます。



情報は個々のビットではなくコードでエンコードされているため、仮説を定式化する精度は、クラスター内のビット数に依存します。 プログラムのテキストは記事に添付され、文字列の変換に関する問題を解決します。 デフォルトでは、プログラムには次の設定があります。

• 入力ベクトル長-256ビット。
  
  
• 出力ベクトル長-256ビット;
  
  
• 単一の文字は8ビットでエンコードされます。
  
  
• 行の長さ-5文字。
  
  
• バイアスコンテキストの数-10;
  
  
• 組み合わせスペースのサイズ-60,000;
  
  
• ポイントで交差するビット数は32です。
  
  
• クラスター作成のしきい値-6;
  
  
• クラスターの部分的なアクティブ化のしきい値は4です。
  
  

これらの設定を使用すると、1文字のコード内のほとんどすべてのビットが、別の文字のコード内、または複数の文字のコード内でも繰り返されます。 したがって、単一の受容体がパターンを確実に示すことはできません。 2つの受容体は文字をはるかによく示しますが、まったく異なる文字の組み合わせを示すこともできます。 クラスターに必要なコードフラグメントが含まれているかどうかをかなり確実に判断できる長さの特定のしきい値を入力できます。



仮説の形成に必要な受容体の数の最小しきい値を導入します（この例では6です）。 学習を始めましょう。 ソースコードと、出力で受け取りたいコードを提供します。 ソースコードの場合、組み合わせ空間の各ポイントに含まれるアクティブビットの数を計算するのは簡単です。 出力コードのアクティブビットに接続され、入力コードのアクティブビットの数がクラスター作成しきい値以上になるポイントのみを選択します。 そのような時点で、対応するビットのセットを持つ受容体クラスターを作成します。 これらのクラスターは、作成された時点で正確に保存されます。 重複を作成しないために、最初にこれらのクラスターがこれらのポイントに固有であり、ポイントにまだまったく同じクラスターが含まれていないことを確認しましょう。



他の言葉で同じことを言ってください。 出力ベクトルにより、どのビットをアクティブにする必要があるかがわかります。 したがって、それらに関連付けられた組み合わせ空間の点を選択できます。 そのような各ポイントについて、入力ベクトルで彼女が今見ているのは、このポイントが接続されているビットのアクティビティに責任がある規則性であるという仮説を立てることができます。 一例として、この仮説が真実であるかどうかを言うことはできませんが、誰も私たちに思い込みをさせません。

トレーニング。 メモリ統合

学習プロセスでは、新しい例ごとに膨大な数の仮説が作成されますが、そのほとんどは間違っています。 これらすべての仮説を検証し、誤った仮説を取り除く必要があります。 これらの仮説が次の例で確認されるかどうかを観察することでこれを行うことができます。 さらに、新しいクラスターを作成する際に、ドットに表示されるすべてのビットを覚えています。これは、そこにパターンがあっても、出力に影響を与えない他の概念から得られたランダムなビットです。ノイズ。 したがって、ビットの保存されたパターンが望ましい規則性を含むことを確認または反論するだけでなく、「クリーン」ルールのみを残して、このノイズのパターンをクリアする必要もあります。



問題を解決するためのさまざまなアプローチが可能です。 そのうちの1つを説明しますが、彼が最高だとは言いません。 私は多くのオプションを試しましたが、これは仕事の質とシンプルさを私に与えましたが、これは改善できないという意味ではありません。



クラスターをスタンドアロンの計算機として認識すると便利です。 各クラスターが仮説をテストし、他のクラスターとは独立して決定を下せる場合、これは計算の潜在的な並列化に非常に適しています。 作成後の受容体の各クラスターは、独立した生活を始めます。 彼は着信信号を監視し、経験を蓄積し、自分自身を変え、必要に応じて自己清算に関する決定を行います。



クラスターは、このクラスターを含むポイントが接続されている出力ビットの操作に関連するパターンが内部にあると想定したビットのセットです。 パターンがある場合、ビットの一部のみに影響する可能性が高く、どのパターンが前もってわからないのでしょう。 したがって、クラスター内でかなりの数の受容体がトリガーされる瞬間（この例では少なくとも4つ）をすべて修正します。 これらの瞬間に、パターンがある場合、それ自体が現れる可能性があります。 特定の統計が蓄積されると、クラスターのこのような部分的な応答に自然なものがあるかどうかを判断できます。



統計の例を次の図に示します。 さらに、行の先頭では、クラスターの部分的な操作の時点で、出力ビットもアクティブであったことが示されています。 クラスターのビットは、入力ベクトルの対応するビットから形成されます。









受容体のクラスターの部分応答のクロニクル



これらの統計で何に興味がありますか？ 私たちにとって、他の人が協力するよりも多くのビットを使用することが重要です。 これを最も頻繁なビットと混同しないでください。 各ビットについてその発生頻度を計算し、最も一般的なビットを取得する場合、これは平均化になりますが、これは必要なものではありません。 複数の安定したパターンが一点で収束する場合、平均化により、パターン間の平均は「非規則性」になります。 この例では、1、2、4行が互いに類似しており、3,4、6行も類似していることは明らかです。 これらのパターンの1つ、できれば最強のものを選択し、余分なビットを削除する必要があります。



特定のビットの共同操作として現れる最も一般的な組み合わせは、これらの統計の最初の主要コンポーネントです。 主成分を計算するには、Hebbフィルターを使用できます。 これを行うには、単位の初期重みでベクトルを指定できます。 次に、重みベクトルにクラスターの現在の状態を掛けて、クラスターアクティビティを取得します。 そして、このアクティビティが強いほど、重みを現在の状態にシフトします。 重みが制御不能に増大しないように、重みを変更した後、たとえば重みのベクトルからの最大値に正規化する必要があります。



この手順は、利用可能なすべての例について繰り返されます。 その結果、重みのベクトルはますます主要成分に近づいています。 存在する例が収束するのに十分でない場合、同じ例でプロセスを数回繰り返して、学習速度を徐々に低下させることができます。



主な考え方は、メインコンポーネントに近づくと、クラスターがそれに似たサンプルにますます反応し、他のサンプルに反応しなくなることです。これにより、「悪い」例がそれを台無しにしようとするよりも正しい方向の学習が速くなります。 数回の反復後のこのようなアルゴリズムの結果を以下に示します。









最初の主要コンポーネントの選択を数回繰り返した後に得られた結果



クラスターをカットする場合、つまり、重みが大きい（たとえば0.75を超える）受容体のみを残す場合、余分なノイズビットがクリアされたパターンが得られます。 統計が蓄積するにつれて、この手順を数回繰り返すことができます。 その結果、クラスター内にパターンがあるかどうか、またはランダムなビットセットをまとめることができます。 規則性がない場合、クラスターをクリッピングした結果、短すぎるフラグメントが残ります。 この場合、そのようなクラスターは失敗した仮説として削除できます。



クラスターのトリミングに加えて、適切なパターンが確実にキャッチされるようにする必要があります。 最初の行には複数の文字のコードが混在しており、それぞれが規則的です。 これらのコードはどれも、クラスターによって「キャッチ」できます。しかし、出力ビットの形成に影響する文字のコードにのみ興味があります。このため、ほとんどの仮説は誤りであり、拒否する必要があります。これは、クラスターの部分的または完全な操作が頻繁に目的の出力ビットのアクティビティと一致しないという基準に従って行うことができます。このようなクラスターは削除する必要があります。このような制御と過剰なクラスターの削除のプロセスを「トリミング」とともにメモリ統合と呼ぶことができます。



新しいクラスターを蓄積するプロセスは十分に速く、各新しい経験は数千の新しい仮説クラスターを形成します。「睡眠」のための休憩時間を設けて段階的に実施することをお勧めします。非常に多くのクラスターがある場合、アイドルモードに切り替える必要があります。このモードでは、以前に記憶された経験がスクロールされます。しかし同時に、新しい仮説は作成されず、古い仮説のみがテストされています。「スリープ」の結果として、偽の仮説の大部分を削除し、テストに合格した仮説のみを残すことができます。「睡眠」の後、コンビナトリアルスペースは空になり、新しい情報を受信する準備が整うだけでなく、「昨日」に学んだことにより自信を持つようになります。

組み合わせ空間の出力

クラスターが統計を蓄積して統合されると、クラスターの仮説が真実であるか真実に近いという事実に非常に類似したクラスターが表示されます。このようなクラスターを取得し、それらが完全にアクティブになるとき、つまり、すべてのクラスター受容体がアクティブになるときを監視します。



次に、このアクティビティから、組み合わせ空間のハッシュとして出力を形成します。同時に、クラスターが長いほど、パターンをキャッチする可能性が高くなることを考慮します。短いクラスターの場合、ビットの組み合わせが他の概念の組み合わせとして偶然発生した可能性があります。ノイズ耐性を高めるには、ブーストのアイデアを使用します。つまり、短いクラスターでは、出力ビットのアクティブ化は、そのようなトリガーがいくつかある場合にのみ発生する必要があります。長いクラスターの場合、単一の作動で十分であると想定します。これは、クラスターがトリガーされたときに発生する可能性によって表されます。この可能性は、クラスターが長いほど高くなります。 1つの出力ビットに接続されたポイントの電位が加算されます。電位の合計が特定のしきい値を超えると、ビットがアクティブになります。



出力でのトレーニングの後、取得したいものに一致する部分が再生を開始します（下図）。









学習プロセスにおけるコンビナトリアル空間の作業の例（約200ステップ）。上部はソースコード、中央は必須コード、下部は組み合わせスペースによって予測されたコードです。



徐々に、組み合わせスペースの出力は、必要な終了コードをより良く、より良く再現し始めます。数千ステップのトレーニングの後、出力はかなり高い精度で再現されます（下図）。









訓練されたコンビナトリアル空間の仕事の例。上部がソースコード、中央が必須コード、下部がコンビナトリアルスペースによって予測されたコードです。



これがすべてどのように機能するかを視覚化するために、学習プロセスでビデオを録画しました。さらに、おそらく私の説明は、このキッチン全体をよりよく理解するのに役立つでしょう。

ルールを強化する

より複雑なパターンを識別するために、抑制性受容体を使用できます。つまり、入力ビットの特定の組み合わせが出現したときに、いくつかの肯定的なルールの動作をブロックするパターンを導入します。特定の条件下で、抑制特性を持つ受容体のクラスターを作成するように見えます。このようなクラスターがトリガーされると、ポイントポテンシャルは増加しませんが減少します。



抑制仮説をテストするためのルールを考え出し、抑制受容クラスターの統合を開始するのは簡単です。



ブレーキクラスタは特定のポイントで作成されるため、出力ビットのブロックにはまったく影響を与えませんが、このポイントで見つかったルールからの操作のブロックには影響します。接続のアーキテクチャを複雑にし、ポイントのグループまたは出力ビットに接続されたすべてのポイントに共通のブレーキルールを導入することができます。多くの興味深いことが思い浮かぶようですが、ここでは、説明した単純なモデルについて説明します。

ランダムフォレスト

説明されているメカニズムにより、データマイニングで一般にデータマイニングルールと呼ばれるパターンを見つけることができます。したがって、モデルと、このような問題を解決するために伝統的に使用されているすべての方法との間に共通点があります。おそらく私たちに最も近いのは「ランダムフォレスト」です。



この方法は、「ランダムな部分空間」のアイデアから始まります。初期データに含まれる変数が多すぎて、これらの変数が弱くても相関している場合、データ全体の個々の法則を分離することは困難になります。この場合、使用される変数とトレーニング例の両方が制限されるサブスペースを作成できます。つまり、各部分空間には入力データの一部のみが含まれ、このデータはすべての変数ではなく、ランダムに制限されたセットで表されます。これらのサブスペースの一部では、全量のデータで見えにくいパターンを発見する可能性が大幅に増加します。



次に、各部分空間で、限定された変数セットとトレーニング例で決定木がトレーニングされます。。決定木は、入力変数（属性）がチェックされるノードのツリー構造（下図）です。ノードの状態をチェックした結果に基づいて、通常はツリーの葉と呼ばれる、最上部から終端ノードまでのパスが決定されます。ツリーの葉には結果があり、これは任意の数量またはクラス番号の値です。









デシジョンツリーの例デシジョンツリーに



は、ノードに最適な属性が多少あるツリーを構築できるさまざまな学習アルゴリズムがあります。



最終段階では、ブーストのアイデアが適用されます。決定木は投票のための委員会を形成します。集団的意見に基づいて、もっともらしい答えが作成されます。ブースティングの主な利点は、多くの「悪い」アルゴリズム（結果はランダムよりもわずかに優れている）を組み合わせて、任意の「良い」最終結果を得る可能性です。



コンビナトリアル空間と受容体のクラスターを活用するアルゴリズムは、ランダムフォレスト法と同じ基本概念を使用します。したがって、私たちのアルゴリズムが機能し、良い結果をもたらすことは驚くことではありません。

生物学を学ぶ

実際、この記事では、サイクルの前の部分で説明したメカニズムのソフトウェア実装について説明します。したがって、最初からすべてを繰り返すことはせず、主なことにのみ注意します。ニューロンの仕組みを忘れた場合は、サイクルの2番目の部分を再度読むことができます。



ニューロンの膜には、さまざまな受容体があります。これらの受容体のほとんどは自由に泳いでいます。膜は受容体が自由に動くことができる環境を作り出し、ニューロンの表面上の位置を簡単に変えます（Sheng、M.、Nakagawa、T.、2002）（Tovar KR、Westbrook GL、2002）。









膜と受容体



古典的なアプローチでは、受容体のそのような「自由」の理由は通常強調されていません。シナプスがその感度を高めると、これにはシナプス外空間からシナプス間隙への受容体の移動が伴います（Malenka RC、Nicoll RA、1999）。この事実は、受容体の可動性の言い訳として密かに認識されています。



私たちのモデルでは、受容体の移動性の主な理由は、その場でそれらからクラスターを形成する必要があると仮定できます。つまり、写真は次のとおりです。さまざまな神経伝達物質に敏感なさまざまな受容体が、膜を自由に移動します。ミニカラムで生じた情報信号は、ニューロンと星状細胞の軸索端による神経伝達物質の放出を引き起こします。主要な神経伝達物質に加えて、神経伝達物質が放出されるすべてのシナプスには、この特定のシナプスを識別するユニークな添加物があります。神経伝達物質はシナプスの裂け目から周囲の空間に溢れ出します。これにより、樹状突起の各場所で特定の神経伝達物質のカクテルが発生します（コンビナトリアル空間のポイント）（カクテルの成分はポイントに当たるビットを示します）。このカクテルで神経伝達物質（入力信号の特定のビットの受容体）を発見した自由にさまよいている受容体は、新しい状態（探索状態）に移行します。この状態では、短時間（次の拍動まで）になり、その間に他の「アクティブな」受容体と出会い、共通のクラスター（特定のビットの組み合わせに敏感な受容体のクラスター）を作成できます。



代謝型受容体、そして私たちはそれらについて話しているが、かなり複雑な形をしている（以下の図）。それらは、ループで接続された7つの膜貫通ドメインで構成されています。さらに、2つの自由端があります。異なる兆候の静電荷により、自由端は膜を介して互いに「くっつく」ことがあります。このような化合物により、受容体はクラスターに結合されます。









単一代謝型受容体



結合後、クラスター内の受容体の共同生活が始まります。互いに対する受容体の位置は大きく異なり、クラスターは奇妙な形をとることが想定されます。例えば、静電気力により、一緒に機能する受容体が互いにより近くなる傾向があると仮定すると、興味深い結果が得られます。そのような「共同」受容体が近いほど、共同の魅力は強くなります。近づくと、彼らはお互いの影響力を強化し始めます。この動作は、Hebbフィルターの動作を再現し、最初の主要コンポーネントを強調表示します。フィルターが主成分に対してより正確に調整されるほど、例に表示されるときの反応は強くなります。このように一連の反復の後、共同で活性化された受容体がクラスターの条件付き「中心」で一緒になって、その端で「余分な」受容体が取り除かれた場合、原則として、そのような「余分な」受容体はある時点で自己破壊する、つまり単に離脱するクラスターから。そして、上記の計算モデルで説明したのと同様のクラスターの動作を取得します。



統合されたクラスターは、「安全な避難場所」のどこか、例えばシナプスの裂け目に移動できます。シナプス後部の圧密が存在し、受容体クラスターはこれを固定することができ、不要になった可動性を失います。近くには、Gタンパク質を介して制御できるイオンチャネルがあります。今、これらの受容体は、局所シナプス後電位（点電位）の形成に影響を与え始めます。



局所電位は、近くにある受容体の活性化と阻害の複合的な影響で構成されています。このアプローチでは、アクティベーターは出力ビットのアクティブ化を要求するパターンを認識し、ローカルルールのアクションをブロックするパターンの決定を禁止します。



シナプス（点）は樹状の木にあります。このツリーのどこかに、いくつかの活性化受容体が小さな領域で一度にトリガーされ、これが抑制性受容体によってブロックされない場合、樹状突起スパイクが発生し、それがニューロンの本体に広がり、軸索小節に到達して、ニューロン自体のスパイクを引き起こします。樹状突起ツリーは多くのシナプスを結合し、1つのニューロンにロックします。これは、組み合わせ空間の出力ビットの形成に非常に似ています。



1つの樹状ツリーの異なるシナプスからの信号を結合することは、単純な論理的追加ではないかもしれませんが、より複雑で、ある種のunningなブースティングアルゴリズムを実装する可能性があります。



皮質の基本的な要素は皮質のミニコラムであることを思い出させてください。ミニカラムでは、約100個のニューロンが上下に配置されています。同時に、それらは債券に密に包まれており、隣接するミニコラムに行く債券よりもミニコラム内ではるかに豊富です。大脳皮質全体がこのようなミニコラムのスペースです。ミニカラムの1つのニューロンは1つの出力ビットに対応できます。単一の皮質ミニカラムのすべてのニューロンは、出力バイナリベクトルのアナログにできます。



この章で説明する受容体クラスターは、パターンを見つけるためのメモリを作成します。前に、受容体クラスターを使用してホログラフィックイベントメモリを作成する方法を説明しました。これらは、共通のメカニズムに基づいていますが、異なる機能を実行する2種類のメモリです。

寝る

健康な人では、睡眠はゆっくりとした睡眠の最初の段階で始まり、5-10分続きます。次に、約20分間続く第2段階があります。さらに30〜45分が、第3段階と第4段階の期間になります。この後、睡眠者はゆっくりとした睡眠の第2段階に戻り、その後、レム睡眠の最初のエピソードが発生します。これは約5分の短い期間です。レム睡眠中、眼球は非常に頻繁に、定期的にまぶたを閉じた状態で急速に動きます。この時点で眠っている男を目覚めさせると、90％のケースで鮮明な夢についての話を聞くことができます。このシーケンス全体をサイクルと呼びます。最初のサイクルの期間は90〜100分です。その後、ゆっくりした睡眠の割合が減少し、レム睡眠の割合が徐々に増加する間、サイクルが繰り返されます。最後のエピソードは、場合によっては1時間に達することがあります。平均して、完全に健康的な睡眠では、5つの完全なサイクルが観察されます。



夢では、主な仕事は日中に蓄積された受容体のクラスターをクリアするために行われると仮定することができます。計算モデルでは、「アイドル」学習手順を説明しました。新しいクラスタの形成を引き起こすことなく、古い経験が脳に提示されます。目標は、既存の仮説をテストすることです。このような検証は2つの段階で構成されます。 1つ目は、パターンの主成分の計算と、パターンの原因となるビット数が明確な識別に十分であることの検証です。 2番目は、仮説の有効性、つまり、パターンが目的の出力ビットに関連付けられた正しいポイントにあることを検証することです。夜間睡眠の段階の一部がそのような手順に関連していると想定することができます。



細胞の変化に関連するすべてのプロセスには、特定のタンパク質の発現が伴い、転写因子。新しい経験の形成に関与していることが示されているタンパク質と因子があります。そのため、覚醒中はその数が大幅に増加し、睡眠中は急激に減少することがわかりました。



目的のタンパク質に選択的に反応する色素で脳組織の一部を染色することにより、タンパク質の濃度を確認および評価できます。同様の観察により、記憶関連タンパク質の最も大規模な変化は睡眠中に起こることが示された（Chiara Cirelli、Giulio Tononi、1998）（Cirelli、2002）（以下の図）。









3時間の睡眠後（S）および3時間の自発覚醒後（W）のラットの頭頂皮質におけるアークタンパク質の分布（Cirelli、2002）









ラットの頭頂皮質の冠状部における転写因子P-CREBの分布は、3時間の睡眠後（S）および3時間の睡眠不足の場合（SD）（Cirelli、2002）



よく知られている特徴-「朝の朝」は、睡眠の役割に関するそのような議論によく適合します賢い。」午前中は、昨日はあまり明確ではなかったという事実に導かれ、はるかに良くなりました。すべてがより明確でより明白になっています。これは、睡眠中に発生した受容体クラスターの大規模な除去に起因している可能性があります。誤った疑わしい仮説は取り除かれ、信頼できる仮説は統合され、情報処理により積極的に参加し始めます。



モデリングの際、誤った仮説の数は、真の仮説の数よりも数千倍多いことがわかりました。時間と経験によってのみ区別することができるため、脳はこの情報をすべて蓄積し、時間とともにラジウムのグラムを見つけることを望みます。新しい経験を積むとき、検証を必要とする仮説を持つクラスターの数は常に増加しています。日中に形成され、まだ処理されていない鉱石を含むクラスターの数は、前の人生で得られた経験のコーディングを担当するクラスターの数を超える場合があります。検証が必要な生の仮説を保存するための脳のリソースは制限されるべきです。昼間の16時間の覚醒状態では、利用可能なすべてのスペースが受容体クラスターによってほぼ完全に詰まっているようです。この瞬間が来ると、脳は私たちに睡眠を強要し始め、統合を実行して空きスペースを空けることができます。明らかに、完全なクリーニングのプロセスには約8時間かかります。早く目を覚ますと、クラスターの一部は未処理のままになります。ここから、疲労が蓄積する現象が生じます。数日間十分な睡眠が取れない場合、失われた夢を補う必要があります。さもなければ、脳はクラスターを「偶然に」除去し始めますが、それは私たちの経験から知識を引き出す機会を奪うので、何も良いことにつながりません。最終的なメモリは持続する可能性がありますが、パターンは検出されないままです。完全なクリーニングプロセスには約8時間かかります。早く目を覚ますと、クラスターの一部は未処理のままになります。ここから、疲労が蓄積する現象が生じます。数日間十分な睡眠が取れない場合、失われた夢を補う必要があります。さもなければ、脳はクラスターを「偶然に」除去し始めますが、それは私たちの経験から知識を引き出す機会を奪うので、何も良いことにつながりません。最終的なメモリは持続する可能性がありますが、パターンは検出されないままです。完全なクリーニングプロセスには約8時間かかります。早く目を覚ますと、クラスターの一部は未処理のままになります。ここから、疲労が蓄積する現象が生じます。数日間十分な睡眠が取れない場合、失われた夢を補う必要があります。さもなければ、脳はクラスターを「偶然に」除去し始めますが、それは私たちの経験から知識を引き出す機会を奪うので、何も良いことにつながりません。最終的なメモリは持続する可能性がありますが、パターンは検出されないままです。私たちの経験から知識を引き出す機会を奪ってしまうからです。最終的なメモリは持続する可能性がありますが、パターンは検出されないままです。私たちの経験から知識を引き出す機会を奪ってしまうからです。最終的なメモリは持続する可能性がありますが、パターンは検出されないままです。

ところで、私の個人的なアドバイス：特に勉強している場合は、質の高い睡眠を怠らないでください。もっと時間を合わせるために睡眠中にお金を節約しようとしないでください。睡眠は、講義に参加し、実践的なクラスで教材を繰り返すことと同じくらい重要です。情報の蓄積と一般化が最も活発な発達期の子どもたちが、夢の中でほとんどの時間を過ごすのも不思議ではありません。

脳のパフォーマンス

受容クラスターの役割を仮定することで、脳の速度の問題を再検討することができます。前に、数百のニューロンで構成される各皮質ミニカラムは、入ってくる情報の解釈を個別のコンテキストで考慮する独立したコンピューティングモジュールであると述べました。これにより、皮質の1つのゾーンで同時に最大100万の可能な治療オプションを検討できます。



これで、受容体の各クラスターが自律的なコンピューティング要素として機能し、計算のサイクル全体を実行して仮説をテストできると仮定できます。皮質の列だけで何億ものそのようなクラスターが存在する可能性があります。つまり、脳が機能する周波数は、現代のコンピューターが機能する周波数とはかけ離れていますが、脳の速度を心配する必要はありません。皮質の各ミニコラムで並行して働く何億もの受容体のクラスターが、コンビナトリアル爆発によって国境に位置する複雑な問題をうまく解決できます。奇跡は起こりません。しかし、あなたは端を歩くことを学ぶことができます。



上記のプログラムのテキストはGitHubで入手できます。かなり多くのデバッグフラグメントがコードに残っていたため、削除しませんでしたが、誰かが自分で実験したい場合にのみコメントアウトしました。



アレクセイ・レドズボフ

意識の論理。 パート1.セルオートマトンの波

意識の論理。 パート2.樹状波

意識の論理。 パート3.セルオートマトンのホログラフィックメモリ

意識の論理。 パート4。脳記憶の秘密

意識の論理。 パート5.情報分析へのセマンティックアプローチ

意識の論理。 パート6.意味を計算するためのスペースとしての皮質

意識の論理。 パート7.コンテキスト空間の自己組織化

意識の論理。 「指で」説明

意識の論理。 パート8.大脳皮質の空間マップ

意識の論理。 パート9.人工ニューラルネットワークと実際の皮質のミニコラム

意識の論理。 パート10.一般化のタスク

意識の論理。 パート11.視覚および音声情報の自然なコーディング

意識の論理。 パート12.パターンを検索します。 組み合わせ空間