意識の論理。 パート10.一般化のタスク

原則として、どの情報システムも同じ問題に直面しています。 情報を収集するには？ どう解釈するの？ どのような形でそれを覚えるのですか？ 収集された情報のパターンと、それらを書き留める形式を見つける方法 着信情報への対応方法 各問題は重要であり、他の問題と密接に関連しています。 このサイクルでは、これらの問題が脳によってどのように解決されるかを説明しようとします。 このパートでは、おそらく最も神秘的な思考の要素、つまりパターンを見つける手順について説明します。



外の世界との相互作用は経験の蓄積につながります。 この実験にパターンがある場合、それらを区別して、後で使用できます。 パターンの存在は、経験を構成する記憶に共通する何かの存在として解釈できます。 したがって、このような共通のエンティティの割り当ては、一般化と呼ばれます。



一般化のタスクは、何らかの形でデータ分析に関連するすべての分野で重要なタスクです。 数学統計、機械学習、ニューラルネットワーク-これらはすべて、一般化の問題を中心に展開します。 当然、脳は脇に立ちませんでした。私たち自身の経験から時々観察できるように、脳は一般化にもうまく対処できます。



一般化は常にどこでも発生するという事実にもかかわらず、一般化のタスクは、一般的な方法で考えると、かなり曖昧なままです。 汎化が必要な特定の状況に応じて、汎化問題のステートメントは非常に広範囲にわたって変化する可能性があります。 問題のさまざまな定式化により、非常に異なった、時には完全に異なる解決方法が生まれます。



汎化へのさまざまなアプローチは、汎化手順が集合的なものであり、普遍的な汎化手順が存在しないように思われるという感じを作成します。 しかし、私には普遍的な一般化が可能であり、脳の特徴でもあるように思われます。 このサイクルで説明したアプローチのフレームワーク内で、一般化問題のすべての古典的なバリエーションを含む驚くほど美しい（少なくともそのように思えます）アルゴリズムを思いつくことができました。 このアルゴリズムはうまく機能するだけでなく、最も驚くべきことでもあります-理想的には、生物学的ニューラルネットワークのアーキテクチャに適合し、実際の脳はそのようなどこかで機能すると信じています。



そのような普遍的な一般化のアルゴリズムを説明する前に、普遍的な一般化の形式と、それに応じて、普遍的なアプローチを含めるべきものとその理由を把握してみましょう。

概念の一般化に対する哲学的および意味論的アプローチ

哲学はセマンティック構造を扱います。 簡単に言えば、自然言語のフレーズでステートメントを表現し、書き留めます。 一般化に対する哲学的および意味論的アプローチは次のとおりです。 特定の種の特性によって概念が統一されているので、種の特性のない、より広いが特定性の低い解釈を可能にする新しい概念に移る必要があります。



たとえば、「腕時計」の概念があります。これは「ストラップまたはブレスレットで手に取り付けられた時間インジケーター」と説明されています。 「手に固定された...」という種の属性を取り除くと、時間を定義するツールのように、「時計」という一般的な概念が得られます。



ウォッチの例では、ウォッチの名前に一般化のヒントが含まれていました。 余分な単語を破棄するだけで十分で、目的の概念が得られました。 しかし、これは規則性ではなく、一般化の結果がすでにわかっているときに「反対から」構築されたセマンティクスの結果です。

純粋な一般化のタスク

フランクローゼンブラットの定式化において、純粋な一般化のタスクは次のとおりです。「「純粋な一般化」の実験では、脳またはパーセプトロンのモデルは、選択的反応から1つの刺激（たとえば、網膜の左側にある正方形）を活性化しない同様の刺激に切り替える必要があります同じ感覚結末（網膜の右側の正方形）ではない」（Rosenblatt、1962）。



「純粋な」一般化の強調は、「手がかり」の欠如を意味します。 以前に網膜のすべての可能な位置に正方形が表示され、これをすべて記憶する機会が与えられていた場合、cadの認識は簡単になります。 しかし、条件によっては、広場は1か所で表示されたため、まったく別の場所で見つける必要があります。 畳み込みネットワークは、元々網膜全体にわたってあらゆる図形を「ドラッグ」するためのルールを定めていたという事実により、この問題を解決します。 画像を「移動」する方法を知っているため、1か所で見られる正方形を網膜上のすべての可能な位置に「試着」することができます。









画像のさまざまな位置で文字「T」の形式のパターンを検索する（福島K.、2013）



このモデルでは、コンテキスト空間を作成することで同じ問題を解決します。 たたみ込みネットワークとの違いは、誰が誰に行くかです-「山への山」または「山への山」。 たたみ込みネットワークでは、新しい画像を分析する場合、既知の各画像は、考えられるすべての位置で変化し、分析された画像を「試行」します。 コンテキストモデルでは、各コンテキストが分析された画像をそのルールで規定されているとおりに変換（混合、回転、スケーリング）し、「シフトされた」画像が「固定された」既知の画像と比較されます。 これは、一見したところ、小さな違いが、その後のアプローチとその機能の非常に大きな違いをもたらします。



純粋な一般化の問題に関連するのは、不変表現の問題です。 私たちの前にさまざまな形で現れる現象があるため、それらの表現を不変に記述して、その現象のいずれかの現象を認識する必要があります。

分類タスク

多くのオブジェクトがあります。 定義済みのクラスがあります。 トレーニングサンプルがあります-どのクラスに属するかがわかっているオブジェクトのセットです。 元のセットのオブジェクトをクラスの1つに合理的に割り当てるアルゴリズムを構築する必要があります。 数学的統計では、分類問題は判別分析問題として分類されます。



機械学習では、分類のタスクは教師による学習のタスクと見なされます。 既知のトレーニングサンプルがあります。入力での刺激は出力での反応につながります。 反応はランダムではなく、一定の規則性によって決定されると想定されています。 このパターンを最も正確に再現するアルゴリズムを構築する必要があります。



分類問題を解決するためのアルゴリズムは、入力データの性質と取得したクラスのタイプに依存します。 前のパートでは、ニューラルネットワークで分類問題がどのように解決されるか、モデルで教師とのトレーニングがどのように発生するかについて説明しました。

クラスタリングタスク

多くのオブジェクトがあり、距離行列によって与えられるオブジェクト間の類似度を知っているとします。 このセットをクラスターと呼ばれるサブセットに分割し、各クラスターが同様のオブジェクトを結合し、異なるクラスターのオブジェクトが互いに非常に異なるようにする必要があります。 距離行列の代わりに、これらのオブジェクトの説明を与えることができ、これらの説明からオブジェクト間の距離を検索する方法が示されます。



機械学習では、 クラスタリングは教師なしの学習に該当します。



クラスタリングは非常に魅力的な手順です。 多くのオブジェクトを比較的少数のクラスに分割し、その後、初期の、場合によってはかさばる説明ではなく、クラスによる説明を使用すると便利です。 パーティション分割中に、解決する問題にとって重要な機能が事前にわかっている場合、クラスタリングはこれらの機能に「焦点を合わせ」、その後の意思決定に便利なクラスを取得できます。



ただし、一般的な場合、フィーチャの重要性の質問に対する答えは、クラスタリング問題の範囲外です。 強化学習と呼ばれる後続のトレーニングは、それ自体、学生の行動がどの程度成功したかどうかの分析に基づいて、重要な属性とそうでない属性を判断する必要があります。 この場合、「最も成功した」兆候は、元の説明からの兆候ではなく、すでに一般化されたクラスが兆候として扱われている可能性があります。 しかし、兆候の重要性を判断するには、これらの兆候が強化されたトレーニングの時点ですでに説明に存在している必要があります。 つまり、どの兆候が重要であることが判明するかは事前にはわからないことがわかりますが、これはこれらの兆候をすでに持っていることによってのみ理解できます。



つまり、元の説明のどの機能を使用し、クラスタリングを実行するときに無視するかによって、異なるクラスシステムが取得されます。 それらのいくつかは、その後の目的により有用であり、他の目的にはあまり役立ちません。 一般的なケースでは、特定の問題を解決するのにどれが最も成功するかを理解するために、可能なすべてのクラスタリングオプションを並べ替えることが良いことがわかります。 さらに、別の問題を解決するために、まったく異なるクラスタリングシステムが成功する場合があります。



クラスタリング時に何に重点を置くかを決定しても、最適な粒度の問題は残ります。 実際には、一般的な場合、オブジェクトの初期セットを分割するのに必要なクラスの数に関する先験的な情報はありません。



クラスの数を知る代わりに、作成されたクラスにすべてのオブジェクトがどれだけ正確に対応する必要があるかを示す基準を使用できます。 この場合、特定の初期数のクラスでクラスタリングを開始し、クラスが十分に適合しないオブジェクトが残っている場合、新しいクラスを追加できます。 ただし、追加の手順では、詳細の最適性の問題は削除されません。 オブジェクトとクラスの対応に低いしきい値を設定すると、基本的な法則を反映した大きなクラスが取得されます。 高いしきい値を選択すると、少数のオブジェクトで多くのクラスが得られます。 これらのクラスでは小さな詳細が考慮されますが、木の後ろには森が見えません。

因子分析

すべてのオブジェクトに機能の説明が備わっている多くのオブジェクトがあるとします。 そのような記述は、対応するベクトルで記述できます。 さらに、兆候が本質的に定量的であると仮定します。



説明を中央に配置すると便利です。つまり、各特性の平均を計算し、符号をその平均値に調整します。 これは、原点を「重心」に移動することに相当します。 記号間の相関を計算できます。 特徴の相関行列を書き留めて、独自のベクトルを見つけた場合、これらのベクトルはオブジェクトの元のセットを記述することができる新しい直交基底になります。



初期の特徴に基づいて、それらの可能性のある相関関係により、キャラクター間で線形パターンが「不鮮明」になりました。 直交基底に移行すると、法の内部構造がより明確になり始めます。 直交基底は回転まで決定されるため、軸の方向がデータが最大の散乱を持つ方向に最適な方法で対応するように、固有ベクトルの基底を回転させることができます。



固有ベクトルに対応する固有値は、総分散の何パーセントがどの固有ベクトルに該当するかを示します。 分散の最も重要な割合を占める固有ベクトルは、主成分と呼ばれます。 多くの場合、初期機能の説明から主要コンポーネントの説明に移動すると便利です。



主成分は初期セットの最も重要な線形法則を反映しているため、初期データの特定の一般化と呼ぶことができます。



因子分析の顕著な特性は、因子が元の特徴に似ているだけでなく、観察不可能な新しいエンティティであることが判明することです。



クラスを通じて得られる一般化とファクターを通じて得られる一般化を比較すると、条件付きでクラスが「領域」とファクター「方向」を区別すると言うことができます。



多くの場合、オブジェクトをクラスとして分類するには、オブジェクトがクラスの中心に近接しているのではなく、オブジェクトがクラスに固有の分布パラメーターに対応しているように見えます（たとえば、 EMアルゴリズムはこれに基づいて構築されます）。 つまり、都市の郊外に刑務所がある場合、あなたが刑務所の隣に会う人は、おそらく囚人ではなく、都市の住人です。 「領域」はこの観察に照らして理解されるべきです。



以下は、クラスと因子の一般化をおおよそ相関させることができる図です。









アメリカンフットボールリーグ（NFL）の選手の身長と体重の分布のチャート。 トッププレイヤーの防御、ボトムプレイヤーの攻撃。 色はプレイヤーの位置を示します（Dr. Craig M. Booth）。



多くのプレーヤーはすべて、フィールドでの役割に応じてクラスに分類できます。 「重量-身長」パラメータに従って、グローバルな要因（図示せず）または各クラスの要因を区別できます。



色付きの線は、各クラスの最初の主要な要因に対応しています。 この要因は、「プレーヤーのサイズ」として解釈できます。 これは、この軸上のプレーヤーのポイントの投影として定義されます。 投影値は、「理想的でない」プレーヤーを破棄する値を提供します。 2番目の直交軸が1番目の軸に引かれると、2番目の要素である「体型」、言い換えれば、細い選手または太った選手を表します。



要因のすべての美しさと便利さのために、それらには困難があります。 クラスと同じように、問題は常に強調表示して使用する価値のある要素の数と数です。 もちろん、最初のいくつかの主要なコンポーネントがほとんどすべての情報を運ぶ場合は便利ですが、実際にはこれはめったに起こりません。 たとえば、最も人気のある10,000の映画、数百万人を取り上げ、視聴した映画の評価を分析します。 映画の相関行列を作成するのは簡単です。 2つの映画の間に正の相関があることは、1つの映画を平均より高く評価する人が、他の映画を平均より高く評価する可能性が高いことを示唆しています。



相関行列の因子分析を実行し、因子の便利な解釈のために軸を回転させます。 最初の5〜6つの要因が重要な役割を果たすことがわかります。 それらは最も一般的なパターンに対応しています。 もちろん、これらは映画のジャンルです。「アクション映画」、「コメディ」、「メロディー」。 さらに、「ロシア映画」（ロシア出身の場合）と「作家の映画」という要素が際立っています。 以下の要因も解釈できますが、分散の説明への貢献はますます少なくなります。



最初の5つの最も重要な要因は、分散全体の約30％を占めます。 分散が標準偏差の二乗であることを考えると、これはそれほどではありません。 したがって、主な要因は、推定値の全体的なばらつきのわずか17％を占めています。 他の要因を見ると、それらの多くは全分散の10分の1または100分の1パーセントしか説明しておらず、重要ではないようです。



しかし、原則として、各小さな要素は特定の局所的な規則性に対応します。 1人の監督、1人の脚本家、または1人の俳優の映画を組み合わせています。 特定の映画について何かを理解したい場合、主な要因が30％の分散を説明し、同時に40-50％の分散が総質量にとって重要ではないがそのために非常に重要な1つまたは2つの小さな要因を説明することがわかります映画。



「悪魔は細部に宿っています」と言うのが習慣です。 これは、無視できる要素が事実上ないという事実を正確に指します。 どんな小さなことでも、特定の状況では決定的になります。

コンセプトの形成

一般化の結果は、次の説明が構築される概念の形成になります。 人が特定の概念を識別するための基本原則については、 さまざまな意見があります。 実際、このリストのすべてのポイントはこれに直接関連しています。

理想化タスク

一般化の過程で、いくつかの兆候によって、以前に遭遇した多くの現象を組み合わせる概念が得られます。 これらの現象で一般的なものを強調すると、個々の現象の個々の詳細から自由に、特定の理想的な概念の特性を説明できるという事実につながります。



数学の根底にあるのは理想的な概念です。 点、直線、平面、数、多数は、私たちの日常の経験からのオブジェクトの理想化です。 数学では、これらの概念に公式のルールシステムを導入します。これにより、ステートメントを構築し、これらのステートメントを変換し、真実を証明または反証することができます。 しかし、数学自体にとって基本的な概念が主要なものである場合、人にとってはそれらの使用経験に関連付けられています。 これにより、数学者はエビデンスを網羅的に検索するのではなく、理想的な概念の背後にある経験に基づいて、より焦点を絞った検索を実行できます。

論理帰納

論理帰納法では、多くの特別な場合に一般法則を取得します。



誘導全体を共有する：



セットAは、要素A ₁ 、 A ₂ 、 A ₃ 、...、 A _{nで構成され}ます。

• ₁にはサインインがあります
  
  
• A ₂にはサインインがあります
  
  
• A ₃からA _nまでのすべての要素には、特性Inもあります。

したがって、セットAのすべての要素には特性Bがあります。



そして不完全な誘導：



セットAは、要素A ₁ 、 A ₂ 、 A ₃ 、...、 A _{nで構成され}ます。

• ₁にはサインインがあります
  
  
• A ₂にはサインインがあります
  
  
• A ₃からA _kまでのすべての要素にも特性Bがあります。

したがって、おそらく、 A _{k + 1}およびセットAの他の要素には特性Bがあります。



不完全な帰納法は確率を扱っており、誤っているかもしれません（ 帰納法問題 ）。



帰納は、2つの点で一般化と関連しています。 まず、オブジェクトのセットに関しては、以前はこれらのオブジェクトを単一のセットに結合するための基礎として機能していたことが理解されています。 つまり、予備的な一般化を可能にするいくつかのメカニズムが見つかりました。



第二に、特定の概念を記述する特定のグループの要素の特性である特定の特性を誘導によって発見した場合、この特性を使用して、このグループへの参照を行うことができます。



たとえば、特徴的なダイヤルと針を備えた機械装置があることがわかりました。 外部の類似点により、一般化を行い、それらを時計のクラスに割り当て、対応するコンセプトを形成します。



さらに、時計が時刻を決定できることがわかります。 これにより、不完全な誘導を行うことができます。 すべての時計の特性は時間を決定する能力であると結論付けています。



これで、一般化の次のステップに進むことができます。 すべてが「時計」に起因していると言えるので、時間を追跡できます。 今、私たちは何時間も太陽を呼ぶことができます。それは日を測定し、学校の鐘がレッスンを数えます。



論理帰納法には、概念の意味論的一般化と多くの共通点があります。 ただし、セマンティックの一般化では、強調が少し異なります。 セマンティックアプローチは、概念の説明を構成する機能、およびより一般的な定式化を得るためにそれらの一部を削除する可能性について述べています。 同時に、問題は未解決のままです-概念のそのような定義がどこから来れば、「拒絶を通して」一般化への移行を可能にするでしょうか。 不完全な論理的帰納は、そのような記述的特徴の形成方法を示しているだけです。

離散化問題

連続量を扱う場合、それらを離散値で記述することがしばしば必要になります。 連続量ごとに、量子化ステップの選択は、保持する必要がある記述の精度によって決まります。 結果の破砕間隔は、連続値の異なる値を組み合わせて、特定の個別の概念に一致します。 このような手順は、値の結合が量子化間隔に入ることに基づいて発生するという事実による一般化に帰することができます。これは、特定の一般性を示します。

概念の相関

可能な方法のいずれかで一般化することにより、概念体系を通じて一般化の結果を提示できます。 同時に、一般化された概念は、互いに独立した要素のセットを形成するだけでなく、関係の内部構造を獲得します。



たとえば、クラスタリングの結果として得られたクラスは、いくつかのクラスが互いに近く、さらに遠くなる特定の空間構造を形成します。



ファクターを通じて何かの説明を使用する場合、一連のファクターの重みが使用されます。 因子の重みは実際の値を取ります。 これらの値は、一連の個別の概念によって近似できます。 同時に、これらの個別の概念は、「多かれ少なかれ」関係システムによって特徴付けられます。



したがって、一般化を区別するだけでなく、これらの一般化が他のすべての一般化にどのように関係するかが明確になるシステムの形成にも関心があります。



自然言語の分析でも同様の状況が発生します。 言語の単語には特定の関係があります。 これらの結合の性質は異なる場合があります。 私たちは、実際のテキストでの単語の共同出現の頻度について話すことができます。 それらの意味の類似性について話すことができます。 より一般的なコンテンツへの移行に基づいて関係のシステムを構築することが可能です。 同様の構造は、さまざまな種類のセマンティックネットワークにつながります。









セマンティックネットワークの例（著者：Znanibus-自分の作品、CC BY-SA 3.0、 commons.wikimedia.org / w / index.php？curid = 11912245 ）



問題の正しい定式化には、正解の4分の3が含まれると言われています。 これは一般化問題にも当てはまる可能性が非常に高いです。 汎化の結果、何を見たいですか？ 安定したクラス？ しかし、これらのクラスの境界はどこにありますか？ 要因？ どれくらい？ パターン？ まれではあるが強い偶然の一致またはあいまいであるが、多数の依存関係の例によってサポートされていますか？ データを蓄積して一般化した場合、特定の状況を説明するのに最適な多くの可能な概念からどのように選択するのですか？ どんな一般化がありますか？ 汎化を相関させるシステムはどのようなものですか？



次に、問題の「正しい」ステートメントと、可能なコードをバックアップして考えられる答えを提供しようとします。 しかし、これは記事を通して行われます。 それまでの間、次のパートでは、一般化のメカニズムを理解するための主な鍵となる、非常に重要な生物学的ヒントを1つ知る必要があります。



アレクセイ・レドズボフ

意識の論理。 パート1.セルオートマトンの波

意識の論理。 パート2.樹状波

意識の論理。 パート3.セルオートマトンのホログラフィックメモリ

意識の論理。 パート4。脳記憶の秘密

意識の論理。 パート5.情報分析へのセマンティックアプローチ

意識の論理。 パート6.意味を計算するためのスペースとしての皮質

意識の論理。 パート7.コンテキスト空間の自己組織化

意識の論理。 「指で」説明

意識の論理。 パート8.大脳皮質の空間マップ

意識の論理。 パート9.人工ニューラルネットワークと実際の皮質のミニコラム

意識の論理。 パート10.一般化のタスク

意識の論理。 パート11.視覚および音声情報の自然なコーディング

意識の論理。 パート12.パターンを検索します。 組み合わせ空間