シナプス集団は、ニューラルネットワークの構造単位です。

昨年5月、GoogleのDeep Learning Laboratoryのスタッフとアメリカの2つの大学の科学者が、ニューラルネットワークの興味深い特性という研究を発表しました。 彼についての記事はここハブレで自由に転載され 、研究自体もABBYYの専門家によって批判されました。



Googleチームは、研究の結果、入力データの兆候を解明するネットワークニューロンの能力に幻滅し、ニューラルネットワークは個々の構造要素の意味的に重要な兆候を解明せず、それらをホログラムとしてネットワーク全体に保存すると考え始めました。 この記事のイラストの下部に白黒で、私は絵を描くことを教えたネットワークの29番目、31番目、33番目のニューロンの活性化カードを提示しました。 たとえば29番目のニューロンによって描かれた頭と翼のない鳥の死体は、人々にとって意味的に重要な兆候であるように見えるという事実は、Googleの人々はそれを観察者の解釈の単なる誤りであると考えています。



記事では、実際の例を使って、もつれのない兆候が人工ニューラルネットワークでも検出できることを示します。 Googleの人々が見たものを見たのに、もつれのない兆候を見ることができなかった理由を説明しようと思います。意味的に重要な兆候がネットワークのどこに隠れているかを示します。 この記事は、今年1月に開催された会議「 Neuroinformatics-2015 」で読まれたレポートの人気版です。 論文の科学版は会議の議事録で読むことができます。



この問題は、関心のある人と専門家の間で活発に議論されています。 永続的な批判の証拠は、どちらの側でもこれまでのところまだ生成できていません。



人間の実験で脳に埋め込まれた電極を使用する実験者が、いわゆる「ジェニファーアニストンニューロン」-女優の画像にのみ応答するニューロンを検出することができたという事実にもかかわらず。 ルーク・スカイウォーカーのニューロンとエリザベス・テイラーのニューロンの両方を捕まえることができました。 ラットやコウモリの「 座標ニューロン 」、「 配置ニューロン 」、「 境界 ニューロン 」の発見により、多くの人は最終的に「そのような性質のニューロン」と言うことに慣れます。 ニューロンの発見者であるジェニファー・アニストンは、責任を持ってデータを解釈しているが、ニューロンの個々の特性ではなく、ニューロンの大きな集団の一部を見つけたと言う可能性が高い。 彼女のニューロンはそれに関連付けられた概念（たとえば、フレーム内にないシリーズのシーン）に反応し、人間で見つかったルークスカイウォーカーはマスターヨーダでも働いていました。 ある研究ですべての人を完全に混乱させるために、ヘビに選択的に反応するニューロンが、自分の人生でヘビを見たことがないサルで発見されました。



一般に、1967-69年に神経生理学者によって提起された「 祖母のニューロン 」のテーマは、今日までかなりの不安を引き起こしています。

パート1：データ

ほとんどの場合、分類にはニューラルネットワークが使用されます。 入り口で、彼女は多くの入力ノイズ画像を受け取り、出口で、少数の標識に従ってそれらを正常に分類する必要があります。 たとえば、写真に猫がいるかどうか。 この典型的なタスクは、いくつかの理由で入力データ内の意味のある兆候をネットワーク内で検索するには不便です。 そしてそれらの最初のものは、セマンティック属性と何らかの内部要素の状態との関係を厳密に観察する方法がないということです。 グーグルや他のいくつかの研究の記事では、トリッキーなトリックが使用されました-最初に、選択されたニューロンを可能な限り興奮させる入力データが計算され、次に研究者はこれらのデータを注意深く調べて、それらの意味を見つけようとしました。 しかし、人間の脳は、存在しない場合でも巧みに意味を見つけることができることを知っています。 脳は長い間この方向に進化しており、ロールシャッハテストで紙にインクのしみ以外のものが見えるという事実により、多くの要素を含む写真で意味を見つける方法について慎重になります。 私の写真に含む。



一般にニューロンの通常の動作モードは最大励起ではない可能性があるため、この研究および他の多くの研究で使用される方法も悪いです。 たとえば、31番目のニューロンの活性化マップを示す中央の画像では、正しい入力データで最大値まで励起されていないことがわかります。実際、画像を見ると、ほとんどの場合、感覚が活性化されていない領域によって感知されているようです。 現実の何かを見るには、通常の動作モードから小さな近隣のネットワークの動作を調査することが役立つ場合があります。



さらに、Googleの調査では非常に大規模なネットワークが調査されました。 たとえば、教師以外の学習ネットワークには、最大10億の変数パラメーターが含まれていました。 ネットワーク内にニューロンが存在する場合でも、大きな黒い文字の「存在」という単語に偶然に出くわすことは非常に困難です。



したがって、完全に異なるタスクで実験します。 まず、実験者が写真を撮ります。 ネットワークには2つの入力のみがあり、2つの実数が座標XとYに提供されます。3つの出力R、GおよびBでは、これらの座標の画像内のポイントの色の予測が期待されます。 すべての値はセグメントに正規化されます（-1; 1）。 合計で画像のすべてのポイントの二乗平均誤差は、描画トレーニングの成功の基準になります（一部の写真では、RMSEの左下隅に書き込まれます）。

この記事では、シグモイドとしてのハイパータンジェントとシナプスのやや非標準的な配置を持つ37個のニューロンの非反復ネットワークを使用しています。 トレーニングには、アルゴリズムのミニバッチバージョンと、エネルギー制限アルゴリズムの遠い相対的な追加アルゴリズムを使用して、エラー逆伝播法が使用されました。 一般的に、超自然的なものは何もありません。 より新しいアルゴリズムがありますが、それらのほとんどは、このような控えめなサイズのネットワークでより正確な結果を達成することができません。

ここで、ネットワークが予測するとおりに画像をピクセルで塗りつぶします。 これにより、美しいもののニューラルネットワーク表現のマップが作成され、記事の冒頭で注意を引くための写真として使用されます。 左側には空飛ぶ孔雀の元の写真があり、右側にはニューラルネットワークがそれをどのように想像したかが示されています。



最初の重要な結論は、写真を一目で見ることができます。 画像の兆候がニューロンによって記述されることを期待することはあまり意味がありません。 写真にあるのは、ニューロンよりも単純に画像の要素が多いためだけです。 つまり、ニューロンの兆候を探しているほとんどの研究の著者はそこを見ていません。

パート2：少しのリバースエンジニアリング

トレーニングなしでニューロンから分類器を構築するタスクに直面したことを想像してください。これは、入力ポイントの位置（ポイント（0,0）を通過する線の上または下）を決定します。 この問題を解決するには、1つのニューロンで十分です。 シナプスの重みは、線の勾配として相関し、異なる符号を持ちます。 出口での可能性の兆候は私たちに答えを与えるでしょう。



パズルがかなり複雑になりました。 2つの量を同じ方法で比較しますが、入力値は2進数の形式になります。 たとえば、4ビット。 ところで、すべての学習アルゴリズムがそのようなタスクに対処するわけではありません。 ただし、分析的な答えも明らかです。 同じ1つのニューロンを管理します。 最初の値をとる最初の4つのシナプスでは、重みは8：4：2：1、2番目では-同じですが、-k回異なります。 この問題の解決策を2つの別々のニューロンに広げることは、ネットワークの別の部分のどこかにバイナリコードから変換された入力値が必要でない限り、問題の解決策を複雑にすることを意味します。 そして何が起こるか：一方でニューロンは1つですが、一方で、入力データの異なるプロパティの処理を表す2つの完全に独立したシナプスの集合体を明らかにします。 これから最初の結論が得られます。

• ニューロンではなく、ニューラルネットワークのプロパティの表示には、シナプスのグループが関与する可能性があります。
• あるニューロンでは、いくつかの機能の組み合わせがよく見られます。

3番目の思考実験をしましょう。 入力が1つだけで、ニューロンが1つの値の範囲でのみオンになる必要があるとします。 このような問題は、単調な活性化機能を持つ単一のニューロンでは解決できません。 3つのニューロンが必要です。 最初のものは最初の境界でアクティブになり、出力ニューロンをアクティブにし、2番目のものはより大きな入力値でアクティブになり、2番目の境界で出力ニューロンを遅くします。



この思考実験は、新しい重要な発見を教えてくれます。

• シナプスのアンサンブルは、いくつかのニューロンをキャプチャできます。
• システムに特定の境界線を異なる強度で異なる時間に変更するシナプスが複数ある場合、両方を含むシナプスのアンサンブルを使用して、新しい「境界線間のギャップ」プロパティを制御できます。

最後に、最後の4番目の思考実験を行います。

2つの独立した重複しない領域で出力ニューロンをオンにする必要があるとします。 4つのニューロンを使用して問題を解決できます。 最初のニューロンがアクティブになり、出力がアクティブになります。 2番目のニューロンは部分的にアクティブ化され、出力ニューロンを抑制します。 この時点で、3番目がアクティブになり、出力ニューロンが再びアクティブになります。 最後に、2番目のニューロンは最大の活性化を獲得し、シナプスの重みが大きいため、出力ニューロンを再び抑制します。 その後、最初の境界はほぼ完全に最初のニューロンに依存し、4番目の境界は最初の層の最後のニューロンに依存します。 ただし、2番目と3番目の境界線の位置は、他の境界線に影響を与えることなく変更できますが、このためにいくつかのシナプスの重みを協調して変更する必要があります。 この思考実験は、さらにいくつかの原則を教えてくれました。



このタイプのネットワーク内の各シナプスは、信号全体の処理に影響を与えるという事実にもかかわらず、それらの一部のみが個々のプロパティに強く影響し、それらの表示と変更を保証します。 ほとんどのシナプスの影響は、それほど強力ではありません。 このような「弱い」シナプスを変更してプロパティに影響を与えようとすると、管理に大きく関与しているプロパティは、選択した属性の変更に気付くよりもはるかに早く許容できないほど変更されます。

• 一部のシナプスは、個々の特性を変更できる集団を構成します。 アンサンブルは、他のニューロンとシナプスの周囲環境のフレームワーク内でのみ機能します。 さらに、アンサンブルの仕事は、環境の小さな変化からほとんど独立しています。

これらは記述された特性によって特徴付けられるシナプスの集合体です。実際の例でそれらの存在の可能性を確認するためにネットワークを調べます。

パート3：シナプスアンサンブル

記事の最初の部分で設定したネットワークのサイズが小さいため、各シナプスの重みの変化がネットワークによって生成される画像にどのように影響するかを直接調べることができます。 厳密に言えば、最初のシナプス、番号0から始めましょう。このシナプスは、素晴らしい隔離状態で、鳥の死体を左側に傾ける役割を果たし、それ以外のことは何もしません。 この基準線の形成には、他のシナプスは関与しません。







この図は、シナプスの重量が-0.8から+0.3に非常に大きく変化していることを示しており、特に、生じた変化がより顕著になっています。 シナプスの重量がこのように大きく変化すると、他のプロパティが変化し始めます。 実際には、このシナプスの重量変化の動作範囲ははるかに小さくなっています。







このシナプスが導くニューロンの活性化マップを見ると、このニューロンの2番目のシナプスが、鳥のジオメトリ全体が構築される最初の基準線の傾きを何らかの形で制御していると思うかもしれませんが、そうではありません。 2番目のシナプスの重量が変化すると、別のプロパティ（鳥の体の幅）が変化します。







ここで、プロパティに対する近接したシナプスの効果は、多くの場合、個別のプロパティとして解釈できることに注意してください。 ただし、一般的な場合、これは正しくありません。 たとえば、418番目のシナプスによって引き起こされる変化のマップを見てください。これは、画像の緑のバランスを制御するアンサンブルの一部です。







0番目と418番目のシナプスに基づいてネットワークを移動しようとすると、鳥が左に傾いて緑が少なくなりますが、これを1つのプロパティと見なすことはほとんど不可能です。 Googleの記事で、Googleは、ネットワークの1つの構造要素を可能な限り興奮させる自然な基礎は、いくつかの要素のこのようなベクトルの線形結合から収集された基礎よりも悪くないことを主張しました。 しかし、これは、最大の変化が生じるシナプスが近いシナプスアンサンブルに含まれる場合にのみ当てはまることがわかります。 しかし、シナプスが非常に異なる特性を調節している場合、混合しても混乱することはありません。







次に、画像のごく一部に影響を与える、より複雑なプロパティを検討します。 たとえば、クジャクの尾が短い羽のある翼の下の領域のサイズと形状。 これらの領域に直接影響するすべてのニューロン（たとえば、それらの左側）を記述します。つまり、それらは、一般的なジオメトリではなく、鳥の個々の部分を変更する責任があります。 アンサンブルにはシナプス21.22、23、24、25、26、27が含まれていることがわかります。







たとえば、23番目と24番目のシナプスでは、選択した領域が増加し、反対の方法で翼の長さに影響します。 したがって、それらを同時に変更すると、翼の下の領域を変更でき、翼の長さにほとんど影響を与えません。 提案した4番目の思考実験のように。







これらのシナプスはすべて第6ニューロンにつながります。その活性化マップを見ると、穏やかに言えば、このプロパティの制御に関与していることは明らかではありません。 これは、この記事で提案されている視覚化方法の有効性を支持しています。







他の領域と一緒にこの領域のサイズと形状に影響するシナプスを見ると、さらに数ダースの37-46（8番目のニューロン）、70-83（11番目と12番目のニューロン）、90-94（12と13番目のニューロン）、129〜138（16番目のニューロン）、さらにいくつか、たとえば178番目（19番目のニューロン）。 合計で、ネットワーク上で利用可能な460から最大46のシナプスがアンサンブルに関与しています。 同時に、残りのシナプスは画像全体をほぼ曲げることができますが、選択した領域は、たとえ強く引っ張っても、28番目のようにほとんど影響を受けません。







それで、私たちは何を見ますか？ 選択したプロパティを管理するシナプスのアンサンブル。 必要に応じて、ネットワークは、アンサンブル内のシナプスの重みの調整された変化または他のアンサンブルの関与により、他のプロパティへの影響を補正します。 シナプスアンサンブルは少なくとも7つのニューロンを使用します。これはネットワーク内のすべてのニューロンの5分の1であり、他の多くのアンサンブルでも使用されます。



同様に、領域の色や羽の形に影響を与えるシナプスを詳細に調べることができます。 画像に存在する他の多くの兆候。

パート4：結果の分析

意味的に重要な属性をエンコードするネットワーク要素がネットワーク上に存在する場合がありますが、これらはニューロンではなく、異なるサイズのシナプスの集合体です。



ほとんどのニューロンは、一度に複数のアンサンブルに関与しています。 したがって、個々のニューロンの活性化パラメーターを調べると、これらのアンサンブルの影響の組み合わせがわかります。 これは、一方ではニューロンの役割を決定することを非常に難しくし、他方では、研究者は文字通り意味のあるものではないにしてもほとんどを見つけ、意味の明らかな兆候を含みます。



もちろん、最初に述べたググロフツェフ研究では、ネットワークの構造単位が意味的に重要な属性をエンコードしていないと直接述べていませんでした。 存在しないことを証明することは非常に困難です。 代わりに、1つのランダムニューロンをアクティブ化するデータと、同じレイヤー内のランダムに選択されたいくつかのニューロンの線形結合をアクティブ化するデータを比較しました。 彼らは、そのようなデータの見かけ上の有意性の程度は変わらないことを示し、これを特定の機能がエンコードされていないことの指標として解釈しました。



しかし、今記事の資料を見ると、いくつかの近いニューロンの線形結合のような単一のニューロンは、シナプスのいくつかの集団のデータに対する応答を示していることを理解しており、実際、それらは情報内容において基本的に異ならない。 つまり、この研究で行われた観察は正しいものであり、最も一般的な言葉で与えられた解釈だけが疑わしいと予想されます。



また、ネットワークの構造要素の意味的に重要な機能を強調するというトピックに関するさまざまな作業が非常に多くの異なる結果をもたらした理由も明らかになります。



結論として、私が始めた場所について非常に簡単に言いたいと思います。 とても雄弁に見えるネットワーク内の最後のニューロンの活性化マップ上。 ニューラルネットワークは、個々のセクションを効果的に近似する関数の合計の形で、必要な関数にアプローチできます。 しかし、ネットワークが正常に学習するデータが多いほど、個々の属性をエンコードするために構造要素を割り当てることができなくなります。 彼女は定性的な一般化を求めて適用することを余儀なくされます。 10億のカスタムパラメータを使用して単純な分類を実行する必要がある場合、各パラメータは、1つの小さな領域のみで、他の何百もの領域のみでプロパティを管理する可能性が高くなります。 しかし、ネットワークが100個の重要なプロパティがある画像を学習することを余儀なくされ、彼女が自由に使えるのは4ダースのニューロンしかない場合、彼女はそれを行うことができないか、意味的に重要な文字を別々の構造単位に割り当てて、それらを検出しやすくします。 ネットワークの出力ニューロンはそれほど多くないニューロンに関連付けられており、非常に多くの重要な要素を含む画像を形成するために、ネットワークは最後から2番目のニューロンでシナプスのいくつかの集合の結果を収集する必要がありました。 ニューロン29、31、33は幸運であり、認識しやすい幾何学的データを収集したため、すぐに注意を引きました。 ニューロン27、28、または32はあまり幸運ではなく、写真内のカラースポットの位置に関する情報を収集し、ニューラルネットワーク自体のみがこの不協和音を理解できました。