ニューラルネットワークに関する最も重要なこと。 Yandexでの講義

ニューラルネットワークに関する投稿がHabréに表示されないように、1日は経過していないようです。 機械学習を大企業だけでなく、プログラミングの方法を知っている人もアクセスできるようにしました。 誰もがニューラルネットワークについてすべてを知っているように見えるという事実にもかかわらず、私たちは、強力な数学的背景を持つ高校生向けに設計されたSmall ShADの一部として行われたレビューレクチャーを共有することにしました。



同僚のコンスタンチン・ラーマンが語った資料は、ニューラルネットワークの開発の歴史、その主要な特徴、機械学習で使用される他のモデルとの根本的な違いをまとめたものです。 また、ニューラルネットワークテクノロジーの使用の具体例とその直接的な展望についても説明します。 この講義は、ニューラルネットワークに関する最も重要な最新の知識をすべて頭の中で体系化したい人に役立ちます。







コンスタンチン・クラフマンラクマンはモスクワ工学物理研究所を卒業し、研究センター「クルチャトフ研究所」の神経科学部門で研究者として働いていました。 Yandexでは、コンピュータービジョンで使用されるニューラルネットワークテクノロジーに従事しています。



カットの下-スライド付きの詳細なトランスクリプト。

ニューラルネットワーク

みなさんこんにちは。 私の名前はKostya Lahmanで、今日の講義のトピックは「ニューラルネットワーク」です。 私はYandexでニューラルネットワークテクノロジーのグループで働いており、ニューラルネットワークを使用した機械学習に基づいてあらゆる種類のクールなものを開発しています。 ニューラルネットワーク-これは機械学習の方法の1つであり、現在ではデータ分析の分野の専門家や数学者だけでなく、この職業とはまったく関係のない一般の人々にも非常に注目されています。 これは、ニューラルネットワークに基づくソリューションが、音声認識、テキスト分析、画像分析など、人間の知識のさまざまな分野で最良の結果を示すという事実によるものです。これについては、この講義で説明します。 おそらく、このオーディエンスの全員と私たちの話を聞いている人は、トレーニングのレベルが少し異なることを理解しています-誰かがもう少し知っている、誰かが少し少ないニューラルネットワークについて？ これは聴衆の非常に堅実な部分です。 何も聞いたことのない人や、まだ何かを読んでいる人にとって興味深いものにしようと思います。なぜなら、私が話す研究のほとんどは、今年または前年の研究だからです。すべてが起こり、文字通り半年が経過し、半年前に公開された記事はすでに少し古くなっています。





始めましょう。 機械学習のタスクが一般的にどのようなものであるかをすぐに説明します。 多くの人がこれを知っていると確信していますが、先に進むには、皆さんに理解していただきたいと思います。 最もわかりやすく単純な分類問題の例について。



いくつかのU-現実世界の多くのオブジェクトがあり、これらのオブジェクトのそれぞれに、これらのオブジェクトのいくつかの兆候があると仮定します。 また、これらのオブジェクトのそれぞれには、オブジェクトの兆候を持ち、予測できるようなクラスがあります。 画像の例を使用してこの状況を見てみましょう。



オブジェクトは、私たちが興味を持ちそうな世界のすべての画像です。



画像の最も単純な兆候はピクセルです。 人類がパターン認識に携わってきた過去半世紀にわたって、はるかに複雑な画像の兆候が発明されましたが、これらは最も単純なものです。



そして、各画像の属性にできるクラスは、たとえば人（これはたとえばAlan Turingの写真です）、鳥、家などです。



この場合の機械学習のタスクは、オブジェクトの特徴のベクトルに従って、どのクラスに属するかを決定する決定的な関数を構築することです。 私の知る限り、あなたはコンスタンチン・ヴォロンツォフの講義を受けました。彼は私よりもはるかに深くこのことについて話していたので、私は一番上にいます。



ほとんどの場合、いわゆるトレーニングサンプルが必要です。 これは、このオブジェクトにそのようなクラスがあることが確実にわかっている一連の例です。 そして、このトレーニングサンプルに基づいて、この決定的な関数を構築できます。これにより、トレーニングセットのオブジェクトで可能な限りミスが少なくなり、トレーニングセットに含まれていないオブジェクトでも、質の高い分類が得られることが期待されます。



これを行うには、エラー関数を導入する必要があります。 ここで、Dはトレーニングセット、Fは決定的な関数です。 そして最も単純なケースでは、エラー関数は単に間違っている例の数です。 そして、最適な決定的機能を見つけるためには、理解する必要があります。 通常、あるパラメトリックセットから関数を選択します。つまり、ある種の関数です。たとえば、いくつかの係数を持つ方程式の多項式であり、何らかの方法でそれらを見つける必要があります。 そして、このエラー関数である損失関数を最小化するこの関数のパラメーターが目標です。つまり、これらのパラメーターを見つけたいのです。



これらのオプションを探すには多くの方法があります。 今は入りません。 方法の1つは、この関数の一例を取り上げ、それを正しくまたは誤って分類したかどうかを確認し、関数のパラメーターに関する導関数を取得することです。 ご存知のように、この導関数の逆の方向に進むと、この例ではエラーが減少します。 したがって、すべての例を見て、関数のパラメーターを調整することでエラーを減らします。



私が話したことは、すべての機械学習アルゴリズムに適用され、ニューラルネットワークにも同程度に適用されますが、ニューラルネットワークは常に他のすべてのアルゴリズムとは少し異なります。



現在、ニューラルネットワークに関心が寄せられていますが、これはあなたが考えることができる最も古い機械学習アルゴリズムの1つです。 最初の正式なニューロンであるニューラルネットワークセルが提案されました;その最初のバージョンは、1943年にWarren McCullochとWalter Pittsによって作成されました。 すでに1958年に、 フランクローゼンブラットは最初の最も単純なニューラルネットワークを提案しました。これにより、たとえば、2次元空間のオブジェクトをすでに分離できました。 そして、ニューラルネットワークは、半世紀以上にわたる浮き沈みを経験しています。 ニューラルネットワークへの関心は、最初の印象的な結果が得られた1950年代と1960年代に非常に大きかった。 その後、ニューラルネットワークは他の機械学習アルゴリズムに取って代わり、その時点でより強力であることが判明しました。 再び、関心は1990年代に再開し、その後再び低下しました。



そして今、過去5〜7年で、自然情報の分析に関連する多くのタスクで、私たちを取り巻くすべてが自然情報であり、これが言語であり、これがスピーチ、この画像、ビデオ、その他の非常に異なる情報であることが判明しました-ニューラルネットワークは他のアルゴリズムよりも優れています。 少なくとも今のところ。 おそらく、ルネッサンスは再び終わり、何かがそれらに取って代わるでしょうが、今ではほとんどの場合最高の結果を示しています。



何がこれにつながったのですか？ 機械学習のアルゴリズムとしてのニューラルネットワークは、訓練する必要があるという事実。 しかし、ほとんどのアルゴリズムとは異なり、ニューラルネットワークは、データの量、トレーニングサンプルの量、これらをトレーニングするために非常に重要です。 また、少量のデータでは、ネットワークはうまく機能しません。 それらは一般化が不十分であり、学習プロセスで見られなかった例についてはうまく機能しません。 しかし、過去15年間で、世界のデータの増加は指数関数的になり、現在ではそれほど大きな問題ではなくなりました。 たくさんのデータがあります。



2番目のそのような礎石、なぜ今ネットワークのルネッサンスがコンピューティングリソースであるか。 ニューラルネットワークは、最も重い機械学習アルゴリズムの1つです。 ニューラルネットワークをトレーニングし、さらには適用するためにも、膨大なコンピューティングリソースが必要です。 そして今、私たちはそのようなリソースを持っています。 そして、もちろん、新しいアルゴリズムが発明されました。 科学は静止しておらず、工学は静止していません。そして今、私たちはそのような構造を訓練する方法についてもっと理解しています。



正式なニューロンとは何ですか？ これは非常に単純な要素で、入力数に制限があり、重みがこれらの各入力に関連付けられており、ニューロンは単純に入力の重み付き加算を実行します。 入力は、たとえば、前に説明したのと同じ画像ピクセルにすることができます。 X ₁からX _nまでが画像のすべてのピクセルであると想像してください。 また、各ピクセルには何らかの種類の重みが付けられています。 彼はそれらを要約し、それらに対していくつかの非線形変換を実行します。 ただし、線形変換に触れなくても、そのようなニューロンの1つはかなり強力な分類器です。 このニューロンを置き換えて、それが単なる線形分類器であり、正式なニューロンがまさにそれであり、単なる線形分類器であると言うことができます。 たとえば、2次元空間に2つのクラスの点の特定のセットがあり、それらが符号X ₁およびX _2である場合、つまり、これらの重みV ₁およびV ₂を選択することにより、この空間に分離面を構築できます。 したがって、たとえば、この量がゼロより大きい場合、オブジェクトは最初のクラスに属します。 この合計がゼロより小さい場合、オブジェクトは2番目のクラスに属します。



そして、すべてがうまくいきますが、唯一のことは、この写真が非常に楽観的であるということです。 これは、トレーニングセットのすべてのオブジェクトを正しく分類する線を簡単に描画できることを意味します。 実際、これは常に発生するわけではなく、ほとんど発生しません。 したがって、実際の問題の大部分を解決するには1つのニューロンでは不十分です。



これは、各ニューロンがこの合計に対して実行する非線形変換です。たとえば、既知のように、たとえば単純な合計を実行し、たとえば、これが新しい機能Y ₁ （W ₁ x ₁ + W ₂ x ₂ = y ₁ ） 、その後、たとえば同じ記号を要約する別の2番目のニューロンがあります。これだけは、たとえばW ₁ 'x ₁ + W ₂ ' x ₂ =になります。 y ₂ 。 後でこれらの機能の空間で線形分類を再度適用する場合、2つの連続した線形分類を1つに簡単に置き換えることができるため、これは意味がありません。これは単に操作の線形性のプロパティです。 そして、これらの記号に対していくつかの非線形変換を実行すると、たとえば、最も単純な...以前は、このロジスティック関数などのより複雑な非線形変換を使用しましたが、ゼロと1に制限され、線形性のセクションがあることがわかります。 つまり、xの約0は、通常の線のように十分に線形に動作し、その後、非線形に動作します。 しかし、判明したように、この種の分類器を効果的に訓練するには、世界で最も単純な非線形性で十分です-正のセクションで直線であり、常に0である場合、直線です。負のセクションでは、これは最も単純な非線形性であり、効果的に分類を訓練するのに十分です。



ニューラルネットワークとは ニューラルネットワークは、このような変換のシーケンスです。 F ₁は、いわゆるニューラルネットワーク層です。 ニューラルネットワークレイヤーは、同じ機能で動作するニューロンの集まりです。 初期符号x ₁ 、x ₂ 、x _3があり 、3つのニューロンがあり、それぞれがこれらすべての符号に関連付けられていると想像してください。 しかし、各ニューロンには独自の重みがあり、その重みでそのような兆候を評価し、エラー関数を最適化する各ニューロンのそのような重みの選択でネットワークをトレーニングするタスクを実行します。 また、関数F ₁はそのようなニューロンの1つの層であり、関数を適用すると、新しい特徴空間が得られます。 次に、このような空間にもう1つのレイヤーを適用します。 異なる数のニューロン、変換関数として他の非線形性が存在する場合がありますが、これらは同じニューロンですが、そのような重みがあります。 したがって、これらの変換を順次適用すると、一般関数F-ニューラルネットワーク変換関数が得られます。これは、いくつかの関数の順次適用で構成されます。



ニューラルネットワークはどのようにトレーニングされますか？ 原則として、他の学習アルゴリズムと同様。 ネットワークの出力で取得される出力ベクトル（クラス、クラスラベルなど）があります。 これらの標識には、たとえば、そのようなオブジェクトが必要であるとわかっている参照出力があります。



そして、いくつかのデルタ、つまり出力ベクトルと参照ベクトルの差があり、さらにこのデルタに基づいて大きな式がありますが、その本質は、このデルタがF _nに依存することを理解すればネットワークの最後の層の出力から、このデルタの重みによる微分、つまり、トレーニングしたい要素による微分を取り、いわゆる連鎖規則を適用する場合、つまり、複素関数の微分がある場合、これは関数の微分の積ですパラメータに関する関数の積 このような簡単な方法で、すべてのスケールの導関数を見つけて、観測したエラーに応じて調整できることがわかります。 つまり、特定のトレーニング例にエラーがない場合、それに応じて導関数はゼロになります。これは、それを正しく分類し、何もする必要がないことを意味します。 トレーニング例のエラーが非常に大きい場合、エラーを減らすために何らかの方法で重みを変更する必要があります。

畳み込みネットワーク

今では、非常に表面的な数学が少しありました。 さらに、レポートの大部分は、Yandexを含む、世界中の多くの人々が現在行っているニューラルネットワークの助けを借りて行うことができるクールなことに専念します。



最初に実用的な利点を示した方法の1つは、いわゆる畳み込みニューラルネットワークです。 たたみ込みニューラルネットワークとは何ですか？ アルバートアインシュタインのイメージがあるとしましょう。 この写真は、おそらくあなたの多くも見ました。 そして、これらの円はニューロンです。 ニューロンを入力画像のすべてのピクセルに接続できます。 しかし、各ニューロンをすべてのピクセルに接続すると、最初に多くの重みが得られ、これは非常に計算集約的な操作になり、各ニューロンのそのような合計を非常に長い時間計算するという大きな問題があります第二に、この方法は非常に多くの重みがあり、この方法は再訓練に対して非常に不安定です。つまり、訓練セットと訓練に含まれていない例のセットで全員が十分に予測する場合、効果が不十分です。私たちは教育に切り替えました メリット。 重みが多すぎ、自由が多すぎるため、トレーニングセットのバリエーションを非常にうまく説明できます。 したがって、彼らはそれぞれのニューロンが画像内の小さな近傍にのみ接続されている異なるアーキテクチャを思い付きました。 とりわけ、これらのニューロンはすべて同じ重みを持ち、この設計は画像畳み込みと呼ばれます。



どのように実行されますか？ ここで中央にいわゆる畳み込みコアがあります-これはこのニューロンの重みの全体です。 そして、この畳み込みコアを画像のすべてのピクセルに順番に適用します。 適用します-これは、この正方形のピクセルを重量で単純に計量し、新しい値を取得することを意味します。 画像を変換し、フィルターで処理したと言えます。 たとえば、Photoshopのように、いくつかのフィルターがあります。 つまり、最も単純なフィルターは、カラー画像から白黒を作成する方法です。 そして、そのようなフィルターを通過し、変換された画像を取得しました。



ここのプラスは何ですか？ 最初のプラスは、重量が減り、カウントが速くなり、再トレーニングが少なくなることです。 一方、これらのニューロンのそれぞれは、後で説明するように、何らかの検出器によって取得されます。 画像内のどこかに目がある場合、同じ重みのセットを使用して画像を調べ、画像のどこに目があるかを判断するとします。



ここにビデオがあるはずです。

そして、このアーキテクチャが最初に適用されたものの1つは、数字を最も単純なオブジェクトとして認識することです。



1993年のどこかでパリのJan Lekunに適用しましたが、今ではほぼアーカイブレコードがあります。 品質はまあまあです。 ここで、それらは手書きの数字を提供し、ボタンを押すと、ネットワークはこれらの手書きの数字を認識します。 原則として、正しく認識します。 まあ、これらの数字は印刷されているので、当然より単純です。 しかし、たとえば、この画像では、数字はすでにはるかに複雑です。 そして、これらの数字は、率直に言って、私でもまったく区別できません。 左側に4つあるようですが、ネットワークは推測しています。 彼女もそのような数字を認識しています。 これは畳み込みニューラルネットワークの最初の成功であり、実際に実際に適用できることを示しました。



これらの畳み込みニューラルネットワークの特異性は何ですか？ この畳み込み演算は基本的なものであり、これらの畳み込みのレイヤーを画像の上に構築し、画像をさらに変換します。 したがって、実際に新しい兆候が得られます。 主な特徴はピクセルでした。その後、画像を変換し、新しい空間で新しい特徴を取得します。これにより、この画像をより効果的に分類できるようになるでしょう。 犬のイメージを想像すると、犬はさまざまなポーズ、さまざまな照明条件、さまざまな背景になり、ピクセルのみに直接依存して分類することは非常に困難です。 そして、新しいスペースの兆候の階層を連続して受け取ることで、これを行うことができます。

これが、ニューラルネットワークと他の機械学習アルゴリズムの主な違いです。 たとえば、コンピュータービジョンの分野では、ニューラルネットワークに対する画像の認識において、次のアプローチが採用されました。



たとえば、サブジェクトエリアを取り上げる場合、オブジェクトが属するクラス（家、鳥、人、人々が非常に長い間座っていて、これらの画像を区別するためにどんな兆候が見つかるかを考えた）を10のクラスの間で決定する必要があります。 たとえば、家の画像は、どういうわけか交差する幾何学的な線が多数ある場合に簡単に区別できます。 たとえば、鳥は非常に明るい色を持っているので、緑、赤、その他の標識の組み合わせがある場合、おそらく鳥のように見えます。 全体のアプローチは、これらの機能をできるだけ多く考え出し、それらをかなり単純な線形分類器（実際には1つのレイヤーで構成されるもの）に適用することでした。 より複雑な方法もありますが、それでも、それらは人間によって発明されたこれらの兆候に取り組みました。 ニューラルネットワークを使用すると、標識を選択せず​​にトレーニングサンプルを作成し、画像を送信するだけでよいことがわかりました。彼女は、この階層のためにこれらの画像を分類するために重要な標識を選択することを学びます。



ニューラルネットワークが作るサインを見てみましょう。 このようなネットワークの最初の層では、ネットワークが非常に単純な症状を強調していることがわかります。 たとえば、グラデーションの移行や、さまざまな角度の線などです。 つまり、兆候を強調します。つまり、可視領域で畳み込みコアのウィンドウに表示される画像のほぼそのような部分がある場合、ニューロンは応答します。 これらの兆候はあまりおもしろくありません。



さらに深くなると、ネットワークは、円形要素や、いくつかのストライプに沿った円形要素など、より複雑な機能を強調し始めていることがわかります。



, , . , , , , , , , - .



? , Image.net. , . .



. , , , – . , , , , . , -, 300 . , , - , .



, , . , , , . , , . , , , . , – , . , , , - - . , . , , , , . , , , . , , , – . , , , - , – . , .



, , . , . , . . , . , - . , . , - , .



-5 . -5 , , , , , . – . ( 2010-2011 , ) , , , , 30%, 2011 , , , 2012 , , , , , , , – – , . , , , , - 4,5% , 2015 , , , .



, , , , , . , 2013 , , -, 8 9 . , , 2014 , , , , , , .



? , ? , , , - -, , , , , , , . , , , NBA, , .



, , . , . , , .



, , – – , , , , . . , , , , , , , . , « , , , , ». , , . , , , . , , , – - 2014-2015 , .

: , , . これは何ですか



– – . , , , - , , . . , , , - , , , - , , . , , , , , , , , , . . , , , , , . .



– . x ₀ , x ₁ , x ₂ . . , , , .



? – , . , , , , , , . LaTeX, , . , , , . . , . , , , , , . , . , . , , - . LaTeX , , - .



, , . Linux, , , , , , . , , , , . , . , , , , , , .



, , , . , , . , , . , « », , . , , , . , , , . . , , . . , , , , . , , , . . : , , .



— , ?

— – , - , . .



– , . . . , - , , - , , , 100 – . , , . , 100 – , , , . . - . 50 ., , .

, , , , . .



, , , . .



これは何のためですか？ , . , , – , , . , , , , , . – , - , , abstract. , .





, , , . , , , , IT, . , , , , , . , , , - . , , . , - , « -, , , , ?». , , .





, . , , -, , .

+

. , , .



, « ». , , , , . , . , , , , . , , .





. « ». - . , , « », - , , . , , , , , . , , .



ここの左上には、表示されているものに対するネットワークの応答があります。 彼女は「ジャケットを着た男」と言います。 いくつかのフレーズを生成します。 ここで彼女はこれはある種のサインであると言います、彼女はそれに書かれていることを理解していませんが、彼女はこれがサインであることを理解しています。 彼は、この人は通りに沿って歩き、いくつかの建物、窓やドア、路地に沿って歩いていると言います（しかし、これはアムステルダムで、自転車がたくさんあるので、どこにでも自転車があるとよく言います）。 白い船が停まっていると言う。 などなど。 これは特別に用意された画像であるとは言いません。人はただ歩いて写真を撮るだけで、リアルタイムではニューラルネットワークが人の撮ったものの認識に対応していることがわかります。



「そして彼女はどれくらい早くそれを認識しますか？」 そして、人が走っても行かない場合、彼女はどのくらい早く理解しますか？

-フレームレートだけが設定されているようです。

-はい。 実際、私が覚えている限りでは、このビデオは後処理で撮影されました。つまり、彼はそれを撮影し、その後、このネットワークの認識によってコンピューター上で既にローカルに駆動されていたからです。 しかし、現在、非常に多くの携帯電話には、コンピューターにグラフィックビデオカードが搭載されており、それらはプロセッサーよりも小さく、強力ではありませんが、強力です。 そして一般的に、実行しているとき、つまり実行しようとしているときでも、何らかのリアルタイムフレームサンプリングを使用して、小さなネットワークで何かを実際に認識することができます。 一般に、これは可能であり、私たちが知っているように、コンピューティング機能が成長しており、おそらく、いつか最大のネットワークでリアルタイムに可能になるので、この問題は数年後にはあまり重要ではなくなると思います何かを認識します。



-実際、画像による認識に対するこの技術の意味は？ つまり、私は自分でそれを見る。

-ここで彼らは私に言います-障害を持つ人々にとってこれは非常に理にかなっています。 第二に、インターネット上の画像の検索方法を想像してください。 どうやって？

-あなたはこれについて私に言った。

-これは類似した画像の検索です。 そして、例えば、Yandex.Picturesのようなサーバーに行くと...

-キーワード別。

-はい。 そしてこの時点で、画像からこれらのキーワードを生成できれば、検索は単純に改善されます。 つまり、私たちは写真を見つけることができます...現在、写真の大半は写真テキストを使用して検索されています。 つまり、画像の周囲にテキストがあります。 インデックスに写真を入れると、そのようなテキストを含む写真があると言います。 ユーザーがクエリを入力すると、単語とクエリをテキスト内の単語と一致させようとします。 しかし、画像のテキストは非常に複雑なものであり、常にその隣にある画像に関連するとは限りません。 多くの人々は、たとえばインターネットなどで収入を最適化しようとしています。したがって、これは必ずしも信頼できる情報ではありません。



そして、私たちが絵でそれを確実に言うことができれば、それは非常に有用でしょう。





そのビデオではかなり簡潔で短い説明がありました。つまり、「ここにボートがどこかに駐車されている」または「ここに自転車の山が舗装されている」と言いましたが、冒険小説のサンプルなど、わずかに異なるサンプルでネットワークを訓練することができます、そして、それはどんな写真に対しても非常に活発な説明を生成します。 それらは、これらの写真に完全に関連するわけではありません。つまり、最後ではありませんが、少なくとも非常に面白いです。 たとえば、ここでは人は単にスキーに行きますが、ネットワークでは、そのような人が一人で住んでいて、どこまで行けるのかわからず、追いかけていても弱さの兆候は見られなかったと言っています。 それは一枚の絵の中のこのような冒険小説です。 これは、「あなたは写真から非常に乾燥した予測を持っているが、どういうわけかネットワークは燃えていない」と言って、研究者グループによって行われました。 しかし、彼らはネットワークに興味深い記述を生成させました。





ここでも、もしあなたが読んだなら、人がバスに乗り、どこかに行こうとし、次にルートを変更し、車に乗り、ロンドンに行き着くなどのドラマ全体が続きます。





実際、アーキテクチャ内のこれら2つのブロックを変更して、「最初に、単語を知覚する再帰ネットワークを配置し、次にイメージを圧縮しない何らかの畳み込みネットワークを配置しましょう。それを広げます。」 つまり、ある空間にある種の特徴ベクトルがあり、この特徴ベクトルから画像を生成したいのです。 そして、Yandexの同僚の1人は、「ここにある未来は、今のところほんの少しぼやけているだけだ」と言った。 そして、未来は確かにここにありますが、少しぼやけています。 ここで、説明したとおりに画像を生成していることがわかります。 たとえば、左上の黄色いバスが駐車スペースに駐車しています。 ここでは、残念ながら色を知覚するのは難しいですが、それでも、たとえば、同じ文で単語「黄色」を単語「赤」に置き換えると、このスポットの色、つまりバスは実際に変化します赤に変わります。 そして、同じことですが、それが緑色のバスであることを求めると、このスポットは緑色に変わります。 それは本当にバスのように見えます。

ここでは、色だけでなくオブジェクト「チョコレートがテーブルの上にある」や「バナナがテーブルの上にある」なども変更する場合、オブジェクトの色を直接設定せず、チョコレートが明確であることを示しています。通常は茶色で、バナナは通常黄色です。したがって、オブジェクトの色を直接設定しなくても、ネットワークは画像の色を変更します。





これは前に言ったのとほぼ同じです。 たとえば、象の群れは、乾いた草のある焼け野に沿って歩きます。 乾いた草は通常オレンジで、緑の草は通常緑です。 そして、ここでは、あまり目立たないいくつかの生き物が緑の何かの上を歩いていますが、ここではオレンジの何かの上を歩いています。 通常、これらのクリーチャーは複数です。 1年または6か月後にあなたと会うなら、この分野で前進します。

ニューラルネットワーク+強化トレーニング

最後にお伝えしたいのは、非常に興味深いトピックです。「強化学習によるニューラルネットワーク接続」です。 強化トレーニングとは何か読んだことがありますか？



-心理学では、そのようなことがあります。

-実際、それは心理学と関連しています。 「強化学習によるニューラルネットワーク接続」フィールドは、生物学と心理学に関連するニューラルネットワーク研究の最も関連性の高い分野です。





マウスと迷路があると想像してください。 そして、この迷路の端にはチーズ、水、ニンジンがあり、迷路の端には何もないことがわかっています。 そして、これらの各アイテムには、マウスに役立つユーティリティがあることがわかっています。 たとえば、ネズミはチーズが大好きですが、ニンジンと水はあまり好きではありませんが、チーズは同じように好きですが、何も好きではありません。 つまり、彼女が迷路の終わりに来て、何も見えない場合、彼女は非常に怒っています。



この単純な迷路では、マウスが入ることができる状態が3つしかないと想像してください。これはS ₁です。 状態S _1では、彼女は選択を行うことができます-左に行くか右に行くか。 また、 S ₂とS ₃の状態では_、彼女も左に行くか右に行くかを選択できます。



マウスが左に2回移動すると、4つの従来の単位に等しい値が得られることを示す、このようなすばらしいツリーを確認できます。 彼女が最初に右に行って2の値を取得した後、彼女が右に行ってから、左または右に問題がなければ。





そして、この最も単純なケースで強化を使用して学習するタスクは、ラビリンスまたはいくつかの環境の各状態Sに対して次のような関数Qを構築することです。「このアクションを実行する場合、たとえば、左に移動すると、あなたはそのような報酬を得ることができます。」 状態S ₁では、まだ何が先か分からないので、この関数が「この状態のままにすると報酬4を得ることができる」と言うことが重要です。 ただし、 S ₁からS ₂に移動すると、0の報酬を得ることができます。しかし、正しい行動戦略で獲得できる最大の報酬は4です。



この式では、これが表示されます。 そこから得ることができる以下のすべての状態について知っているいくつかの状態、つまり最適な報酬、つまり最適な行動ポリシーを知っていると想像してください。 次に、現在の状態について、実行する必要があるアクションを非常に簡単に言うことができます。 次のすべての状態を単純に調べることができます。たとえば、次の状態のどれで最大の報酬が得られるかを確認できます。実際にはそうではありませんが、知っていると想像してください。そして、期待される報酬の状態に行く必要があると言いますもっと。



次の状態の最適な動作ポリシーがわからないため、この関数にはアルゴリズムがあります。



そして、このアルゴリズムは非常にシンプルで反復的です。 この関数Q（s、a）があると想像してください。



私たちには古い意味があり、現在の実世界をより正確に評価できるように、何らかの方法で更新したいと考えています。





私たちは何をすべきですか？ 次のすべての状態について、次のいずれの状態で最大の最大値を獲得できるかを評価する必要があります。 ここで、これは最適な推定値ではなく、この推定値の単なる近似値であることがわかります。 そして、これは現在の状態と次の状態に報いることの違いです。 これはどういう意味ですか？



ある環境の状態では、たとえば、ある種の迷路になっているだけでなく、さらにそのようなセルがあると考えてください。つまり、この状態にいて、この関数Q（S、up ） 、つまり、上に上がるとこのユーティリティをどれだけ獲得できるかを見つけます。



そして、例えば、現時点では、この関数は3に等しいとしましょう。 そして、Sを出た後に行くこの状態Sで、 最大_{a '} Q（S'、a '）を取る場合、つまり、この状態Sから得ることができる最大量を取ると想像してください、たとえば5です。 明らかに矛盾があります。 つまり、この状態から報酬5を取得できることを知っています。この状態では、何らかの理由でこれをまだ把握していません。ただし、上に上がると、この報酬5を取得できます。除去、つまり、 Q（S、up）= 3とmax _{（a '）} ⁡Q（S'、a '）= 5の差を取ります。したがって、次の反復で、その状態のこのアクションの値を増やします。 したがって、繰り返し学習します。



これは何のためですか？ このタスクでは、最初はニューラルネットワークに関係がありませんでしたが、強化トレーニングであり、従来の教育方法も使用され、それらも適用できます。



Atariゲームがあります。 私も彼らをプレイしなかったので、あなたのいずれかがそれらをプレイしたかどうかはわかりません。 私はそれらを演奏しましたが、大人として。 彼らは非常に異なっています。 左下にある最も有名なものはスペースインベーダーと呼ばれ、これはシャトルがあり、黄色のエイリアンの侵略者のグループが私たちに近づいているときです。

ピンポンのような非常にシンプルなゲームがあります。自分の半分でボールを見逃さないようにし、相手が自分の半分でボールを見逃さないようにする必要がある場合です。



何ができますか？ 再び畳み込みニューラルネットワークを取得し、これらの畳み込みニューラルネットワークの入力にゲームの画像を適用し、この画像のクラスを取得しようとすることはできませんが、このゲームの状況で何をする必要がありますか、つまり、何をする必要がありますか？しないなど。



そして、このようなかなり標準的なネットワークを作成する場合、つまり、畳み込み層があり、層はニューロンのみであり、訓練し、この環境で実行します-この環境では、アカウントを持っていることを正しく理解する必要があります報酬です-このゲームを実行し、彼女に少し学習させると、後で説明するように、人を倒すことさえできるシステムが得られます。



つまり、彼らは現在、このゲームをプレイするトップの人よりもかなり高いレベルにあります。 そして、このゲームはそれほど単純ではないことがわかります。ここでは、これらの小さな赤いものの後ろに隠す必要があります。 彼らは私たちを守ります。 そして、ブラスターが飛んでいるのが見えたら、かわし、背後に隠れてから出て、これらの黄色のピクセルを上部で撃ち続けます。 あまり印象的ではないように感じます。 しかし、実際には、このようなブレークスルーを達成するには、多くの作業が必要でした。 そして、これが本当に印象的である理由を説明しようとします。



この問題でニューラルネットワークを使用する前でも、これらのゲームごとに特別に作成された多くの方法があり、非常にうまく機能していました。 また、時には人をbeatります。 しかし、画像認識の分野と同様に、このゲームで特定の勝利戦略を考え出すために人々は多くの努力をしなければなりませんでした。



例えば、スペースインベーダーやピンポンなど、すべてのゲームを取りましたが、長い間動き方を考えて、いくつかの兆候を思い付き、ボールがそのような角度と速度で飛ぶなら、私たちはそのような速度を開発しなければならないと言いました、彼を反対側に連れて行き、彼がまだ敵に不快感を与えるようにします。 などなど。 そして、ゲームごとに別々に発明する必要がありました。 そして今、彼らは一般にニューラルネットワークの同じアーキテクチャを採用し、異なるゲームでそれを起動し、これらのすべてのゲームでこの1つのアーキテクチャ、異なる重みを持ちます-各ゲームは異なる重みを持ちましたが、同じアーキテクチャ-彼女はなんとか打ち負かしました10〜20年にわたって発明されたこれらすべての方法のほとんどがほとんどです。





ここで、青-これは大まかに言って、ニューラルネットワークが獲得しているポイント数、灰色-この最先端技術はニューラルネットワークに到達でき、バーのパーセンテージはニューラルネットワークが人よりも上手くプレイできる割合です。 つまり、たとえば、ニューラルネットワークは人間よりも2500％優れたピンボールをしていることがわかります。 ボクシングでは、さまざまなゲーム、レース、テニス、ピンポンで、スペースインベーダーでも、ニューラルネットワークは人間よりも優れています。 さらに、スペースインベーダーは非常に複雑なゲームであることを理解する必要があります。 ここを見ると、それがここにあります。この小さな灰色は、おおまかに言って、その前の最新技術です。 彼が非常に悪かったとだけ言ってみましょう。 つまり、このゲームは非常に複雑であり、ニューラルネットワークの助けを借りて、それをバイパスするだけでなく、人をバイパスすることもできます。



実際、この図の上部のみを示していますが、この図の一部にはまだニューラルネットワークの成功が減少している部分がありますが、現在、新しい結果のほとんどのAtariゲームでは、ネットワークが人に勝っています。

もちろん、ネットワークには非常に複雑なゲームがあります。私が話した記憶が必要であり、そこで再帰的なネットワークを使用することもでき、結果は大幅に改善されます。



ご清聴ありがとうございました。 まだ質問があることを願っています。



私が言いたかった唯一のことは、インターネットには非常に多くのニューラルネットワークに関するさまざまな資料があり、科学記事の形で多くの資料を持っていることです。 しかし、それにもかかわらず、非常に優れたチュートリアルがあります。 それらはほとんどの場合英語です。 大人のSHADには、Victor Lempitskyの非常に良いコースがあります。 たとえば、第2のリンクがあります。これは、いわゆるニューラルネットワークのハッカーガイドです 。 これは、数学を使わず、プログラミングのみを行うようなチュートリアルです。 つまり、たとえばPythonでは、単純なネットワークの作成方法、それらのトレーニング方法、選択の収集方法などが示されています。 ニューラルネットワークを実装する非常に多くのソフトウェアツールがあり、それらは非常に使いやすいです。 つまり、大まかに言って、ニューロンを作成し、レイヤーを作成し、レンガからニューラルネットワークを組み立ててから使用します。 そして、私はあなた方それぞれがそれを行うことができることを保証します-実験してみてください。 とても面白くて、楽しくて便利です。 ご清聴ありがとうございました。