Y.シュミットフーバー：「将来の人工知能に参加できることは素晴らしいことです」

GTC EUROPE 2016グラフィックテクノロジー会議が 9月の最後の日にアムステルダムで開催されました。ユルゲンシュミブドフーバー教授は、スイスの研究所であるIDSIAの科学ディレクターとしてプレゼンテーションを行い、彼と彼の同僚は人工知能の分野の研究に従事しています。



プレゼンテーションの主な論文 -実際の人工知能は近い将来にすべてを変えます。 ほとんどの場合、あなたが読んでいる記事は、Schmidhuber教授によるプレゼンテーションに基づいています。



20世紀で最も影響力のある発見は、 ハーバーボッシュプロセスであると考えられています 。それは肥料を得るために空気から窒素を抽出することです。 その結果、開発途上国では人口が爆発的に増加しました。 比較のために：









JürgenSchmidhuberによると、21世紀の印象的な飛躍と人工知能の爆発はさらに印象的です



それはすべて、1941年にKonrad Zuseが一般的なマイクロサーキットで動作する最初のコンピューターを導入したという事実から始まりました。 コンピューターは毎年、より高速で安価になりました。 75年以上にわたり、価格は1,000,000,000,000,000回下落しました。



1987年、Schmidhuberの論文の論文は次のように読みます。「再帰的自己開発AIの最初の具体的な開発」。



ディープラーニングの歴史は1991年に始まりました。 シュミットフーバーは、アレクセイ・イヴァフネンコが綿密な訓練の父であると考えています 。 彼の方法論と制御システムがなければ、スイスの教授の研究室での発見はありません。



1965年、彼はディープネットワーク用の最初の学習アルゴリズムを発表しました。 もちろん、私たちが今日「ニューラルネットワーク」と呼んでいたものは、そのようには見えませんでした。 Ivakhnenkoは、多項式活性化の機能を備えた深い多層パーセプトロンと、回帰分析を使用した多数の層を備えたプログレッシブトレーニングを研究しました。 1971年、8層の深層学習ネットワークが記述されました。 今日、その時間の発見はまだ使用されています。



出力ベクトルの対応する目標を持つ入力ベクトルのトレーニングセットを取得すると、追加ニューロンと乗法ニューロンのノードを持つレイヤーが増分で成長し、回帰分析を使用してトレーニングされます。 その後、検証データを使用して余分な情報が削除され、正規化を使用して冗長ノードが除外されます。 1つのレイヤー内のレイヤーとノードの数は、問題に依存する方法でトレーニングできます。



制御されたフィードバックについて。 地域の先駆者の仕事：

• オイラー・ラグランジュ計算の連続フィードバック+動的計画法、Bryson 1960、 Kelly 1961 ;
• チェーンの規則によるフィードバック、 ドレイファス、1962 。
• （Fortranコードを含む）ネットワークに似たまれな離散ニューラルネットワークの最新のOS、Lynma、1970;
• コントローラーの重量の変更、Dreyfus、1973;
• 自動微分は、微分可能なグラフでOSを表示できます（Spilpenning、1980）。
• ニューラルネットワークに適用されるOS、 Verbos 、1982年。
• RNNの例、ウィリアムズ、バーボス、ロビンソン、1980;

RNNは、深層学習の再帰型ニューラルネットワークです。 1991年、Schmidhuber教授は詳細なトレーニングを行った最初のネットワークを作成しました。 階層的な一時記憶を学習する前の制御されていない準備のプロセスは、次のようになります。RNNスタックと履歴圧縮、教師あり学習の加速。 LSTM-長期短期記憶は、ニューラルネットワークの一種です。 LSTM RNNは現在、製造や研究で広く使用されており、画像またはビデオのデータシーケンスを認識しています。 2010年頃、話は繰り返されました。制御されていないFNNは、部分的に制御されたFNNに置き換えられました。

AIネットワークの入り口でさまざまなタイプの信号を受信します。画像、音声、感情、場合によっては、システム出力、筋肉の動き（人またはロボット）およびその他のアクションが取得されます。 仕事の本質はアルゴリズムを改善することです-それは小さな子供たちが運動能力を訓練する方法と同様に発展します。

LSTMメソッドはスイスで開発されました。 これらのネットワークは、以前のものよりも高度で汎用性が高く、詳細なトレーニングやさまざまなタスクに対応できます。 ネットワークは著者の好奇心から生まれ、現在広く使用されています。 たとえば、これはGoogle Speechの音声入力機能です。 LSTMを使用すると、このサービスが50％向上しました。 ネットワーク学習プロセスは次のようになりました。多くの人がトレーニングの例としてフレーズを言っていました。 トレーニングの開始時には、ニューラルネットワークは何も知らないため、たとえば英語などの多くの文章を聞いた後、言語のルールを覚えて理解することを学習します。 後で、ネットワークは1つの言語から別の言語に翻訳できます。 使用例は以下の画像にあります。







LSTMのほとんどは、Google、Microsoft、IBM、Samsung、Apple、Baiduで使用されています。 これらの企業は、音声、画像、機械翻訳タスクを認識し、チャットボットを作成するなど、はるかに多くのニューラルネットワークを必要としています。



過去に戻りましょう。20年前、このマシンは最高のチェスプレーヤーになりました 。 人間以外の起源のゲームチャンピオンは1994年に登場しました-ゲームバックギャモンのTDギャモン。 学習の勝者はIBMで作成されました。 チェスのために-またIBMで-彼らは非学習ディープブルーを設計しました。 これはマシンビジョンに適用されます。



1995年、ロボカーはミュンヘンからデンマークまで運転し 、GPSを使用せずに最高速度180 km / hで公道に戻りました。 2014年には、高速道路で自動運転車が登場して20周年を迎えました。



2011年には、シリコンバレーで道路標識のコンテストが開催されました。 その間、Schmidhuber研究所の開発は、人間の2倍、競合の最も近い人工参加者の3倍、最初の非神経性のもの（視覚パターンの認識）の6倍の結果を示しました。 これは自動運転車で使用されます。



他にも勝利がありました。







同様の手法は医療の場合にも適用できます。 たとえば、有糸分裂の初期段階での危険な前癌細胞の認識 。 これは、1人の医師が単位時間あたりにより多くの患者を治療できることを意味します。







プロアクティブLSTMおよびバックボーンネットワーク-各レイヤーで、関数x + x、数百のレイヤーを持つニューラルネットワークをトレーニングします。







LSTMネットワークでの最適なセグメンテーション：







教授の学生は、オープンソースのニューラルネットワーク Brainstormのライブラリを作成しました。



一方、ロボットは細かい運動能力の開発に忙しかった。 そして、LSTMネットワークは結び目を作ることを学びました。







20年弱で、ディープラーニングは、少なくとも1000計算ステップ（1991-1993）のタスクから、100層以上（2015）のプロアクティブな再帰型ニューラルネットワークに移行しました。



誰もがGoogleがどのようにDeepMindを6億ドルで購入したかを覚えています。 現在、同社には機械学習とAI専用のユニットがあります。 最初の従業員である創業者のDeepMindは、Schmidhuber教授の研究室から来ました。 その後、IDSIAからさらに2人の科学博士がDeepMindに加わりました。



2013年にGECCOで、Schmidhuber教授による100万分の1スケールの複雑なニューロコントローラーの発見に関する別の研究が発表されました 。 圧縮されたネットワークでの検索を指します。



1990-1991年代、遅いコンピューターでの視覚的注意の再帰トレーニングは 、追加の固定入力を取得することを目的としていました。 2015年、同じこと。 2004年、最速リーグのロボットカップは毎秒5メートルの速度で開催されました。 競争は 、シュミットフーバーが1990年に提案したものをうまく使用しました-ニューラルネットワークを使用して予想と計画を予測しました。



「ルネッサンス」2014-2015、または英語のRNNAIssance（Reccurent Neural Networks based Artificial Intelligence）で呼ばれているように、すでに思考の教えでした：世界のリカレントニューロモデルとRNNベースのコントローラーの強化されたトレーニングの新しい組み合わせのアルゴリズム情報の理論。







興味深い科学理論は 、教授によって「楽しい」現象の説明として与えられています。 正式には、楽しみは新しいもの、驚くべきもの、目を引くもの、創造的、好奇心が強いもの、アート、科学、ユーモアを組み合わせたものです。 たとえば、好奇心は、ヒューマノイドロボットのスキルを向上させるために使用されます。 それには多くの時間がかかります。 実験中、ロボットはカップを小さなスタンドに置くことを学習します。 学習プロセスに対する内部の動機と外部の賞賛の影響が研究されています。



PowerPlayについて知っていますか？ 彼は解決するだけでなく、既知と未知の境界で常に問題を発明します。 そのため、これまでのところ、最も単純な未解決の問題を絶えず検索することにより、一般的な問題の解決策がますます強化されています。



Schmidhuberによれば、次に起こることは、小さな動物のようなもの（サルやカラスなど）の作成です。AIは、階層的に考えて計画することを学びます。 進化は、そのような動物を作成するのに何十億年もかかり、動物から人間に移行する時間ははるかに短くなりました。 技術の進化は自然よりはるかに速いです。



2014年にオープンした、美しいシンプルなパターンに関するいくつかの言葉。 これは、人間の観点から、宇宙で最も歴史的に重要なイベントの指数関数的成長を扱います。



サイエンスフィクションに関する教授の解説 ：

これは100年前にTeilhard de Chardinがまさに言ったことであり、2006年に40,000年の支配を確認する歴史的パターンを記述したため、特異点オメガと呼ぶことを好みます。人間の立場は、今後数十年でオメガポイントにつながります。 それで、私は、信じられないほど正確な指数関数的成長を示します。これは、ビッグバンまでの開発の全経路を説明しています。 それはおそらく、人間の観点から最も重要な出来事である物語全体を含んでいます。 エラーの確率は10％未満です。 私は2014年にこれについて最初に話しました。

正しく設計されたロボットとは異なり、スペースは人間に優しいものではありません

アムステルダムでのプレゼンテーションの後、いわゆるロボットジャーナリストまたは多くの人々の仕事を行うことができる他のモデルの外観に関する質問と回答が提起されました。 発表者は、「テキスト領域」の人々が人工知能の存在とその開発について心配するべきかどうかを尋ねました。 教授は、ロボットは人を置き換えることはできないと考えています。ロボットは人を助けるために作られています。 そして、彼らは男とは異なる目標を持っているので、男と戦うことはありません。 興味深いことに、人気のあるSF映画はテーマを誤解しています。 現実の戦争は、似たような生き物の間で繰り広げられます。たとえば、人々はクマではなく他の人々と戦います。 しかし、AIが「悪い軍事的事柄」に使用されるかどうかは、人々の倫理に依存します。したがって、これはAI開発の問題ではありません。

起源を覚えておくことが重要

昨年、Nature誌は、ディープラーニングにより、多くの処理層で構成される計算モデルが、さまざまな抽象化レベルでデータ表現を研究できることについての記事を公開しました 。 このような方法は、音声認識、視覚オブジェクト、およびその他の分野の分野の状況を大幅に改善しました。たとえば、薬物の発見やゲノムの解読などです。 ディープラーニングは、巨大なデータセットの複雑な構造を明らかにします。 このために、フィードバックアルゴリズムが使用されます。これは、マシンが内部パラメーターを変更する方法を示します。内部パラメーターは、前のレイヤーの表現から各レイヤーの表現を計算するために使用されます。 深い畳み込みネットワークは、画像、ビデオ、音声、および音声処理のブレークスルーであり、リカレントネットワークは、テキストや音声などのシーケンシャルデータに光を当てています。



JürgenSchmidhuber からの重要なコメントを以下に示します。

機械学習は信頼を獲得する科学です。 機械学習社会は、忠実な人々に「責任を与える」ための正しい決定から恩恵を受けます。 重要な方法の発明者は、この方法の発明の承認を取得する必要があります。 さらに、メソッドのアイデアを広める別の人もこれに自信を持っているはずです。 別の人でもかまいません。 比較的若い研究分野である機械学習では、数学などのより成熟した科学の名誉規範を採用する必要があります。 これはどういう意味ですか。 たとえば、すでに知られている方法を使用して新しい定理を証明している場合、これは明らかです。 さて、あなたが既に知られ、実際にそれについて学んだ何かを発明するなら、あなたはそれを後でさらに明確に言及するべきです。 したがって、以前に発明されたすべてのものを参照することが重要です。