人工知能の言語問題

人工知能システムに遭遇したことはありますか？ 大多数の住民の回答は肯定的であると信じています。 結局のところ、AIは既に「フィクションを超えたもの」であることがなくなっています。 音声認識システムSiri、IBM Watson、ViaVoice、仮想プレイヤーDeep Blue、AlphaGo、さらにはMYCINなどの初期システムは、1970年代にスタンフォード大学で開発され、重度の感染症を引き起こす細菌を診断し、必要な数を推奨するように設計されています抗生物質は、AIの主題に関するすべてのバリエーションです。 しかし、テクノロジーが急速に勢いを増しているという事実にもかかわらず、現代のシステムは依然としてかなり「角度」があり、研究者が直面している主な問題は言語トレーニングです。 システムに話すことは難しくありませんが、誰も私たちの周りの世界の「物理学」、つまり人が直感的なレベルで理解していることを説明することに成功していません。



人工知能の言語問題のトピックは、Habrahabrユーザー向けに慎重に翻訳されたオンライン支払いを受け取るための自動化システムであるPayOnlineがAI MIT Technology Reviewの編集長を務めるWill Knightの記事で広く開示されています。 以下に翻訳そのものを示します。



史上最高のプレイヤーの一人であるリー・セドルとグーグルが作成したAlphaGoという人工知能を含む韓国のソウルでの非常に激しい囲gameゲームの途中で、プログラムは神秘的な一歩を踏み出し、人間の対戦相手に対して恐ろしい優位性を示しました。



ステップ37で、AlphaGoは一見したところ不条理な位置に黒い石を置くことにしました。 この動きは、典型的な初心者の間違いのように、競技場のかなりの部分の配信につながる可能性が高いと思われましたが、逆にゲームの本質は競技スペースを制御することでした。 テレビのコメンテーターは、問題が何であるか疑問に思った：彼らは車のコースを理解していないか、それは何らかの誤動作があった。 実際、一般的な信念に反して、移動番号37により、AlphaGoはボードの中心に強い位置を作ることができました。 グーグルは、その場所で誰もしなかったであろう動きをすることによって、地滑り的な勝利を勝ち取った。







AlphaGoの勝利は特に印象的です。多くの人が、古代のGoのゲームは直感的な知能の開発の良いテストだと考えています。 そのルールは非常に単純です。2人のプレーヤーが交互にボードの垂直線と水平線の交点に黒と白の石を置き、相手の石を囲み、それによってゲームから除外します。 この単純さにもかかわらず、Goの優れたゲームにはかなりの精神的な努力が必要です。



チェスのプレイヤーがいくつかのステップを「見る」ことができる場合、Goではこのプロセスは新しいレベルに進みます。個々のゲームで最高のオプションを計算することは、ほとんど不可能なタスクになります。 同時に、チェスとは異なり、Goには実際には古典的な操作やテンプレートがありません。 洗練されたプレーヤーでさえ、なぜこの動きをしたのかを明確に説明するのは難しいため、その利点を評価する明確な方法はありません。 これらのすべての機能により、単純な一連のルールを記述できなくなります。このルールに従うと、コンピュータープログラムはプロ並みに再生できます。



AlphaGoにGoのゲームを教えた人はいませんでした。 代わりに、プログラムは何千ものゲームを分析し、何百万ものゲームを自分自身と対戦しました。 他のAI技術者の間では、プログラムは現在「ディープラーニング」と呼ばれる最も一般的な方法の1つを使用しました。 その本質は、新しい情報の認識と記憶中にニューロンの接続された層が活性化されるときに脳で発生するプロセスを模倣する数学的計算に要約されます。 このプログラムは何時間もの練習を通して習得し、戦略を直感的に感じる能力を徐々に向上させました。 この結果、彼女がGoで最も強力なプレイヤーの1人を倒すことができたという事実は、機械学習と人工知能の開発における本当に重要な出来事です。





海に投げられたゴム球-ローレンス・ワイナー、1970/2014





移動番号37の数時間後、AlphaGoは勝利でゲームを終了し、3連勝で2ポイントを得ました。 その後、セドルは多くのジャーナリストや写真家の前に立って、人類を失望させたことを丁寧に謝罪した。 「私には言葉がありません」と彼は、フラッシュバルブの集中砲火の下で目を細めて言った。



AlphaGoの予期せぬ成功は、人工知能の分野における著しい進歩を証明しています。科学者は、過去数年間、しばしば「AI冬」と呼ばれる数十年のst迷とロールバックを経て達成しました。 ディープラーニングにより、マシンは集中的な自己学習が可能になります。これにより、わずか2年前には非常に知能の高い人しかアクセスできないと考えられていた複雑なタスクを解決できます。 今日の自動運転車は、予見可能な未来のために与えられています。 さらに、ディープラーニング手法の使用に基づいたAIシステムが間もなく、人々が病気を診断し、治療を推奨するのに役立ちます。



しかし、この目覚ましい進歩にもかかわらず、AIの文脈における運命が不明確なままである知識の1つの基本的な領域があります。それは言語知識です。 SiriやIBM Watsonなどのシステムは、読み上げまたは書面での簡単なコマンドに従って基本的な質問に答えることができますが、会話を維持できず、使用する単語の本当の意味を理解できません。 AIの完全な変革の可能性を真に体験したい場合、この分野の状況は変化しなければなりません。



AlphaGoは話す方法を知らないという事実にもかかわらず、言語の機械的理解をより高いレベルに高めることができる技術を含んでいます。 Google、Facebook、Amazonなどの企業の壁の中で、AIの研究のための主要な学術研究室と同様に、研究者は解決できないと思われる問題を完全に解決しようとしています。 彼らが使用している開発には、ディープラーニングと、AlphaGoの成功とAIへの関心の一般的な復活を確実にした他のAIツールがあります。 彼らの仕事の成功は、人工知能の革命として定義される現象の規模と性質を実現することを可能にします。 未来の機械がどの程度コミュニケーションできるか、そして彼らが日常生活の中で人々の親友になれるかどうかは、彼らの活動の結果、あるいは彼らがさらに大きな自律性を目指して神秘的なブラックボックスのままでいるかどうかにも依存します。

「言語に基づかない人間のAIシステムを作成することは、単に不可能です」と、MITの認知科学およびコンピューターサイエンスの教授であるJosh Tanenbaumは言います。 「これは人間の知能の最も明らかな特徴の1つです。」

AlphaGoがGoで主導権を握ることを可能にしたまさにその方法により、いつかコンピューターが言語を習得できるようになるか、多分それ以上のものが必要になるでしょう。 いずれにせよ、人工知能プログラムが言語を理解することを学ばなければ、AIが社会に与える影響は異なります。 もちろん、AlphaGoのような信じられないほど強力でスマートなプログラムを自由に使用できます。 ただし、AIとの関係は、協力と友好度がはるかに低いという特徴があります。

「研究の最初から、科学者は1つの質問に悩まされていませんでした。「効率性に関しては合理的であるが、人間の本性を理解して実現できないという意味で、私たちとは異なるエンティティがあるとしたらどうでしょうか？」、スタンフォード大学名誉教授のテリー・グレープスは言う。 「人間の知性ではなく、「ビッグデータ」に基づいて存在し、世界を支配するマシンを想像してください。」

機械呪文の使い手

AlphaGoの勝利から数か月後、シリコンバレーに行きました。これは、人工知能分野の最新ブームの中心です。 AIの実用化に大きな進歩を遂げ、現在は機械をより高いレベルの言語理解に導こうとしている研究者を訪問したかった。



私は、Google、Facebook、Appleの本社からそれほど遠くないスタンフォードキャンパスの南端にあるパロアルトの郊外に住むVinohradから始めました。 縮れた髪の白髪と太い口ひげは、彼を権威ある学者のように見せ、伝染性の熱意も放ちます。



遠い1968年に、ブドウは車に合理的な会話を教える最初の試みの1つを作りました。 才能のある数学者であり、言語学に魅了された科学者であった彼は、博士号を書くことを目的として人工知能の研究のために新しいMIT研究室に行き、日常言語でテキスト会話を行うことができるプログラムを開発することを決めました。 当時、このタスクはそれほど野心的ではありませんでした。 AIの分野は飛躍的に発展し、他のMITの従業員は複雑なマシンビジョンシステムと未来的なロボットマニピュレーターの作成に取り組みました。

「当時、私たちは未知のものを研究しているかのように感じ、可能性がまったく制限されていなかった」と彼は回想する。

Four Colors Four Words-ジョセフ・コスス、1966



それでも、言語を習得することは簡単な作業であると確信していました。 有力な言語学者やMIT教授のNoam Chomskyを含む一部の批評家は、人間の言語のメカニズムが十分に研究されていなかったという理由だけで、AIの研究者が人間の言語を理解するための機械を教える試みで問題に遭遇することは避けられないと主張しました。 ブドウは、パーティーでチョムスキーの生徒の1人がAI研究所で働いていることをほとんど聞いていないのに、彼と話すのをやめたことを思い出します。



しかし、楽観的な理由がありました。 数年前、マサチューセッツ工科大学（ドイツ）のジョセフ・ワイセンバウム教授は、歴史上最初のチャットボットを作成しました。 ELIZAと呼ばれる仮想インタビュー対象者は、似顔絵の心理療法士が発言の重要なフレーズを繰り返したり、会話を展開する質問をするようにプログラムされました。 たとえば、母親に腹を立てていると彼女に言った場合、「母親について考えるとき、他に何が思い浮かびますか」と答えます。 この安価な、一見したところ、驚くほどうまく機能しました。 ワイセンバウムは、テスト参加者の何人かが最も暗い秘密について車に話し始めたときにショックを受けました。



ブドウは、言語を理解できるようなものを作りたかったのです。 彼は問題の一般的な単純化から始めました。 彼は、同じ仮想テーブルに配置された少数の仮想オブジェクトで構成されるプリミティブな仮想環境「ブロックワールド」を作成しました。 その後、彼はSHRDLUと呼ばれるプログラムを作成しました。このプログラムは、裸の仮想世界にアクセスするために必要な単純な文法規則を使用して、すべての名詞と動詞を処理できます。 SHRDLU（ リノタイプキーボードの 2列目のシーケンスを繰り返す意味のない文字のセット）は、オブジェクトを記述し、それらの関係に関する質問に答え、入力されたコマンドを実行して、ブロックワールドに対応する変更を加えることができます。 彼女はいくらかの記憶さえ持っていました。 つまり、赤い円錐を動かすように彼女に言った後、「円錐」に言及すると、彼女は自動的に赤い形を意味し、他の形は意味しませんでした。



SHRDLUは、AIの基本的な進歩の象徴の1つとしてあらゆる場所で実証されています。 しかし、それは単なる幻想でした。 Vinogradがプログラムのブロックワールドを拡大しようとすると、使用される単語と文法的な接続を考慮するために必要なルールが面倒で制御不能になりました。 数年後、彼はプログラムの作業をやめ、最終的には他の研究分野に集中するためにAIとの作業をやめました。

「制限は当初考えていたよりもずっと厳しかった」と科学者は認める。

ブドウは、当時利用可能なツールで言語を真に理解する能力を機械に提供することは単に不可能であるという結論に達しました。 問題は、カリフォルニア大学バークレー校の哲学教授であるヒューバート・ドレイファスが1972年に著書「What Computers Cannot Do」で書いたように、人々がしていることの多くは、厳格なルールでは再現できない一種の本能的な思考を必要とすることでした。 。 そのため、SedoleとAlphaGoの試合前に、多くの専門家は、マシンがGoでゲームをマスターできるという事実について疑問を呈していました。





純粋な美しさ-ジョン・バルデッサリ、1966-68



しかし、ドレイファスが彼の理論を開発している間でさえ、研究者のグループは、最終的に、この種の思考を機械に与えるというアプローチに取り組んでいました。 神経科学の発見から少しインスピレーションを得て、彼らは人工ニューラルネットワーク、特定の入力データに応答して活性化に慣れることができる数学的にシミュレートされたニューロンの層で実験しました。 最初のそのようなシステムはひどく遅く、その論理装置の非実用性のためにアプローチは放棄されました。 ただし、ニューラルネットワークは事前にプログラミングすることが不可能な動作を学習できることに注意することが非常に重要であり、後にこのスキルは手書き文字の認識などの単純なタスクを解決するのに非常に役立つことが判明しました。 この方向の仕事は、小切手の数字を読むのに使用され始めた90年代に商業化されました。 このアプローチの支持者は、ニューラルネットワークが最終的にマシンがそれらの年にできるものよりもはるかに重要な結果を表示できるようになると確信していました。 ある日、技術は言語を理解することさえできると彼らは言った。



過去数年間で、ニューラルネットワークは何倍も複雑で効率的になりました。 数学の進歩と、重要なことに、より高速なコンピューター機器の出現と大量のデータの可用性により、アプローチは強化されました。 2009年までに、トロント大学の研究者は、多層の深層学習ネットワークが記録の正確さで音声を認識できることを示しました。 2012年には、同じ科学者グループが、非常に正確なディープラーニングアルゴリズムを発表して、マシンビジョンコンテストで優勝しました。



個々の画像オブジェクトを認識するために、深層学習ニューラルネットワークは単純なトリックを使用します。 シミュレートされたニューロン層は、画像の形式で入力を受け取り、これらのニューロンのいくつかは、個々のピクセルの強度に応じてアクティブになります。 この後に得られた信号は、接続されたニューロンの他の多くの層を通過してから、出力層に到達し、オブジェクトが認識されたことを通知します。 ニューロンの感度とその後の正しい反応の再現を調整するために、「 誤差の逆伝播 」と呼ばれる数学的手法が使用されます。 システムが学習できるのはこのステップです。 各ネットワークレイヤーは、エッジ、色、構造など、画像のさまざまな要素に応答します。 このようなシステムは現在、現代人の能力に匹敵する精度でオブジェクト、動物、または顔を認識することができます。



ディープラーニングを言語に適用しようとすると、明らかな問題が発生します。その本質は、単語が条件付きシンボルであり、この点で芸術的イメージとは根本的に異なるということです。 たとえば、2つの単語は意味が似ていて完全に異なる文字で構成されている場合があり、異なるコンテキストで同じ単語が完全に異なるものを意味する場合があります。



80年代、研究者たちは、言語を学習するプロセスを、ニューラルネットワークが処理できるタスクのタイプに変える興味深い方法を提案しました。 彼らは、単語が数学的なベクトルとして表現できることを示したので、関連する単語間の類似性を計算することができます。 たとえば、「ボート」と「水」は、これら2つの単語がまったく異なるように見えるという事実にもかかわらず、ベクトル空間で互いに近接しています。 ヨシュアベンジオとGoogleの別のグループが率いるモントリオール大学の研究者は、このアプローチを使用して、文の各単語を使用してより複雑なプレゼンテーションモデルを構築できるネットワークを作成しました。 「思考のベクトル」と呼んでいます。



このような2つのネットワークを組み合わせて使用​​すると、2つの言語間で高品質の翻訳が可能になり、このタイプのネットワークと画像オブジェクトを認識できる別のネットワークとの組み合わせにより、驚くほど妥当な付随する署名を作成できます。

人生の意味

カリフォルニアのマウンテンビューにあるGoogle本社の賑やかなハイブの中心にある会議室に座っているクウォックリーは、最新のAIソリューションの開発に携わっている同社の研究者の1人で、実際の会話をサポートできるマシンのアイデアについて議論しています。 リーの野望は、会話機械の開発に使用できる有用な結果を得ることを目的としています。

「コンピューターマシン内の思考プロセスをシミュレートする方法を探しています」と彼は言います。 「そして、あなたが思考のふりをしたいなら、あなたはマシンに何を考えているのか尋ねることができなければなりません。」

答え/ Was n't Here II-タウバ・アウアーバッハ、2008



Googleはすでにコンピューターに言語の基礎を教えています。 5月、同社はParsey McParsefaceと呼ばれるシステムを発表しました。これは、名詞、動詞、その他のテキスト要素を認識することで文の構文を分析できます。 機械で作られた言語の理解が企業にとってどれほど価値があるかは簡単にわかります。 以前は、Googleの検索アルゴリズムは単にキーワードとWebページ間のリンクを追跡していました。 現在、RankBrainと呼ばれるシステムのおかげで、彼はページ上のテキストを読み、この知識に基づいて改善された検索結果をユーザーに提供するために、最も重要なセマンティック部分をすべてハイライトしようとします。 リーはその方向にもっと深く入りたいと思っています。 画像のキャプションの翻訳と選択に役立つことが証明されたシステムを適応させて、彼と彼の同僚は、Gmailメッセージの内容を読み取り、可能な回答を提供するSmartReplyを作成しました。 さらに、彼はまた、ユーザーとのGoogleの技術サポートチャットを分析し、簡単な技術的な質問に答える方法を学ぶプログラムを作成しました。



最近、リーは未解決の質問に適切な回答を提供できるプログラムを開発しました。 彼女のトレーニングには、18,900本の映画からの対話の取り扱いが含まれていました。 彼女の答えのいくつかは恐ろしく正確であることが判明しました。 たとえば、人生の意味についてのリーの質問に対して、プログラムは「最高の善を奉仕する」と答えました。

「それは非常に良い答えでした」と彼は顔に大きな笑みを浮かべて思い出します。 「私自身は、おそらくもっと良い答えをしなかっただろう。」

他のシステム応答を観察するとすぐに明らかになる問題は1つだけです。 リーが「猫の足は何本ですか？」と尋ねると、システムは「4つだと思う」と答えました。 その後、彼は別の試みを行いました：「ムカデには何本の足がありますか？」 答えは好奇心：盛でした：「8」。 本質的に、リーのプログラムは彼女が何について話しているのか分からない。 彼女は、シンボルの特定の組み合わせが一緒に発生する可能性があることを理解していますが、現実世界の存在について少しも考えていません。 彼女は、ムカデが実際にどのように見えるか、またはどのように動くかを知りません。 つまり、私たちの前にはまだ知性の幻想にすぎず、私たち人間が当たり前のことと思っている常識を欠いています。 このような結果の不安定性は、ディープラーニングシステムでは非常に一般的です。 Googleの画像キャプションプログラムは奇妙な間違いを犯します。 たとえば、道路標識を見て、彼女はそれを食べ物でいっぱいの冷蔵庫と呼ぶかもしれません。



奇妙な偶然の一致により、パロアルトのテリーヴィノフラドの最も近い隣人は、コンピューターが単語の本当の意味をより深く理解するのを助けることができる人であることが判明しました。 私が訪問したとき、スタンフォード大学人工知能研究所のディレクターであるフェイ・フェイ・リーは産休中だったが、彼女を自宅に招き、フェニックスという魅力的な3ヶ月の赤ちゃんを誇らしげに紹介した。

「ほら、彼女は私よりもあなたをよく見ます」とリーは言った。 「これは、彼女が初めてあなたに会い、顔を早期に認識するための彼女のシステムが完全に機能しているためです。」

リーはほとんどのキャリアを機械学習とコンピュータービジョンの研究に費やしました。 数年前、彼女はワーキンググループを率いて、それぞれが対応するキーワードでタグ付けされた何百万ものオブジェクトの画像のデータベースを作成しました。 それでも、リーはマシンが世界の出来事をよりよく理解する必要があると考えており、今年、彼女のチームは非常に多くのコメントを備えた別の画像データベースをリリースしました。 : « », « », « » . , .

« , , , — . — ».

, , , . . , . - , - , . , , .

« — , — . — [] , , ».

, , , , . , , , ?



-, MIT, , , , . .

« , , . , , : , - - », — .

, , .

,

, , . , -, . .

« , , , », — .

Webppl, , , , , , . webppl , — . , - « » , , , . , , , -, .



. « » — , — , .



, , , , , , , . , .



, , , . , , , .

« , , — , MIT, , — , , ».

Toyota, , MIT , . — , , . — .

« , , — - , — , Toyota MIT. — , , , ».

, , Google DeepMind, AlphaGo, -. , , . , AlphaGo . 37- . , , Google : «» , , 1 10 . , AlphaGo , , , .



, .



, Google , . , .

« , — . — . , ».

, , , , , : «?». , , - . , — , , . , .



PayOnline .