アリス Yandexが人と話すために人工知能を教える方法

将来、人々は音声を使用してデバイスと対話するように思われます。 すでにアプリケーションは開発者によって埋め込まれた正確な音声コマンドを認識しますが、人工知能技術の開発により、任意のフレーズの意味を理解し、あらゆるトピックで会話を維持することさえ学びます。 本日、Habrの読者に、事前定義済みの回答に限定されず、通信にニューラルネットワークを使用する最初の音声アシスタントであるAliceの例を使用して、この未来をどのように近づけるかを説明します。







見かけのシンプルさにもかかわらず、音声アシスタントはYandexの最も野心的なテクノロジープロジェクトの1つです。 この投稿から、音声インターフェイスの開発者が直面する困難、実際に仮想アシスタントの回答を書く人、およびアリスが映画「彼女」の人工知能と共通する点について学びます。



その存在の夜明けには、コンピューターは主に大規模な科学企業または防衛企業で使用されていました。 それからSFだけが音声制御について考えましたが、実際には、オペレーターは段ボールを使用してプログラムとデータをダウンロードしました。 最も便利な方法ではありません。1つの間違いであり、最初からやり直す必要があります。



長年にわたって、コンピューターはよりアクセスしやすくなり、中小企業で使用されるようになりました。 専門家は、ターミナルに入力されたテキストコマンドを使用してそれらを管理します。 良い、信頼できる方法-今日までプロの環境で使用されていますが、準備が必要です。 そのため、一般ユーザーの家庭にコンピューターが登場し始めたとき、エンジニアは機械と人との間のより簡単な対話方法を探し始めました。



Xeroxラボでは、WIMPグラフィカルインターフェイス（Windows、アイコン、メニュー、ポイントアンドクリック）の概念が出現しています。他社の製品で広く使用されています。 自宅のコンピューターを制御するためにテキストコマンドを記憶する必要はなくなりました-それらはジェスチャーとマウスクリックに置き換えられました。 当時、これは真の革命でした。 そして今、世界は次へと近づいています。



現在、ほとんどの人がスマートフォンをポケットに入れており、その計算能力は月に船を着陸させるのに十分です。 マウスとキーボードを指で置き換えましたが、それらを使用してすべて同じジェスチャとクリックを行います。 これはソファに座っているときに便利ですが、外出先や外出先ではできません。 過去には、コンピューターインターフェイスと対話するには、人は機械の言語を習得する必要がありました。 今こそ、人々の言語でコミュニケーションするためのデバイスとアプリケーションを教える時だと考えています。 このアイデアは、音声アシスタントのアリスの基礎となりました。



アリスは「近くのコーヒーはどこで買えますか？」と尋ねられ、「コーヒーショップの宇宙飛行士通り」のようなものを口述することはできません。 アリスはYandexのそばに立ち寄り、適切な場所を提案します。[素晴らしい、そこに着く方法は？]という質問はYandex.Mapsですでに構築されたルートへのリンクを提供します。 彼女は、正確な事実の質問を古典的な検索結果を見たいという欲求と、無礼-丁寧なリクエスト、サイトを開くコマンド-ただチャットしたいという欲求とを区別する方法を知っています。







クラウド内のどこかでニューラルミラクルネットワークが機能しているように見えることもあります。 しかし、実際には、アリスの答えの背後には、5年間にわたって解決することを学んできた一連の技術的問題があります。 そして、最初のリンクから耳を傾けることができるようになりました。



こんにちはアリス



サイエンスフィクションの人工知能は耳を傾けることができます。「録画モード」をオンにするために特別なボタンをクリックする必要はありません。 このためには、音声アクティベーションが必要です-アプリケーションは、人がアクセスしていることを理解する必要があります。 これは見かけほど簡単ではありません。



サーバーで着信オーディオストリーム全体の記録と処理を開始するだけの場合、デバイスのバッテリーを非常にすばやく放電し、すべてのモバイルトラフィックを消費します。 私たちの場合、これは特別なニューラルネットワークを使用して解決されます。このニューラルネットワークは、キーフレーズ（「Hello、Alice」、「Listen、Yandex」など）のみを認識するように訓練されています。 このようなフレーズの限られた数のサポートにより、サーバーにアクセスせずにローカルでこの作業を実行できます。



ネットワークが少数のフレーズのみを理解することを学ぶ場合、これを行うことは非常に簡単かつ迅速であると考えるかもしれません。 しかし、ありません。 人々は理想的な条件からは程遠いフレーズを発音しますが、完全に予測不可能なノイズに囲まれています。 そして、誰もが異なる声を持っています。 したがって、1つのフレーズだけを理解するには、数千のトレーニングノートが必要です。



小さなローカルニューラルネットワークでもリソースを消費します。マイクからストリーム全体を取得して処理を開始することはできません。 したがって、最前線では、「スピーチ開始」イベントを迅速かつ安価に認識する、より軽量なアルゴリズムが使用されます。 キーフレーズを認識するためのニューラルネットワークエンジンを搭載しているのは彼であり、それが最も難しい部分である音声認識を起動します。



1つのフレーズだけを教えるために数千の例が必要な場合、単語やフレーズを認識するためにニューラルネットワークをトレーニングするのがどれほど骨の折れることか想像できます。 同じ理由で、音声ストリームが送信され、既製の回答が返されるクラウドで認識が実行されます。 回答の精度は、認識の品質に依存します。 だからこそ、主な課題は、人が話すのと同じくらい質的にスピーチを認識することを学ぶことです。 ところで、人々も間違いを犯します。 人はスピーチの96〜98％を認識すると考えられています（WERメトリック）。 私たちは89〜95％の精度を達成することができました。これは、生きている対談者のレベルに匹敵するだけでなく、ロシア語にも特有です。



しかし、完全にテキストに変換されたスピーチでさえ、言われたことの意味を理解できなければ意味がありません。



サンクトペテルブルクの明日の天気はどうですか？



音声リクエスト[天気]に応じてアプリケーションに天気予報を表示する場合は、すべてが簡単です。認識されたテキストを「天気」と比較し、一致する場合は回答を表示します。 そして、これは対話するための非常に原始的な方法です。実際の生活では、人々は異なる質問をするからです。 人はアシスタントに尋ねることができます[サンクトペテルブルクの明日はどんな天気ですか？]、そして彼は混乱してはいけません。



アリスが質問を受け取ったときに最初に行うことは、スクリプトを認識することです。 検索クエリを送信して、10の結果を含む古典的な結果を表示しますか？ 正確な答えを1つ検索して、すぐにユーザーに提供しますか？ Webサイトを開くなどのアクションを実行しますか？ それともただ話すだけ？ 動作シナリオを正確に認識するようにマシンに教えることは非常に困難です。 そして、ここでの間違いは不快です。 幸いなことに、私たちはYandex検索エンジンの全機能を備えており、毎日何百万ものクエリに直面し、何百万もの回答を検索し、どれが良いのか、そうでないのかを理解します。 これは巨大な知識ベースであり、これに基づいて別のニューラルネットワークをトレーニングすることができます。これは、まさに人が望むものを「理解」する可能性が非常に高いものです。 もちろん、間違いは避けられませんが、人々も間違いを犯します。



機械学習の助けを借りて、アリスは「サンクトペテルブルクの明日はどんな天気ですか？」というフレーズは天気予報であることを「理解」しています（ちなみに、これは明らかに説明のための単純な例です）。 しかし、どの都市について話しているのでしょうか？ 何日？ これが、ユーザーレプリカから名前付きエンティティの認識を取得する段階から始まります。 私たちの場合、このような2つのオブジェクトには、「ピーター」と「明日」という重要な情報が含まれています。 そして、彼女の背後に検索技術を持っているアリスは、「ピーター」は「サンクトペテルブルク」の同義語であり、「明日」は「現在の日付+ 1」であることを「理解」しています。







自然言語は手がかりの外部形式であるだけでなく、そのつながりでもあります。 人生では、短いフレーズを交換するのではなく、対話を行います-文脈を覚えていなければ不可能です。 アリスは彼を覚えています-これは、複雑な言語現象に対処するのに役立ちます：たとえば、省略記号に対処する（欠落した単語を復元する）、または相互参照を許可する（代名詞でオブジェクトを決定する）。 したがって、[エルブラスはどこにいるの？]と尋ねると、[そして彼の身長は？]を指定すると、アシスタントは両方のケースで正しい答えを見つけます。 そして、もしリクエストの後[今日の天気はどうですか？]と尋ねると[そして明日？]、アリスはこれが天気に関する対話の続きであることを理解します。







そして何か他のもの。 アシスタントは自然言語を理解するだけでなく、ロボットとしてではなく、人間としても話すことができなければなりません。 アリスについては、ダビング女優タチアナ・シトヴァが元々所有していた声を合成します（公式声はロシアのスカーレット・ヨハンソンです）。 彼女は映画「She」で人工知能を表明しましたが、The Witcherの魔術師Yenniferの声から彼女を思い出すことができました。 また、既成のフレーズをカットすることではなく、ニューラルネットワークを使用したかなり深い合成について話します。それらのすべての多様性を事前に書き留めることは不可能です。



上記で、私たちはあなたが働くことができるようにする必要がある自然なコミュニケーションの特徴（発言の予測不能な形、欠落した単語、代名詞、間違い、ノイズ、音声）を説明しました。 しかし、ライブコミュニケーションには別の特性があります。対話者からの特定の回答や行動が常に必要なわけではなく、話したいだけの場合もあります。 アプリケーションがそのようなリクエストを検索で送信すると、すべての魔法が破壊されます。 そのため、人気のある音声アシスタントは、人気のフレーズや質問に対する編集上の回答のデータベースを使用しています。 しかし、私たちはさらに先へ進みました。



チャット？



質問に答え、特定のシナリオのコンテキストで対話し、ユーザーの問題を解決する方法を車に教えました。 これは良いことですが、魂を失い、人間の特性に恵まれます。彼女に名前を付け、彼女に自分自身について話すように教え、自由な話題について会話を続けますか？







音声アシスタント業界では、これは編集者の回答によって実現されます。 著者の特別なチームは、ユーザーから最も人気のある何百もの質問を取り、それぞれにいくつかの答えを書きます。 理想的には、これは統一されたスタイルで行われ、アシスタントの人格全体がすべての回答から形成されるようにします。 アリスについては、答えも書きますが、他にも何かがあります。 特別なもの。



一般的な質問の上部に加えて、低頻度のユニークなフレーズや、事前に回答を準備することが不可能なユニークなフレーズもあります。 あなたはすでにこの問題をどのように解決しているのか推測していますか？ 別のニューラルネットワークモデルを使用します。 彼女に知られていない質問や発言に答えるために、アリスはインターネット、書籍、映画のテキストの巨大なデータベースで訓練されたニューラルネットワークを使用しています。 機械学習の専門家は、3層のニューラルネットワークから始めたものに興味があるかもしれませんが、今では巨大な120層のニューラルネットワークで実験しています。 特殊な投稿の詳細は保存しますが、ここでは、現在のバージョンのアリスは、「ニューラルネットワークトーカー」の助けを借りて、任意のフレーズに答えようとしていると言います。







アリスは、人やキャラクターが常に丁寧に振る舞うとは限らない膨大な数の異なるテキストから学びます。 ニューラルネットワークは、教えたいことをまったく学習しない場合があります。

-サンドイッチを注文してください。

-それを管理します。

他の子供と同じように、アリスは失礼ではないことを教えられず、無礼と攻撃性のすべての兆候から彼女を守ります。つまり、現実の世界でしばしば見られる無礼、挑発、その他の不快なことのない「クリーン」な基盤でニューラルネットワークを教えます。 アリスがそのような表現の存在を知らない場合、彼女はランダムなフレーズで無頓着に答えます-彼女のために、それらは未知の単語のままになります。 彼女にそれが何であるかをよりよく知らせてください-そして、これらの問題に関して特定の立場を発展させてください。 相手が何であるかを知っていれば、それに応じて誓うか、宣誓と話さないと言うことができます。 そして、アリスが2番目のオプションを選択するように、アリスの動作をモデル化します。



アリス自身のレプリカは完全にニュートラルですが、ユーザーが設定したコンテキストでは、答えは無害ではなくなります。 一度、クローズドテスト中に、カフェなどの施設を見つけるようユーザーに依頼しました。 彼は言った：「そのような別のものを見つけなさい。」 その瞬間、アリスでバグが発生し、組織検索スクリプトを起動する代わりに、彼女はかなり大胆な答えを出しました-「地図で見る」ようなもの。 そして彼女は何も探しませんでした。 ユーザーは最初は驚きましたが、その後、アリスの行動を称賛して驚きました。



アリスが「ニューラルネットワークトーカー」を使用する場合、ニューラルネットワークはトレーニングサンプルの各レプリカの作成者から少しを吸収しているため、100万人の人格が彼女に現れます。 状況に応じて、アリスは礼儀正しく、無礼で、陽気で、憂鬱になります。 しかし、私たちは、パーソナルアシスタントが、明確に定義された一連の資質を備えた全体的な人格であることを望んでいます。 ここで、私たちの編集テキストが助けになります。 彼らの特徴は、彼らがもともとアリスで再現したい性格のために書かれたということです。 数百万行のランダムテキストでアリスを訓練し続けることができますが、編集上の回答に規定されている行動の標準に目を向けて答えます。 そして、これは私たちがすでに取り組んでいるものです。



アリスは、編集上の回答だけでなく、訓練されたニューラルネットワークを使用してコミュニケーションを維持しようとする、私たちが知っている最初の音声アシスタントになりました。 もちろん、私たちは現代のサイエンスフィクションに描かれているものとはまだかけ離れています。 アリスは常にレプリカの本質を正確に認識するとは限らず、それが答えの正確さに影響します。 したがって、まだ多くの作業があります。



アリスを世界で最もヒューマノイドアシスタントにすることを計画しています。 彼女の共感と好奇心を植え付ける。 それを積極的にすることは、対話の中で目標を設定し、主導権を握り、対話者を会話に参加させることを教えることです。 現在、私たちはこの道のまさに始まりであり、この分野を研究する科学の最前線にいます。 先に進むには、このエッジを移動する必要があります。



AndroidとiOS用のYandexアプリケーション、Windows用のベータ版 、そしてすぐにYandex.Browser でアリスと話すことができます。 音声インターフェイスの将来とその使用シナリオをどのように考えているかを議論したいと思います。