対話システムは、長くしっかりと私たちの生活に入ってきました。 元々60年代からの対話精神分析システム（現在はチャットボットと呼ばれる）であるELIZAは、タイトルと写真に記載されています。 人がどのように精神分析ボットと通信するようになったか、対話システムで他に何が面白いか興味があるなら、猫へようこそ。
実際、対話システムはどこでも見つけることができます：銀行に電話すると、注文するとき、またはナビゲーターでルートを設定しようとするときに（少なくとも最初は）対話システムと通信します-また、AppleのSiriを使用することもできますまたはMicrosoftのCortana、そしてそれも。
ダイアログインターフェイスが魅力的なのはなぜですか？ これが人が情報を受け取るための自然な方法であるという事実。 （実際、だからどこかに電話をかけたときに話しているロボットが「オートインフォーマー」と呼ぶのです。）
分類
対話システムは、次の基準によって特徴付けられます。一般-タスク指向（汎用-タスク指向）およびオープンドメイン-クローズドメイン（任意のトピックまたは厳密に定義されたトピックのみで話すことができます）。 各ペアでは、最初のコンポーネントは2番目のコンポーネントよりもはるかに複雑です。 いくつかの例を見てみましょう。
最もシンプルなものから始めましょう-自動インフォーマーでは、それらは間違いなくタスク指向で閉じたドメインです。
前述のELIZAは閉じた領域です（精神分析のトピックについてのみ話すことができます）が、同時に一般的に-それは明確に定義されたタスクを持たず、それと「チャット」できます。
チャットするボットの別の例は、Andrej KarpathyによるCharRNNです。 CharRNN自体は、与えられたラインを継続できるニューラルネットワークモデルにすぎません。たとえば、映画やシリーズの字幕でトレーニングすると、発言に「応答」することができます。 この意味で、それは一般的です-それは明確に定義された目標を持っていません-そして、オープンドメイン-潜在的にどんなトピックでも話すことができます。 問題は、このモデルが非常に単純であり、単に与えられた行を継続するだけであり、対話、フレーズ、または個々の単語についてさえもまったく知らないことです。
2つの例が残っています。ConvAIは、以下のコンテストと真のAIです。 ここでAIが「本物」であることを別に強調したのはなぜですか？ なぜなら今では、AIをなんでも、自動インフォーマーまでと呼ぶのが流行だからです。 これは、あらゆるトピックについて話すことができる本格的な人工知能であることを強調したかったのです。 そして-最も重要なこと-彼は会話をすることができます。つまり、彼は対話のアイデアを持っています。
コンバイ
それでは、競争について、それが上記とどのように違うのか、なぜそれを行うことにしたのかについて話しましょう。
ConvAIは、口語的な人工知能の競争である会話知能チャレンジです。 そして、これは競争なので、どういうわけか参加者を比較する必要があります。 そして、ここで、BLEU、ROUGEなどの機械翻訳から知られているテキストを比較するための標準的なメトリックが判明しました。 ここでは動作しません。
私たちが知っている機械測定基準は、人間の判断とは相関していません（人間の評価は互いによく相関しています-右上の写真）。 ソース[1]。
このことから、汎用システムを互いに比較することはまだ不可能であることがわかります。これを行う方法はわかりません。 しかし一方で、最も単純なメトリックTask Completion Rate（TCR）を使用して、タスク指向システムを完全に正確に比較できます。
つまり、目標を達成したダイアログの数でそれらを比較できます。 競争の目標として、短いテキスト記事やウィキペディアからの抜粋など、小さなテキストについて議論することにしました。 他の人/ボットに提示されたテキストについて話した人は、マークを付けます。 ただし、対談者の知性の「自然さ」または「人工性」に関する情報はユーザーに提供しません。 収集された評価に基づいて、最も単純なCharRNNから人へのチェーンを構築するような方法で、参加者のボットをランク付けできます。 （少なくともそうすることを願っています。）
また、私たちの挑戦が厳しい選択を通過し、今年のNIPSライブコンペティションに選ばれたことに言及する価値があります。 また、コンテストの共同主催者は、紹介する必要のないヨシュアベンジオ、およびカーネギーメロン大学のアレクサンダールドニツキーとアランW.ブラックです。
ルール、サーバーのAPIなど、競争に関するすべての情報は、そのウェブサイトconvai.ioで見つけることができます。
データセット
それとは別に、会話インテリジェンスの分野の研究に利用可能なデータセットに言及する価値があります。 ダイアログシステム用に公開されているデータセットがいくつかあります[2]。 まず、今年、 Dialog State Tracking Challengeを強調する価値があります。ちなみに、今年は6回目の開催となります。 それは、その状態を追跡することで対話を行うことができるシステム向けに設計されています。つまり、おそらく競争の目標に最も近いものです。 しかし、このデータセットには重要な機能があります-それは閉じたドメインです。つまり、1つの特定のトピックのみを考慮します。 オープンドメインとタスク指向のパブリックデータセットはありません。競争後、ボランティアとボットを持つチームメンバーとの会話で構成される新しいデータセットが形成され、すべての研究者と共有されることを期待しています。
おわりに
対話システムのアイデアをお持ちであることを願っています。 さらに、あなたが彼らの創造に挑戦したいなら、私たちはあなたを参加者またはボランティアとして見ることができてうれしいです（参加者のボットと話す人が必要です）。 どこから始めればよいかわからない場合は、 基本的なソリューションを特別に作成しました。 実行するにはいくつかの前提条件が必要です-実際にはDockerのみです。 だから-それのために行く！
PS競技中だけでなく、継続的に人工知能の作成に参加することに興味がある場合は、オープンなポジションがあります。 情報はipavlov.aiにあります。
文学
- Chia-Wei Liu等。 対話システムを評価しない方法：対話応答生成のための教師なし評価指標の実証的研究。 arxiv：1603.08023
- Iulian Vlad Serban et al。 データ駆動型対話システムを構築するために利用可能なコーパスの調査。 arxiv：1512.05742