チャットボットスゼットはローブナー賞を受賞し、裁判官をtrickすことができました

2010チャットボットコンテストの勝者およびレーブナー賞の勝者は、 スゼットチャットボットです。 いつものように、競争は標準的なチューリングテキストテストの形式で開催されました。 裁判官は、対話者に会わずに会話を行い、次に意見を発表しなければなりませんでした：彼らのうちのどれがチャットボットであり、誰であるか、また各プログラムにマークを付けます。



今年、最高のチャットボットは、彼を男性と間違えた1人の裁判官をtrickすことさえできました。



どうやら、チャットボットの品質は毎年向上しています。 たとえば、過去数年の3回の受賞者であるALICEはもはや競争力がありません。 Suzetteプログラムの作成者によると 、彼のチャットボットは大きなマージンで資格を獲得しました（最も近い競合他社の7.5対11ポイント）。



大会の決勝戦には驚きがありました。 冒険は、コンピューターにプログラムをインストールする段階で始まりました。 Dr. Richard Volles （ALICEの著者）は3つの予備ディスクを持ち込みましたが、それらはすべて空でした。 彼はインターネット経由でプログラムをダウンロードしなければなりませんでした。



Cleverbotチャットボットには現在、記録されたチャットが4500万行あり（オンラインで常時トレーニングを行っています）、このインデックスは毎年2倍になります。 UltraHalロボットは、自習用のツイートのスキャンを開始したため、30万のチャットセッションに加えて、会話サンプルとして40万のツイートが受け入れられるようになりました（プログラムには、このツイートに対する十分な回答があります）。



コンテストのオーガナイザーも少し混乱しました。 当初、彼らは英語の教授や他の言語学者を裁判官として招きたかったが、組織上の問題により、結局、すべての裁判官は地元のカリフォルニア州立大学のコンピューター部門の開発者であることが判明した。 Suzetteチャットボットの作成者によると、これらの人は彼のプログラムとほとんど同じように話します。



チャットボットとともにテストに参加した人々は、同じ学部の学生であることが判明しました。 彼らは自分の役割を十分に理解していませんでした-可能な限り人間的に振る舞い、このことについて審査員を説得しようとします



最初のラウンドでは、スゼットは私たちをたくさん失望させました-彼女は対話者の言葉を逐語的に繰り返しました（著者はまだそのようなグリッチがどのように可能になったかを理解していません）。 このラウンドは完全な災害でした。 第2ラウンドではすべてが順調に進み、第3ラウンドでは、スゼットは再び失敗に近づきました。 裁判官は、選挙を招集せずに次の選挙で誰に投票するかという質問で彼女を悩ませた。 明らかに、彼はカリフォルニア州知事の選挙について言及していましたが、その前に推測しなければなりませんでした！ 彼女が知らないと言ったとき、彼は現在の候補者に名前を付けるよう要求しました。 彼女が再び自分の無知を告白したとき、裁判官は質問を繰り返し続け、答えを主張しました。 「スゼット」はいらいらの兆候を見せ始め、怒り、退屈になり、裁判官に会話を中断するよう脅した。 これで会話は終わりました。 開発者は、問題は継ぎ目であると考え、勝つことはできません。



最終投票で、スゼットはポイントで2位または3位を共有しましたが、3回目の審査員が彼女を男に連れて行ったことがわかりました！ どうやら、これは感情の現れが彼に影響を与えた方法です。 この指標は優先事項であり、他のチャットボットが裁判官を欺くことはできなかったため、即座の勝利でした。