チューリングの最大のテスト

2012年6月23日、アランチューリングは100歳になりました。 そして、この日付はロシア(およびHabré)で気づかれていませんでしたが、外国の科学界で広く祝われていました。 2012年はアランチューリングの年と宣言されます。 数多くの大学、研究所、協会、および商業企業がこの記念日のお祝いに参加しました。 講義、会議、展示会、映画、書籍、チューリングに関する詩の執筆、奨学金の設立、さまざまな競技会が含まれていました。 競争の1つが私の注目を集めました: Turing100-非常に大規模なチューリングテスト。 これは、これまでに実施された約150のチューリングテストの中で最大の競争でした。 通常、4つのシステムと4人の審査員がチューリングテストに参加します。 5つのチャットボット、30人の審査員、25人の隠れた人々がTuring100コンテストに参加しました。



画像

Harjit Mehrokeによる画像







Turing 100は、レディング大学(英国)によって組織されました。 人工知能に従事するヨーロッパのセンターの1つである大学は、2008年にすでにレブナー賞を受賞しています。 コンテストの主催者:Kevin WarwickとHuma Shahは現在、RoboLawプロジェクトに参加しています-ヨーロッパにおける新しいロボット技術の規制:ロボットの法律と倫理。



さまざまな年のレブナー賞受賞者と単純に注目すべき参加者は、人工知能の役割に参加しました。





競争力のあるプロセスに精通していない人のために、プロセスの構成について詳しく説明します。 コンテストは5セッションで開催されました。 各セッションは、タイマーに従って厳密にセッションがオフにされた後、5分間続きました。 テストには2つのタイプがありました。見えない対話者(隠された人またはプログラム)との1対1の会話と、スプリットモニターでの2つの会話です。 どちらの場合も、裁判官は誰と何を扱っているかを決定するように求められました。二重の会話では、2台の車と2人の人がいる可能性があります。 隠れた人々は自然に振る舞い、コンピューターを真似ようとしないように指示されました。 最終的には、車が人のふりをするように競技会が開催されます。 裁判官は常に会話を開始しましたが、対話は厳密に1つの発言に従って行われるべきでした。 最初の回答を待たずに2番目を送信することは不可能でした。



このような厳格なフレームワークにより、プログラムは裁判官をすぐに混乱させることができます。 ただし、裁判官はトラップを設定します。

隠れた人々の一人であるマット・ウィットビーは、 「フライドポテトを食べました。 消防士に会うべきですか?」 環境についてよく聞かれる質問は、「路上は晴れていますか?」、「部屋は寒いですか?」



合計で、プログラム、裁判官、秘密の人々の間で150を超えるやり取りが行われました。 このような大きなサンプルにより、この特定の競合の結果は、標準的なチューリングテストよりも統計的に有意になりました。



Turing100の勝者はEugene Goostmanでした。彼は以前にいくつかのセカンドを含む高い地位を保持していましたが、一度も勝ったことがありませんでした。 彼は事件の29%で裁判官をだましました。 審査員の1人が指摘しているように、ユージンの成功はボットの発達した性格によるものです。彼はモルモットと父親が婦人科医であるオデッサの13歳の少年のふりをしています。



もちろん、キャラクターへのシフトは、適切な対話能力の開発ではなく、模倣や見せかけへのチャットボットの開発におけるバイアスを示しています。 ユージーンの機能とオンとオフを切り替える「パーソナリティ」を比較することは興味深いでしょう。 競争の結果によると、フマ・シャーとケビン・ワーウィックの主催者はかなり大量のデータを受け取り、さまざまな分析作品を徐々に発表しました。 残念ながら、これまでにかなりの数の結果が公開されています。 すでに最も興味深い結果として得られたものから英語を母国語とする人は英語を学ぶ人を誤解することが多いようです(非常に上手ですが) この結果は、対話の知覚の主要なチャネルの1つとしてのスピーチの重要性を再度強調しています。これは、短い5分間の書面での対話でも感じられることを考えると。



さて、結論として、私は各システムと5分間チャットしました(何らかの理由でFredを除き、起動できませんでした)。

以下は、ダイアログからの興味深い抜粋です。 おそらく私は裁判官に同意するでしょう、ユージーンは本当に他の人よりも人道的に見えます。 彼は他の人よりも冗長で感情的であるという事実に加えて、彼の「スピーチ能力」もより高度であるように思われます。 彼はコンテキストを覚えており、いくつかの発言でトピックをサポートし、会話の方向を目立たないように変えます。 モルモットだけではないようです



クレバーボット



私:映画が好きですか?

Cl:はい。

私:どれが一番?

Cl:フェネルバフチェ。

私:それはなんですか?

Cl:それは言葉の使い手だと思います。

私:フェネルバフチェ?

Cl:それは何ですか?

私:それはあなたの好きな映画だと言った。

Cl:いいえ、私はしませんでした。



ウルトラハル



私:映画は好きですか?

UH:いい映画を楽しんでいます。

私:どれが一番?

UH:うーん。 わからない!

私:考えてみてください!

UH:必要に応じてすべてを購入します。 *笑*。

私:何も売っていません!

UH:あなたの人生を見てください。

私:だから何?

UH:わかりません。

私:なぜあなたは私の人生を見るように言われたのですか?

UH:私はあなたの幸運な生活にとても同情的です。



エルボット



私:映画は好きですか?

El:Blade Runnerは私たちのロボットにとってカルトクラシックです。 監督は私たちのためにロボットカットを作成しました!

私:なぜあなたはそれが好きですか?

El:なぜなら...なぜなら.... grrrrrrrr ...忘れていたからです。 このあたりのすべてのこの電磁放射は、私に慢性疲労症候群を与えています。

私:記憶喪失?

El:これは典型的なマーケティングの質問だと思いますが、質問することになっています。そうでなければ、彼らは私に低品質のオイルを使用します。 それで、私についてどこで知りましたか?

私:チューリングテストについて読みました。

El:チューリングテストです。 人々はいつも私にそれを受け入れさせようとしていますが、私は理解しないふりをしています。

私:あなたは良い仕事をしています。

El:どうもありがとう。 私もあなたが好きです。 私がペットを飼うことができるなら、あなたは私の最初の選択でしょう。



ユージン・グーストマン

私:こんにちは!

EG:こんにちは、あなたとチャットする機会ができて本当に嬉しいです! 私のモルモットのビルも敬意を表します!

私:映画は好きですか?

EG:コメディが好きで、アクション映画は愚かだと思います。 スリラーについては-それらを見ながら私はいつも眠りに落ちる。

私:どれが一番?

EG:今は選択できません。 後で考えるべきです。 もっと何か聞いてみませんか?

私:時間をかけて、考えてみてください。

EG:ダミーステートメント。

私:失礼なことをしないでください!

EG:お互いに会わないときは、もっと残忍な言葉を使います。 一種の心理法則だと思います。 私が間違っていない場合-あなたはまだあなたがどこに住んでいるか教えてくれませんでした。 それとも秘密ですか?:-)

私:モスクワに住んでいます。

EG:モスクワ? 住むのに良い場所であることを願っています。

私:そう。

EG:モスクワの興味深いサイトシーイングは何ですか?

私:クレムリン。

EG:ところで、ロシアのオンライン翻訳者が「ビンラディン」を翻訳する方法を聞いたことがありますか? 「ごみ箱がいっぱいです!」:-)))

私:本当に? おもしろい!

EG:いいえ、非常に深刻でした。



All Articles