人工知能に冗談を教えることは可能ですか？

最近、車は人々を説得する数々の勝利を収めています。すでにゴー、チェス、そしてDota 2でも優れた性能を発揮しています。アルゴリズムは音楽を構成し、詩を書きます。 世界中の科学者と起業家は、人工知能が人間をはるかに超える未来を予測しています。 数十年後には、ロボットが車を運転して工場で働くだけでなく、私たちを楽しませる世界に生きる可能性が高いでしょう。 私たちの生活の重要な要素の1つはユーモアです。 人だけがジョークを思い付くことができると一般に受け入れられています。 これにもかかわらず、多くの科学者、エンジニア、そして普通の一般の人々でさえも疑問に思っています。コンピューターに冗談を教えることは可能ですか？



機械学習システムとコンピュータービジョンの開発者であるGentlemindsは、FunCorpと共同で、iFunnyミームデータベースを使用して面白い画像キャプションのジェネレーターを作成しようとしました。 アプリケーションは英語であり、主に米国で使用されるため、署名は英語になります。 カットの下の詳細。



調和の法則がある作曲とは異なり、私たちを笑わせるものの性質は説明するのが非常に困難です。 時々、私たち自身が私たちを笑わせた理由をほとんど説明できないことがあります。 多くの研究者は、ユーモアのセンスは、人に可能な限り近づくために人工知能が克服する必要がある最後のフロンティアの1つであると考えています。 研究は、ユーモアの感覚が性選択の影響下で長い間人々に形成されたことを示しています。 これは、知性とユーモアのセンスの間に正の相関があるという事実によって説明できます。 今でも、私たちの理解では、ユーモアは人間の知性の良いマーカーです。 冗談を言う能力には、熟練した言語スキルや視野などの複雑な要素が含まれます。 結局のところ、言語の習熟度は、主にしゃれに基づいているいくつかのタイプのユーモア（たとえば、英国人）にとって重要です。 一般的に、冗談にアルゴリズムを教えることは簡単な作業ではありません。



世界中の研究者は、ジョークを作るようにコンピューターに教えようとしました。 そこで、ジャネルシェーンは、「ノックノック！ 誰ですか？」（ノックノックジョーク）。 このネットワークをトレーニングするために、200のノックノックジョークのデータセットが使用されました。 一方で、これはAIにとって非常に簡単なタスクです。このセットのすべてのジョークは同じ構造を持っているからです。 一方、ニューラルネットワークは、入力データの小さなセット内の単語間の関連付けを単に見つけ、これらの単語に意味を与えません。 その結果、同じテンプレートに合わせたジョークが作成されます。これはほとんどの場合、おかしいとは言えません。



次に、エディンバラ大学の研究者は、Y、Zが好きであるように、Xが好きなジョークにコンピューターを教える成功した方法を提示しました。この作品の主な貢献は、最初の完全に教師なしのユーモア生成システムの作成です。 結果のモデルは、ベースを大幅に超えており、16％のケースで人々が面白いと考える面白いジョークを生成します。 著者は、大量の未割り当てデータのみを使用します。これは、ジョークを生成するのに常に深い意味理解が必要とは限らないことを示しています。



ワシントン大学の科学者は、彼女が言ったことであるテンプレートを使用して下品なジョークを思いつくことができるシステムを作成しました-TWSS（文字通り：これは彼女が言ったものです。 「それが彼女の言ったことだ」はジョークの有名なグループであり、The Office以来再び人気を博しています。 TWSSの課題は、2つの特徴を持つ問題です。第1に、名詞の性的明示的性質のe曲表現である名詞の使用と、第2に曖昧性です。 TWSSソリューションでは、名詞転送（DEviaNT）を介したDouble Entenderが使用されました。 その結果、ケースの72％で、DEviaNTシステムは、それが彼女が言ったことをいつ言うべきかを知っていました-このタイプの自然言語プログラムの素晴らしい成果です。



この記事の著者は、ニューラルネットワークに基づいてジョークを生成するためのモデルを提示しています。 モデルは、所定のトピックに関連する短いジョークを生成できます。 エンコーダーを使用してトピックに関するユーザー情報を表し、RNNデコーダーを使用してジョークを生成します。 このモデルは、コナンオブライエン（コナンクリストファーオブライエン）がPOSタガーを使用してショートジョークでトレーニングしました。 品質は、英語を話す5人によって評価されました。 平均して、このモデルは、固定構造のジョーク（エジンバラ大学の上記のアプローチ）を書くことで教えられた確率論的なモデルよりも優れています。



マイクロソフトの研究者は、コンピューターに冗談を教えることも試みました 。 The New Yorker誌の漫画コンペティションをトレーニングデータとして使用して、読者が提供する何千もの面白いキャプションから選択するアルゴリズムを開発しました。

上記のすべての例から分かるように、車に冗談を教えることは簡単なことではありません。 さらに、誰もが同じ冗談を異なる方法で知覚できるため、彼女には普遍的な品質指標がありません。 また、「面白いジョークを思い付く」という言葉自体は具体的に見えません。



私たちの実験では、タスクをもう少し簡単にし、コンテキスト（画像）を追加することにしました。 システムは、面白いサインを思いつく必要がありました。 しかし、一方で、もう1つのスペースが追加され、テキストと画像を比較するアルゴリズムを教える必要があったため、タスクはもう少し複雑になりました。

写真に面白いキャプションを作成する作業は、既存のデータベースから適切なキャプションを選択するか、何らかの方法を使用して新しいキャプションを生成することで軽減できます。 この実験では、両方のアプローチを試しました。



iFunnyが提供するベースに依存していました。 17,000個のミームがあり、それを写真と署名の2つのコンポーネントに分けました。 テキストが写真の上に厳密に配置されているミームのみを使用しました。







次の2つの方法を試しました。

• 署名の生成（ある場合にはマルコフ連鎖による、他の場合にはリカレントニューラルネットワークによる）;
• データベースからの画像に最も適した署名の選択。 視覚的なコンポーネントに基づいて実行されました。 最初のアプローチでは、画像について、ミームに基づいてクラスター内の署名を検索しました。 この作業ではMembeddingと呼ばれたWord2VisualVecのアプローチでは、関連する署名が画像に近い1つのベクトル空間に画像とテキストを転送しようとしました。

次のアプローチについて詳しく説明します。

ベース分析

機械学習の研究は、常にデータ分析から始まります。 まず、データベースに含まれている画像の種類を理解したかったのです。 https://github.com/openimages/datasetでトレーニングされた分類ネットワークを使用して、各画像について、各カテゴリの評価を持つベクトルを受け取り、これらのベクトルに基づいてそれらをクラスター化しました。 5つの大きなグループが特定されました。

1. 人。
2. 食べ物。
3. 動物。
4. 車。
5. アニメーション。

クラスタリングの結果は、基本的なソリューションの構築にさらに使用されました。



実験の質を評価するために、50枚の画像のテストベースを手動で収集しました。これは主要なカテゴリをカバーしています。 品質は「専門家」のアドバイスによって評価され、面白いかどうかを判断しました。

クラスター検索

アプローチは、署名がランダムに選択された写真に最も近いクラスターを決定することに基づいていました。 画像記述子は、分類ニューラルネットワークを使用して決定されました。 k-meansアルゴリズムを使用して以前に特定した5つのクラスター（人、食べ物、動物、アニメーション、車）を使用しました。

結果の例を以下に示します。 クラスターは非常に大きく、その内容の意味は大きく異なる可能性があるため、間違ったフレーズと関連して画像に一致するフレーズの数は約1から5でした。これは、クラスターが5、しかし実際には、クラスターが正しく定義されていても、その中に不適切な署名が多数残っています。

	私は食べ物を買う対私は教科書を買う
	上司：ここでは科学が好きだと言っています ガイ：そう、実験するのが大好き 上司：何で実験しますか？ Guy：大抵はただの薬とアルコール
	警官：容疑者をよく見ましたか？ ガイ：はい 警官：男性ですか、それとも女性ですか？ ガイ：私は彼らに尋ねなかったのか分からない
	ヒラリー：なぜ私に彼らがそうだったと言わなかったのですか 調査を再開しますか？ オバマ氏：雌犬、私達はあなたに電子メールを送りました

	「奥様、これの許可はありますか ビジネス» 少女：クソドーナツを売っているように見えますか？！
	女王が車内に閉じ込められたため、2万匹のミツバチの群れが車に2日間続いた。
	私はすべてのスイカでそれらの数学の問題で男を見つけました...
	オレンジコーンの目的はそれです

視覚的類似性検索

クラスタリングの試みは、検索用のスペースを狭めることを試みるべきだという考えにつながりました。 そして、それ自体の内部のクラスターが非常に多様なままである場合、入力されたクラスターに最も類似した画像を検索すると結果が得られる可能性があります。 この実験の一環として、まだ7880カテゴリでトレーニングされたニューラルネットワークを使用しました。 最初の段階では、ネットワークを介してすべての画像を渡し、5つの最も評価の高いカテゴリと最後から2番目のレイヤーの値（視覚情報とカテゴリ情報の両方を保存）を保存しました。 写真の署名を検索する段階で、5つの最高のカテゴリを受け取り、データベース全体で最も類似したカテゴリの画像を検索しました。 これらのうち、最も近い10個を使用し、このセットから署名をランダムに選択しました。 ネットワークの最後から2番目の層の値を使用して、検索実験も実施されました。 両方の方法の結果は類似していました。 平均して、1〜2の失敗した署名が5つの失敗した署名を占めました。 これは、人々の視覚的に類似した写真の署名が、写真と状況自体で多くの人間の感情を演じたという事実による可能性があります。 以下に例を示します。

	私は食べ物を買う対私は教科書を買う
	あなたが知っているように振る舞わないでください あなたがしなければ政治 これが誰なのかを知る
	冗談を言っても誰も笑わないとき
	格好良い人にはユーモアのセンスがないとき #whatawaste

	ろくでなし、あなたの王に会います。
	彼は何もしなかった私の少年を解放
	彼らはライセンスを読まなかったと思う プレート
	誰かがあなたにその方法を教え始めたら 後部座席から運転する

イメージ記述子をテキスト記述子のベクトル空間にキャストすることにより、組み込み、または最も適切な署名を見つける

Membeddingを構築する目的は、私たちにとって関心のあるベクトルが「近い」空間です。 Word2VisualVecの記事のアプローチを試してみましょう。



写真とキャプションがあります。 画像に「近い」テキストを見つけたい。 この問題を解決するには、次のものが必要です。

1. 画像を記述するベクトルを作成します。
2. テキストを記述するベクトルを作成します。
3. 目的のプロパティを持つベクトル空間を構築します（テキストベクトルはイメージベクトルに「近い」）。

画像を記述するベクトルを構築するために、6000 +クラス用に事前トレーニングされたニューラルネットワークhttps://github.com/openimages/datasetを使用します 。 ベクトルとして、このネットワークの最後から2番目の層からの出力を2048の次元で取得します。



テキストのベクトル化には、Bag Of WordsとWord2Vecの2つのアプローチが使用されました。 Word2Vecは、すべての画像キャプションの単語から学習しました。 署名は次のように変換されました。テキストの各単語はWord2Vecを使用してベクトルに変換され、その後、算術平均ルール（平均ベクトル）に従って共通ベクトルが見つかりました。 したがって、画像がニューラルネットワークの入力に供給され、平均ベクトルが出力で予測されました。 画像記述子のベクトル空間にテキストベクトルを「埋め込む」ために、3層の完全に接続されたニューラルネットワークが使用されました。







訓練されたニューラルネットワークを使用して、署名ベースのベクトルを計算します。

次に、畳み込みニューラルネットワークを使用して、画像の署名を見つけるための記述子を取得し、コサイン距離に最も近い署名ベクトルを探します。 最も近いものを選択でき、n個の最も近いものからランダムに選択できます。

良い例	悪い例
元の葬儀の様子	2018年の教師であることは、1つのイメージに要約されています。
あなたは私を追い越さない	私：ドアを静かに閉じてください乗客：

テキストを説明するBag of Wordsメソッドを使用してベクトルを構築するには、次のメソッドを使用します：署名の3文字の組み合わせの頻度を計算し、3回未満発生するものを破棄し、残りの組み合わせから辞書を作成します。

テキストをベクトルに変換するには、テキスト内の辞書から3文字の組み合わせの出現回数を計算します。 次元5322のベクトルを取得します。

結果（5つの「最も近い」署名）：

	彼女がヌードを送ったが、あなたはより良いアメリカを望んだとき
	あなたが暖かいを楽しんでいるとき 12月の天気ですが、深いです あなたはそれが原因だと知っています 地球温暖化
	オスカーを獲得しないことのストレスは レオに損害を与え始めている
	神様、私たちを次のものにしてください これほど強いアメリカ大統領 黄色のボタン。 アーメン

	私のラップトップは3後に写真を撮るように設定されています 誤ったパスワードの試行。
	私の猫は、彼の新しいバードセービングビブに興奮していません...
	冗談 あなたの猫に「彼はクソ猫だ」と言ってください
	この猫はスターウォーズのカイロ・レンのように見えます

	Bruh QCに勝ったUい男たち
	シングルママはパパのように服を着る 息子は「お父さんとドーナツ」を見逃すことはありません 学校の日
	ステーキマンはリラックスしなきゃ....
	私の友人は2つのデートでプロムに行きました。 予定通りに進まなかった...

同様の画像の場合、キャプションはほぼ同じです。

	彼女は美しい写真を撮ることができます 私たちの猫の。 一見できない...
	私のラップトップは3後に写真を撮るように設定されています 誤ったパスワードの試行。
	この猫はスターウォーズのカイロ・レンのように見えます

	猫は常にあなたを好きに見ます あなたはちょうど彼らに乗るために彼らに尋ねました 空港
	私のラップトップは3後に写真を撮るように設定されています 誤ったパスワードの試行。
	最高のウェディングギフトに座っている猫 彼の顔の写真が描かれた毛布を受け取った...

その結果、成功例と悪い例の比率は約1対10であることが判明しました。これは、普遍的な署名の数が少ないことと、トレーニングセットに含まれるミームの割合が大きいことによって説明される可能性が高いです。

署名生成：WordRNNアプローチ

この方法の基礎は、 各層がLSTMである2層リカレントニューラルネットワークです 。 このようなネットワークの主な特性は、次の値が前の値に依存する時系列を推定する機能です。 次に、署名はそのような時系列です。



このネットワークは、テキスト内の次のすべての単語を予測するようにトレーニングされました。 トレーニングサンプルでは、​​署名の全体が取得されました。 このようなネットワークは、何らかの意味で意味のある、または少なくとも面白い署名を生成する方法を学習できると想定されていました。



最初の単語だけが尋ねられ、残りは生成されました。 結果は次のとおりです。

トランプ ： トランプ猫」宇宙で唯一のものについてほとんど怖がって友達になった

Obama： obama LAUGHING drop FAVORITE 4rd FAVORITE 4rd fucking long

アジア人： アジア人のRR IIの外観は私に見えます：あなたがそれを着ている灰色のキャンディーテクノロジーを手に入れたと思う前に

猫： 猫与えるだけでウェイターが言ったとき*彼のパンでケーキを感じているのを聞いた

車： 車のシャキッとした“エマ：お願いします” BUS 89％スターターはピザのペニスが足りないので失望しますか？

先生： 先生、それは出て行かないと感じたからです。



予想に反して、受け取った署名はむしろ言葉の集まりでした。 一部の場所では、文の構造はかなりよく模倣されており、個々の部分は意味がありました。

マルコフ連鎖を使用した署名生成

マルコフ連鎖は、自然言語をモデリングするための一般的なアプローチです。 マルコフ連鎖を構築するために、テキストの本文は、単語などのトークンに分割されます。 トークンのグループは状態ごとに割り当てられ、トークンとテキスト本文の次の単語との間の遷移の確率が計算されます。 生成中に、コーパスの分析で得られた確率分布からサンプリングすることにより、次の単語が選択されます。



実装のために、 このライブラリが使用され、トレーニングベースとして-ダイアログの署名がクリアされました。

改行-新しい署名。



結果（状態-2ワード）：



あなたの相棒があなたにm 90を言ったとき



ドウェイン・ジョンソンとロックは双子です。 彼らがカメを所有している場合は、ビールの缶と愛国的な旗の日焼けがあります。



この男はあなたに現れますが、あなたはあなたの両親対私と同じくらい誤って冗談を取得しようとします



5分以内に仕事に行く準備をして、パーティーがこれほど明るくないかどうかを判断します。 物資を縫わないでください...



彼のレゴとぶら下がっているジャスティン



ママがレポートカードを9時間喫煙して雑草を呼んでいることに気づいたとき



柔和を救える少女にメッセージを送る

結果（状態-3ワード）：



卒業したが宿題の答えを尋ねるのが好きではないとき



whenいときはクリエイティブになろう



私の犬はいつか死ぬつもりです。



あなたがラジオでクリスマスソングを聞いたが、それが終わったとき



あなたの女の子が出かけ、あなたは彼女があなたに尋ねたように実際に掃除しました



チャックはプロムクイーンに150回ブレアを投票し、より健康的な選択を開始することにしました。



皿洗いを終えて振り向くと思ったら、ストーブの上にもっとある



同じミームを何度も見ると、パスコードの信頼を要求します。



3つの単語がある状態では、テキストは2つの単語よりも意味がありますが、直接使用するにはあまり適していません。 おそらく、署名を生成するために使用でき、その後の人による調整が可能です。

結論の代わりに

ジョークを書くアルゴリズムを教えることは非常に難しい作業ですが、非常に興味深いです。 彼女の決定により、知的アシスタントはより「人間的」になります。 例として、現在のバージョンのアシスタントとは異なり、ユーモアのレベルが調整され、ジョークが予測できない映画インターステラーのロボットを想像できます。



一般に、これらのすべての実験の後、次の結論が導き出されます。

1. 署名を生成するアプローチには、テキストの本文、教育方法、モデルのアーキテクチャを扱う非常に複雑で時間のかかる作業が必要です。 また、このようなアプローチでは、結果を予測することは非常に困難です。
2. 結果の観点からより予測可能なのは、既存のデータベースから署名を選択するアプローチです。 しかし、これには困難が伴います。
   
   
   
   
   • 意味はアプリオリ情報でしか理解できないミーム。 このようなミームは、他のミームと区別するのが難しく、データベースに分類されると、ジョークの品質が低下します。
   • 写真で何が起きているのかを理解する必要があるミーム：どのような行動、どのような状況。 そのようなミームは、再び、ベースに落ちて、品質を低下させます。
3. エンジニアリングの観点から、この段階での適切な解決策は、最も人気のあるカテゴリに対して編集グループがフレーズを慎重に選択することであると思われます。 これはセルフィー（通常、人々は自分自身または友人や知人の写真でシステムをチェックします）、有名人（トランプ、プーチン、キムカーダシアンなど）の写真、ペット、車、食べ物、自然です。 また、カテゴリ「rest」を入力して、システムが画像に表示されているものを認識しない場合に備えてジョークを用意することもできます。

一般に、今日、人工ジョークはジョークを生成することはできません（すべての人がこれに対処できるわけではありませんが）が、自分に合ったものを非常にうまく選択できます。 イベントの開発をフォローし、イベントに参加します！