心を求めて：ニューラルネットワークを使用して「ユニバーサル」チャットボットを作成することは可能ですか？

今日のチャットシステムはチャットボットであり、無作法に増えています。 しかし、彼らの「知性」のレベルはしばしば憂鬱です。 人気のあるチャットボットは、テンプレートを使用するか、インテント+エンティティモデルを使用して機能します。 彼らは単純なタスクに完全に対処します（アラームを設定、リマインダー、よくある質問への回答を見つけます）が、「思考」の狭さや限界は表面的な調査でも簡単に検出されます。 ニューラルネットワークは、おそらく完全に合理的なものに近いものを作成するのに役立ちますか？



Googleの研究者がseq2seqニューラルネットワークを教えて映画の字幕の巨大なデータベースを使用して回答を生成した今の古典的な作品[1]を読んで、私の感覚を非常によく覚えています。 可能性は無限に思えました：



D：私の名前はジョン、私の名前は何ですか？

N：ジョン

W：犬の足はいくつですか？

N：4

W：空は何色ですか？

N：青

C：猫にはしっぽがありますか？

N：はい

C：猫には翼がありますか？

N：いいえ

対話は私によってロシア語に翻訳されます。 H-男、N-ニューラルネットワーク



非常にノイズの多いデータに基づいたルールのないネットワークが、そのような質問（そのような定式化のデータ自体にはない）に正しく答えることができるのは驚くことではありませんか？ しかし、すぐに、このアプローチは多くの問題を明らかにしました：

• 長期記憶を更新できない。 たとえば、「私の名前はジョンです」は、コンテキストから消えるとすぐに忘れられます。 これは、新しい事実を記憶できず、何らかの形でそれらを操作できないことを意味します。
• 外部ソースから情報を受信できない
• 知識を他のトピックに移すことができない。 新しいモデルをトレーニングするには、多くのデータが必要です。
• アクションを実行できない
• 短い/頻繁に答える傾向（たとえば、「yes」という単語で質問に答える）

その結果、現在、ほとんどの実用的なシステムは、事前に準備された回答とランキングオプション（ルールと機械学習を使用）に基づいており、言葉によると、最初から回答を合成するという考えは背景に消えています。 Google Smart Replyでさえ、ニューラルネットワークの助けを借りて、ランキング[2]を使用するようになりました。 意味を理解しなくても、ランキングは効果的です-構文変換と単純なルール[7]のみが原因です。 ランキングの実験では、たとえニューラルネットワークによって実行されたとしても、表面分析が支配的であり、非常に大規模なニューラルネットワークのみが一般的な主題知識の一部の初歩しか示しません[8]。



また、すべての一般的なチャットボット、仮想アシスタントなどのプログラムは実用的に機能します。 SiriとCortanaは、理解している各トピックが手動で慎重に構成されているという事実[6]のみにより、非常にインテリジェントなシステムであるように思われ、高品質の回答を実現できます。 しかし、一方で、いくつかの調査によると、企業がこれらのアシスタントを開発するために行った多大な努力に対して、実際にそれらを使用するのは電話ユーザーの13％のみです（同時に、46％がこれまで試したことはありますが、使用を拒否しました[11]）。 さらに、これらはストリームに配置されたよく知られた技術であり、それらに対処するのは退屈です。 私は潜在的にもっとインテリジェントなものを望んでいますが、同時に、練習から完全に離婚したわけではありません。



何年も前、さまざまなSF小説を読みながら、「Planning Machine」のアイデアが好きでした





はい、小説では、そのような機械はしばしば否定的な性格です。 しかし、会社に同様のプランニングマシンを設置して、だれが何をすべきかを伝えるのはどれほど便利でしょう。 また、さまざまな問題を個別に解決しました。



もちろん、このような各機能を個別にプログラムできます。 これは、既存のCRM / BPMシステムのインテリジェント機能の開発者が行く場所です。 しかし、そうすることで、システムの柔軟性を奪い、プログラマーのスタッフが絶えずこれらの機能を追加したり書き換えたりする運命にあります。 他の方法はありますか？



上記の欠点を克服する主な方向は、ニューラルネットワークに外部メモリを供給することです。 このメモリには、主に2つのタイプがあります。たとえば、[3]で微分可能で、微分不能です。 差別化されたメモリは、メモリからの書き込みおよび読み取りのメカニズム自体がニューラルネットワークであり、一緒にトレーニングされることを前提としています。 ダイアログをモデル化するために、主にオプションが使用されます。読み取りメカニズムのみがトレーニングされ、書き込みメカニズムにはハードコーディングされた要素が含まれます（たとえば、n個のメモリスロット、記録はスタックのようになります）[4]。 そのようなメカニズムは拡張が困難です 各要素のメモリ内の要素を見つけるには、ニューラルネットワークを使用して計算を実行する必要があります。 さらに、このようなメモリの内容は、手動で解釈、編集することができず、正確ではない場合があり、実際のシステムの使用を大幅に複雑にします。



理想的には、ニューラルネットワークが従来のデータベースに似たもので動作することを望みます。 したがって、彼らは大規模な知識ベースと連動する質問応答システムに関連する作業に注意を喚起しました。 特に、興味深い記事[6]を見つけました。この記事では、ニューラルネットワークが、ユーザーからの質問に基づいてLISP言語のグラフデータベースへのクエリを生成します。 すなわち ニューラルネットワークはデータに直接アクセスしませんが、小さなプログラムを作成し、その実行により目的の答えが得られます。



ニューラルネットワークの外部メモリとしての知識のグラフィカルな表現は、一般的に非常に人気のあるソリューションです。一方で、世界に関する多様な知識を入力する方が簡単であり、他方では、このスキームは情報を人間の脳に保存する方法に似ていると考えられています



タスクに関連して、次のスキームが取得されます。







もちろん、より複雑な問題を扱っています。 まず、システムが機能するためには、ニューラルネットワークが情報を抽出できるだけでなく、新しい情報も記録できる必要があります。 明らかに、まったく同じ情報をまったく異なる方法で記述することができ、システムに柔軟性を持たせたい場合、すべての種類の関係を事前に修正することはできません。 これは、プログラム自体が情報を記録する正しい方法を選択し、それが書き留めたものを取得できることを意味します。



さらに、実際には、他の質問が発生します。

• 仕事のスピード。 そのようなメカニズムは十分に効果的ですか？ プログラマーは、効率的なデータベース構造を設計するために多大な労力を費やしています。 データがニューラルネットワークで構成されている場合はどうなりますか？
• 数ヶ月/数年の仕事の後、何が起こるでしょうか？ システムを散らかして作業を不可能にする、誤った、意味のない、まとまりのない情報が蓄積するリスクがあります。
• 安全性 すべての人にすべてを伝えることはできません。また、誰もがデータを変更できるわけではありません。 システムに伝達されるすべての情報が信頼できるとは限りません。
• トレーニングサンプルの不足-ニューラルネットワークをトレーニングするためのデータの入手先
• その他の落とし穴

すべての質問に一度に答えることができないことは明らかなので、最も正しいアプローチは段階的な実装です。



最初の段階では、グラフデータベースとそれにクエリを実行するための言語が必要です。 グラフデータベースの実装にはかなりの数があり、SPARQL、Cypherなどの一般的な言語がいくつかあります。 言語の構造が、ニューラルネットワークがクエリを生成する能力に大きく影響することは明らかであるため、既存のグラフデータベースエンジンに対して独自のアドオンを作成することにしました。これには、さらに最適化できる特別な言語が含まれています。 開発を簡素化するために、この言語はもともとPythonクラスを使用して実装され、実際にはPythonのサブセットでした



例（非常に簡単）：

テキスト	リクエスト
3つの枕が倉庫に到着しました。	MatchOne（{"type"： "warehouse"}）。Add（ "name"： "pillows"、 "quantity"： "3"）
在庫の枕はありますか？	MatchOne（{"type"： "warehouse"}）。Child（{"name"： "pillows"}）。NotEmpty（）

言語はグラフをナビゲートする方法を説明していることに注意してください。 同じことを見る別の方法があります：グラフ内の各ノードが別々のニューロンであると想像してください。 入力で、彼はいくつかの情報を受け取ります-入力ニューロンの活性化ベクトルと以前の活性化の履歴ベクトル。 ニューロンは分類子として機能します-プロセスが（既存の接続から）どの方向に進むかを選択します。 これは、少なくとも既存の記憶理論のいくつかである、人間の脳[9,10]で実際に発生するプロセスに非常に似ています。









クエリの例では、倉庫内の商品のモデルサブジェクトを使用しました。 まず、手動でダイアログを選択し、それらに適切なクエリを割り当てました。 目標は、クエリ言語とスキーム全体が十分な種類のケースを網羅していることを確認することでした。 しかし、非常に迅速に、限られたモデルの世界ではアプローチのすべての側面をチェックできないことが明らかになりました。 実際、モデルの状況で動作するシステムが提案されている多くの作業がありますが、これを実践に変換する方法は明確ではありません。 また、クエリを手動で作成することは、非常に生産的なタスクではありません。



そのため、モデルシステムにスキーム全体を実装し、一時的にニューラルネットワークをルールシステムに置き換えました。 このアプローチは非常に合理的です。なぜなら、全体としての問題の複雑さにすぐにownれずに重要なコンポーネントの作業をデバッグでき、同時に「おもちゃ」モデルの問題を回避できるからです。



アプリケーションの対象として、プロジェクト管理システムを選択しました（いつか「計画マシン」を取得することを念頭に置いて）。 システムの使用という観点から実装プロセスがどのように見えるかは、 前の記事で読むことができます（経験的に、音声インターフェイスの有用性とプロジェクトの作業を正しく整理する方法について興味深いことを学びましたが、これはストーリーの主要なトピックではありません）。



物事の主なスキームに関しては、得られた経験が非常に重要でした。 主な変更は、検索の構成と短期記憶の導入に関するものでした。



対話プロセス（長い間知られています）の場合、会話のコンテキストは非常に重要です。 このシステムを使用するには、コンテキストが絶対に必要であることが証明されています。 1つの大きなデータウェアハウスを備えた回路は、トラッキングを完全に「アナライザ」に配置します。 ルールについては、このタスクは圧倒的でした。また、他の研究から知られているように、ニューラルネットワークについても困難です。 短期的な外部メモリの明示的な表現は、現在、ニューラルネットワーク[4]に基づく対話システムで一般的なアプローチであり、ユーザーが作業コンテキストの内容を表示できるようにすることも非常に重要です。 そのため、最近アクセスされた（または最近作成された）グラフのノードを保存するスキームに追加のブロックが現れました。



さらに、実際には、ほとんどのノードは長い名前（タスク名など）を受け取りました。 完全一致タスクのマッチングは効果的ではなくなったため、グラフの各ノードにはベクトル表現が装備されていました（最初に、単語の袋とword2vecの名前ベクトルの合計を試しました）。 これにより、一方でファジーマッチ検索コマンドを言語に統合し、他方で微分可能な外部メモリで使用されるデータ構造に近づけることができました。 これは一種のキー値構造であり、キーはベクトルであり、値は任意の種類のデータです。 値ベクトルは訓練することができ、注意の神経モデルのアドレス指定メカニズムの一部にすることもできます。



一般に、結果として得られるコンポーネントのセットは実行可能で、他のプロジェクトでの使用に適していることが判明しました。 そのため、特にルールのバージョンの実装中に特定のダイアログが蓄積されたため、ルールのアナライザー（可能性が非常に限られています）をニューラルネットワークに置き換える作業を開始しました。 ただし、このトピックは1つの記事のフレームワークには収まらないようです。テキストがすでに非常に長いことが判明しているため、少なくともニューラルネットワークについてさらに多くのことを書く必要があります。 したがって、取り上げられたトピックが読者の関心を引く場合は、ブログの次の記事のいずれかに続きます。