広範な検索機能を備えたセマンティックニュースアグリゲーターの実装

この記事の目的は、テキストをセマンティック表現に完全に変換し、得られた知識ベースに基づいてセマンティック（セマンティック）検索を編成することに基づいたプロジェクトの実装に関する経験とアイデアを共有することです。 このシステムの機能の基本原則、使用される技術、およびその実装中に発生する問題について説明します。

なぜこれが必要なのですか？

理想的には、セマンティックシステムは、処理された記事の内容をセマンティックコンセプトのシステムの形で「理解」し、主要なもの（「内容」についてのテキスト）を識別します。 これにより、システムがクエリ単語に従って検索するのではなく、これらの単語の背後にある意味で検索する場合、より正確なクラスタリング、自動要約、およびセマンティック検索の大きな機会が得られます。



セマンティック検索は、検索文字列に入力されたフレーズの意味内の答えであるだけでなく、一般的にユーザーがシステムと対話する方法です。 セマンティッククエリは、単純な概念またはフレーズだけでなく、ドキュメントでもあります。同時に、システムはセマンティックに関連するドキュメントを生成します。 ユーザーの関心プロファイルもセマンティックリクエストであり、他のリクエストと並行してバックグラウンドで動作できます。



通常、セマンティッククエリへの応答は、次のコンポーネントで構成されます。

• 質問への直接的な回答と、要求および関連する概念に関するその他の情報。
  
  
  
  
• 要求の概念に意味的に関連するセマンティック概念。これは、質問への回答と、要求を「明確にする」手段の両方になる場合があります。
  
  
  
  
• テキストドキュメント、マルチメディアオブジェクト、要求されたセマンティックコンセプトを明らかにして説明する関連サイトへのリンク。

ニュースアグリゲーターは、このようなセマンティックアプローチを実行するための最も便利な情報アプリケーションです。 処理されるテキストの量が比較的少なく、処理エラーの許容レベルが高い作業システムを構築できます。

オントロジー

オントロジーを選択する際の主な基準は、セマンティックテキストパーサーの構築と効率的な検索編成の両方の使用の利便性でした。 システムを簡素化するために、検索タスク（サポート情報）にはあまり重要ではないと思われる、テキストに含まれる情報の一部を処理しないか、許容できる大きなエラーレベルで処理することが可能であると仮定しました。



オントロジーでは、単純なセマンティックコンセプト（オブジェクト）を次のクラスに分類できます。

1. 物質的なオブジェクト、人、組織、無形のオブジェクト（たとえば、映画）、地理的なオブジェクトなど。
2. アクション、インジケーター（「販売」、「インフレ」、「メイク」）。
3. 特性（「大」、「青」）、それらを属性と呼びます。
4. 期間、数値情報。

テキストに含まれる情報の基礎は、第2クラス（アクション）と第1クラスの概念のセマンティックな組み合わせによって形成される「ノード」です。 さまざまなタイプのオブジェクトが、無料の価数（役割）を入力します（たとえば、価格- どの製品の場合？どこ？どの売り手？ ）。 ファーストクラスのオブジェクトは、アクションとインジケーター（価格- 原油価格）を指定、指定すると言うことができます。 アクションオブジェクトだけでなく、ファーストクラスオブジェクト（「 ロシア企業」）も「ノード形成」オブジェクトとして機能できます。 このアプローチは、西洋のコンピューター言語学で広く知られているフレーム（ Framenet ）に似ています。



1つのノードが別のノードの空の役割を埋めると、ノードは互いに入力できます。 その結果、テキストはネストされたノードのシステムに変換されます。



原則として、第1および第2クラスのセマンティックコンセプトに適用される特性は、検索タスクに関連する「セカンダリ」情報と見なすことができます。 たとえば、「 低価格が残っている」、「ヨーロッパへの安定した石油供給」という表現では、斜体の属性は重要性が低く、他のオブジェクトはそうです。 このような情報はノードには含まれませんが、ドキュメント内の特定の場所に関連してノードに関連付けられます。 同様に、数値情報と期間がノードに付加されます。



次の図は、2つの単純なフレーズの意味変換を示しています。 色付きの長方形はノードテンプレートの要素であり、その上の長方形はこのテンプレートに従って構築されたノードの要素です。





このアプローチでは、2種類の情報があります。

• 特定のノードが存在します（「石油価格」）。 このようなノードのドライブは、「ナレッジベース」と呼ばれます。
• このノードは、特定の属性、数値、および期間を持つドキュメントの特定の場所に存在します。

原則として、最初にクエリに関連するノードを探してから、受信したデータを補助パラメーターでフィルターする場合、情報の取得を単純化および高速化するために、このような分離を行います。

テキストを意味表現に変換する

セマンティックテキスト変換の主なタスクは、そこに含まれるオブジェクトを適切なノードのセットとして構造化することです。 これを行うには、ノードテンプレートのシステムを使用します。このシステムでは、要素ごとに、許容可能なタイプのオブジェクトに条件が設定されます。 タイプはツリーグラフを形成します。 特定のタイプのオブジェクトがノードテンプレートの特定のロールに設定されている場合、同じタイプまたは「従属」タイプのすべてのオブジェクトがこのロールに適している場合があります。



たとえば、ノード「トレードオペレーション」では、アクティブなオブジェクト（売り手または買い手）は、すべての基礎となるタイプ（会社、ショップ、文化施設など）のオブジェクトだけでなく、「個人または組織」タイプのオブジェクトになります。 ノードテンプレートでは、構文上の制限も導入します。 テキストのセマンティック分析の他のほとんどのシステムとは異なり、構文の依存関係のネットワークの形成を予備解析するのではなく、セマンティック分析と並行して構文の制限を適用します。





主な段階を簡単に説明します。



最初に、個々の単語または既知のフレーズによって決定される単純なオブジェクトの識別が実行されます。 次に、姓と名の組み合わせが人の指標として決定され、システムにとって未知のオブジェクトである可能性のある個々の単語および単語のシーケンスを分析するアルゴリズムが機能しています。



第2段階では、クラス1のオブジェクトに基づいてノードを形成し、オブジェクトを改良します。 「モスクワの商社の最高経営責任者（CEO）」の「Horns and Hooves」というタイプのフレーズは、1つのオブジェクトにまとめられます。 これらのノードに含まれる補足情報（この例では、場所の記号としての「モスクワ」と業界の記号としての「取引」）を指定した会社のセマンティックリンクグラフに追加できます。 次の章では、意味関係のグラフをより詳細に検討します。



次に、テキストは一連の独立したフラグメントとして構造化される必要があり、各フラグメントには通常、動詞に基づく特定のフレーズが含まれ、理想的には1つのノードに折り畳まれ、他のノードが含まれる場合があります。 参加ターンやその他の構造を処理し、すでに形成されたノードを含むクラス1オブジェクトの列挙を特別なオブジェクトに変換します。



その後、各フラグメントについて、 クラス2のオブジェクトに基づいて適切なノードの検索が行われます 。 1つのノード形成オブジェクトに対して複数のノードが形成される場合、このフラグメント内のオブジェクトの最大数を含むノードが残ります。 したがって、周囲のオブジェクトのタイプに基づいて、「行く」などの意味的に広いオブジェクトから、明確な意味上の意味を持つノードへの移行があります。 初期処理中に同音異義語の場所でいくつかの並列オブジェクトが発生した場合、この処理の後、それらのオブジェクトのみがノードに含まれます（つまり、それらは隣接オブジェクトと意味的に一貫しています）。



セマンティック表現への変換の最後のブロックは、テキスト内のノードを形成するオブジェクトから削除されたが、暗黙的な意味を持つオブジェクトのアカウンティングです 。 たとえば、「モスクワは暖かく、雨が降っています。 明日は寒くなり、雪が降るでしょう。」 文の終わりのセマンティック分析では、地理的オブジェクトの役割が空いており、多くの兆候によってモスクワに適しているものを判断できます。



ノードが完全に形成されると、属性、数値情報、および期間がそれらに付加されます。 典型的な状況は、期間がテキストの1箇所のみで示されているが、テキスト全体のいくつかのノードを指している場合です。 「期間」がセマンティック値に基づいて十分ではないすべてのノードにわたる期間の「分布」に特別なアルゴリズムを使用する必要があります。



最後に、各ドキュメントでメインオブジェクトを定義します（このドキュメントの内容）。 発生回数に加えて、さまざまなタイプのノードへのオブジェクトの参加が考慮されます。



豊富なセマンティック情報を使用して、ドキュメントのセマンティックな近接度をかなり正確に測定できます。 メジャーが特定のしきい値の意味的近接度を超える場合、ドキュメントをクラスターに結合します。 クラスターのセマンティックプロファイル（クラスターのメインオブジェクト、通常は検索される）とクラスター間のセマンティックリンクのネットワークを形成し、特定のドキュメントに意味が関連するドキュメントの「クラウド」を表示できるようにします。

セマンティック検索の仕組み

セマンティック検索アルゴリズムは、次のメインブロックで構成されています。



まず、 テキストクエリの場合は、セマンティック表現に変換する必要があります 。 上記のドキュメント処理アルゴリズムとの違いは、まず第一に、非常に高速な検索クエリの必要性によって決まります。 したがって、ノードを形成しませんが、潜在的にノードを形成するオブジェクトと、リクエスト内のタイプと位置に基づいて、このノードを形成できるオブジェクトからなる1つまたは複数のブロックを選択します。



同時に、いくつかの並行する組み合わせを形成できます。次の段階では、ナレッジベースを介して「モスクワ企業」タイプの組み合わせを特定のオブジェクトのリストに開く必要がありますが、もう一方では不要です。





次の段階は、 意味的に関連するオブジェクトとノードの検索です 。 単一のクラス1オブジェクトの場合、これは意味的に関連するオブジェクトの選択です。 「アクション+オブジェクト」の組み合わせの場合、ノード形成オブジェクトと同じまたは下位のタイプを持ち、同時に要求オブジェクトに一致するか意味的に関連するオブジェクトを持つノードを検索します。 また、「モスクワ企業」または「ヨーロッパ諸国」タイプの組み合わせは、特定のオブジェクトのリストに公開されます。



ここでは、オブジェクト間の意味関係のツリーグラフが使用されます。 その構造の原理は単純です-このオブジェクトの検索で考慮すべき「従属」オブジェクトは、特定のオブジェクトに関連付けられます。 たとえば、都市は州に従属し、政治家は州にも従属し、企業は国または都市に従属し、企業のリーダーは企業に従属します。 マテリアルオブジェクトの場合、このグラフは、より一般的な概念から特定の概念まで構築され、タイプグラフと部分的に一致します。



多くのオブジェクトの場合、「部下」の数は非常に多くなる可能性があり、最も重要なものを選択する必要が生じます。 このために、セマンティックコミュニケーションの数値係数がグラフの要素間で確立され、オブジェクトの重要性に基づいて計算されます。 オブジェクトの種類ごとに、たとえば、経済指標（売上高）または従業員数に基づいた企業の場合、地理的オブジェクトの場合-人口の数に応じて、重要度が異なります。



次に、 クラスターのオブジェクトプロファイルの前の段階の出力で取得された単純なオブジェクトとノードを探します 。 クラスターがほとんど見つからない場合は、ドキュメントのオブジェクトプロファイルで検索が行われます。



検索クエリに属性オブジェクト（特性）が含まれている場合、見つかったノードに関連付けられた必要な属性の存在によって、見つかったドキュメントの追加のフィルタリングが実行されます。 クエリにデータベース内のセマンティックオブジェクトへの移行がないトークンがある場合、セマンティック検索は語彙素による通常のテキスト検索によって補完されます。



最後に、 見つかったクラスターとドキュメントをランク付けし、スニペットと出力の他の要素 （関連オブジェクトへのリンクなど）を形成します。 ランキングは通常、要求オブジェクトとドキュメントの検索に使用されるオブジェクトとの間のセマンティック接続の程度に基づいています。 また、ランキングの際に、ユーザーの関心の意味プロファイルを考慮することができます。



複雑なクエリの実行を開始する前に、さまざまなコンポーネントの処理の複雑さを分析し、処理中に表示される中間オブジェクトまたはドキュメントが少なくなるように実行順序を構築する必要があります。 したがって、処理順序は常に上記のとおりであるとは限りません。 最初にリクエストの一部に基づいてドキュメントを検索し、次にリクエストの残りの部分に関してドキュメントに含まれるオブジェクトをフィルタリングすることが有益な場合があります。



「広範な」クエリには、「経済」、「政治」、「ロシア」など、非常に多くの関連オブジェクトと関連文書によって特徴付けられる別のアルゴリズムが必要です。



たとえば、次はオブジェクト「ポリシー」に関連付けられています。

• 政治家-政府高官または評判の良い専門家
• 組織-政党、国家機関。 パワー。
• 一連のイベントとアクション（選挙、特定のポストへのアポイントメント、州下院の活動など）。

この場合、重要度の高い比較的少数の関連クラスターで検索し、クラスター内の新しいドキュメントの数でランク付けします。

このアプローチを実装する主な問題とその解決策

問題1.システムは、テキストにあるすべてのオブジェクトを「認識」する必要があります。



可能な解決策は次のとおりです。

• まれでほとんど知られていないオブジェクトの無知または識別エラーが重要ではない領域でのセマンティックシステムの適用。
  
  
  
  
• 構造化情報の既存のデータベース（DBpedia、Rosstatなど）からオブジェクトをダウンロードする
  
  
  
  
• 単語（たとえば、 映画 「火星人」）の修飾によるオブジェクトのタイプの自動識別、人物の自動識別、およびシステムオブジェクトにとって未知のフレーズの自動識別のための単純なアルゴリズムの使用。 エラーの可能性が低い場合、オブジェクトは自動的にデータベースに入力されますが、エラーの可能性が高い場合は、手動検証システムを使用します。
  
  
  
  
• オブジェクトを識別するには、機械学習を使用して、既知のオブジェクトをサンプリングし、未知のオブジェクトを囲むオブジェクトの意味タイプに依存するようにシステムに教える可能性を考慮します。

問題2.すべての可能なセマンティックノードのテンプレートを作成する方法。



英語システムSRL（セマンティックロールラベリング）のセマンティックロールに従ってオブジェクトを配布する同様の問題を解決する際に、すでにラベル付けされたケースを使用して機械学習アルゴリズムが使用されます。 たとえば、アクション+ロール構築システムとして、Framenetが使用されます。 ただし、ロシア語の場合、適切なマーク付きコーパスはありません。 さらに、このアプローチの実装には独自の問題があり、その議論はこの短い記事の範囲を超えています。



上記のアプローチでは、ロールによるオブジェクトの分布は、オブジェクトのタイプとノードテンプレートのロールに対して確立されたセマンティック制限との対応に基づいています。 合計で、システムには約1700のノードテンプレートがあり、そのほとんどはフレームネットフレームに基づいて半自動で生成されました。 ただし、少なくとも最も一般的なノードでは、ロールのセマンティック制限を主に手作業で設定する必要があります。



既に形成されたものに基づいた機械学習を使用して、ノードの自動形成を試すことができます。 特定の構文特性を持つオブジェクトと単語（システムに認識されていない）の特定の組み合わせがある場合、ノードは既存のものと同様に形成できます。 これらのノードのテンプレートを手動で作成する必要がありますが、そのようなノードの存在は存在しないよりも優れています。



問題3.多くのセマンティッククエリの複雑な計算。



一部のクエリには、非常に多数の中間オブジェクトとノードの処理が含まれ、実行に時間がかかる場合があります。 この問題は技術的な方法によって完全に解決されます。

• クエリの並列実行が必要です。
• 要求を満たし、最適なものを選択するためのさまざまな方法の複雑さの分析。
• 意味関係のグラフで数値係数を使用すると、クエリ処理の中間段階に含まれるオブジェクトの数を制限できます。

推奨読書

• テクノロジーABBYY Comprenoに関するHabrに関する一連の記事。
• 良いレビューブック： "Semantic Role Labeling"、Martha Palmer、Daniel Gildea、およびNianwen Xue、2010年。
• Dipanjan Das、Desai Chen、AndréFT Martins、Nathan Schneider、Noah A. Smith（2014） Frame-Semantic Parsing