インターシステムズiKnow。 パート2 単純なドメインを作成する

これは、 ここから始まる自然言語処理システム間iKnowテクノロジに関する私の講演の続きです 。 2番目の部分では、iKnowを使用した実際の作業について説明します。 ドメインを作成し、構成し、テキストをアップロードします。 次に、結果を調べて分析します。 カットの下でこれについての詳細...





ドメインを作成することから始めましょう。 iKnowのドメインは、Cachéのエリアまたは家の入り口のメールボックスと比較できます。 これは、テキストがロードされるコンテナです。 テキストに加えて、構成、ローダー、リスター、辞書などの分析に必要なツールがそこに保存されます。

ドメインを作成するには2つの方法があります。 それらの1つは、 ％iKnow.Domainクラスを使用しています。 このアプローチを使用する場合、ドメイン自体とその中のすべてのオブジェクトの両方の作成コードを手動で記述する必要があります。 このプロセスは非常に複雑で、iKnowでの時間と経験が必要ですが、インデックス化されたデータの後処理で複雑なiKnowアプリケーションを実装できます。

ラピッドプロトタイピングに適した％iKnow.DomainDefinitionクラスの使用に基づいた代替方法があります。 XML表現での構造の説明を通じて、宣言的にドメインを作成できます。 また、ドメインオブジェクト自体は、クラスがコンパイルされるときに自動的に作成されます。 この方法は、よりシンプルでコンパクトで、新しいドメインを最初からすばやく作成できます。 この記事では、2番目の作業方法を説明し、コード例を示します。

発言。 Caché2015.2フィールドテストバージョンでコードを作成してテストします。 以前のバージョンとの基本的な違いは、ステミングと見出し語化のサポートです。 これに関して、いくつかの設定に違いがありますが、それについては後で詳しく説明します。 それでは始めましょう。



ステップ0。 問題の声明



コードを書き始める前に、解決する問題を定式化します。 最も単純なニュースアグリゲーターを作成します。 これを行うには、iKnowでドメインを作成します。ドメインはRSSフィードから記事をダウンロードし、トピックごとに記事を分割する方法を教えます。 「政治」、「経済」、「スポーツ」、および「宇宙からの脅威」など、ニュースのカテゴリーを取り上げることをお勧めします。



最初のステップ。 ドメイン作成



DomainDefinitionを使用してドメインを作成します。 これを行うには、このクラスをコンパイルします。

Class HabrDomain.News Extends %iKnow.DomainDefinition { XData Domain {XMLNamespace =TEST] { <domain name="NewsAggregator" > </domain> } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ドメイン自体は完全に空であり、HabrDomain.Newsクラスをコンパイルした直後にオブジェクトとして作成されます。 これを確認するには、次のコマンドを実行します

do $ system.iKnow.ListDomains（）

ターミナルで。 NewsAggregatorドメインが1に等しいID（すでにドメインを作成している場合はIDが異なる場合があります）で形成され、ダウンロードされたテキストなしで表示されます（ソースの数は0です）。



ステップ2 ドメイン設定



ドメインを設定することで、非常に幅広いアクションを理解できますが、ここではドメインの構成に焦点を当てます。 この構成は、ドキュメントをドメインにアップロードするときにのみ使用され、iKnowがテキストを処理する方法を担当します。 構成はオブジェクトとして作成されるため、一度作成すると、この領域の異なるドメインで再利用できます。 理論的には、設定は必須ではなく、すべての設定をいくつかの「デフォルト」値に置き換えることができますが、この場合は、ロシア語のテキストをすぐに使用することを忘れてください。

DomainDefinitionの構成を説明するには、Domainタグ内に次の行を追加します。

 <configuration name="Russian" detectLanguage="false" languages="ru" stemming="DEFAULT" />
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この行に従って、テキスト分析にロシア語のセマンティックモデルを使用する「ロシア語」という名前の構成を作成し、テキストドキュメントの言語を自動的に検出するメカニズムを無効にします。 値を「DEFAULT」にした「ステミング」パラメーターは、テキストの分析時にロシア語の補題化を接続するために必要な（ただし十分ではない）条件です。

スタミングの調整を完了するには、構成後にもう1行追加します。

 <parameter name="$$$IKPSTEMMING" value="1" />
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステップ3 メタデータ用のフィールドを作成する



ドメインに記事をアップロードすると、テキストだけがダウンロードされません。 RSSフィードから多くの有用な情報を取得することができ、それを使用できます。 このデータを保存するには、メタ情報フィールドを構成します。 これを行うには、クラスのXDataブロックに次の行を追加します。

 <metadata> <field name="PubDate" dataType="DATE" /> <field name="Title" dataType="STRING" /> <field name="Link" dataType="STRING" /> <field name="Agency" dataType="STRING" /> <field name="Country" dataType="STRING" /> </metadata>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

したがって、5つのフィールドについて説明しました。 PubDateは、記事の公開日、Title-そのタイトル、Link-全文へのリンクを保存します。 [代理店]フィールドでは、記事のダウンロード元のリソースの名前を、国では-ソースの領土所属をロードします。



ステップ4 記事を読み込むソースを説明します



タスクを設定するときに、テキストをRSSフィードからダウンロードすることに同意しました。 例として、すべてのセクションのニュースを公開するフィードhttp://static.feed.rbc.ru/rbc/internal/rss.rbc.ru/rbc.ru/mainnews.rss rbc.ruを取り上げます。 このリソースを使用するようにiKnowに指示するには、コードを追加します。

 <data> <rss serverName="static.feed.rbc.ru" url="/rbc/internal/rss.rbc.ru/rbc.ru/mainnews.rss" textElements="title,description" > <converter converterClass="%iKnow.Source.Converter.Html" /> <metadataValue field="Agency" value="RBC" /> <metadataValue field="Country" value="Russia" /> </rss> </data>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、このレコードのフィールドについて詳しく説明します。 serverNameは、サーバー名であり、トップレベルドメインの名前で終わるRSSフィードリンクの最初の部分（この場合は.ru）です。 リンクの2番目の部分は、urlパラメーターに書き込まれます。 URLは常に「/」で始まることに注意してください。 各出版物から、タイトルとテキストの2つのテキストフィールドを読み込みます（テキストとは、フィードで公開される記事の本文を意味します。ほとんどの場合、これは本格的な資料ではなく、短い紹介です）

次はコンバーターです。 私たちの場合、これはstandard％iKnow.Source.Converter.Htmlであり、その目的は、読み込まれたテキストからすべてのhtmlタグを削除してクリアテキストを取得することです。

最後に、メタデータのロードについて説明します。 もう少し上に5つのフィールドを作成し、そのうち3つはiKnowに自動的に入力されます。これは、発行日、タイトル、記事全体へのリンクです。 ここから残りの2つのフィールドに値が入力されます。 「代理店」フィールドには「RBC」、「国」-「ロシア」と記載されます。



ステップ5 辞書



iKnowテクノロジーの利点の1つは、基本的なテキスト分析には辞書が使用されないが、コンパクトで高速なセマンティック言語モデルが使用されることです。 ただし、辞書が必要なタスクがいくつかあります。 それらの1つ-マッチング-記事をトピックに割り当てます（たとえば、スポーツ、政治、経済学、または外国人の侵入の脅威に関する記事）。 言い換えれば、ドメインを説明するときに、記事が1つまたは別のカテゴリに割り当てられるテキストで言及されているときに用語を指定できます。 次のコードをクラスに追加します。

 <matching> <dictionary name="Sport"> <item name="" uri=":sport:" > <term string="" /> <term string="" /> <term string=" " /> <term string=" " /> </item> <item name="" uri=":sport:" > <term string="" /> <term string="" /> </item> <item name="" uri=":sport:" > <term string="" /> </item> <item name="" uri=":sport:" > <term string="" /> <term string="" /> <term string="-" /> <term string="" /> <term string="" /> </item> </dictionary> <dictionary name=""> <item name="" uri=":politics:" > <term string="" /> <term string="" /> <term string="" /> <term string="" /> <term string="" /> </item> </dictionary> <dictionary name=""> <item name="" uri=":Economy:"> <term string="" /> <term string="" /> <term string="" /> <term string="" /> <term string="" /> <term string="" /> </item> </dictionary> <dictionary name=" "> <item name=" " uri=":ThreatFromSpace:"> <term string="" /> <term string="" /> <term string="" /> <term string=" " /> <term string="" /> </item> </dictionary> </matching>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

一致するセクションには、辞書のセットが含まれています。 各ディクショナリは、カテゴリ（オブジェクト（サブカテゴリ）と用語に分割される用語）を説明します。 この記事の目的は、iKnowの機能とメカニズムを簡単に示すことです。一方、深刻なタスクでは、辞書も深刻で非常に膨大なものにする必要があります。



ステップ6 打ち上げ

これで、ドメインが完全に説明されました。



コードに追加したDeleteDomainメソッドに関するいくつかの言葉。 作成されたドメインは、％iKnowDomainクラスのオブジェクトとして存在しますが、ドメインを管理するのはHabrDomain.Newsクラスの内部メソッドによってのみ削除できます。

最後に、計算を開始できます。

do ##クラス（HabrDomain.News）。％Build（）

その結果、当社が示したソースからの記事は、コンパイル中に作成されたNewsAggregatorドメインに追加されます。 さらに、データはマッチングディクショナリからのマーカーについて分析されます。



7番目のステップ。 結果を見る



結果を表示する最も便利な方法は、 Knowledge Portal 、結果のインデックス作成、結果の一致など、既存のUIのいずれかを使用することです。





図1.ナレッジポータル。



Knowledge Portalでは、iKnowの結果の初期分析を実施できます。 ここでは、作成したドメインのいずれかを選択できます。この場合はNewsAggregatorです。 「上位概念」の表は、特定の概念に言及する頻度を示しています。一方、頻度は概念への参照の数であり、広がりは概念が存在する記事の数です。 このテーブルでコンセプトを選択すると（図1の「ロシア」コンセプトが選択されます）、「類似エンティティ」、「関連コンセプト」、「パス」、「ソース」テーブルの内容が更新されます。

「類似の概念」表には、類似の概念が表示されます。 私たちの場合、「ロシア」という単語が見つかったが、追加の用語（「ロシアのセルビア大使」など）の概念も同様です。 テーブル「関連概念」は、ロードされた記事の数が少ないために空であることが判明した場合、選択された記事に関連して最も頻繁に言及される概念のリストが含まれます。 以下の例では、そのような概念は斜体で示しています。

• [ロシア]の[ インフレ ]
• [ EU貿易赤字 ] [ロシア]
• [ロシア] [報復措置]に対する[ 権利 ]の留保

別の非常に興味深い表は「ソース」です。 ここから、記事のテキスト、インデックス作成と分類の結果を開くことができます。 テキスト表示では、すべてが非常に簡単です。 ダイアログボックスで選択できる唯一のパラメーターは、表示される文の数です。 そのため、たとえば、1を設定すると、iKnowは、彼女の意見で最も重要な文章のみを記事に表示します。





図2.インデックス作成の結果。



[インデックス結果]ウィンドウでは、インデックス結果を分析できます。 ここでは、概念は色で強調表示され、斜体（リンク）および灰色の斜体（重要でない単語）で下線が引かれています。 原則として、このウィンドウは、インデックス結果に基づいてドメイン設定の正確性を確認するために使用されますが、記事のテキストを読むのにも非常に便利です（たとえば、辞書をコンパイルするとき）。





図3.一致する結果。



最後に、利用可能な3番目のウィンドウは、Matching Resultsです。 ここでは、ドメインの説明に追加した辞書ごとに記事を分類した結果を見ることができます。 テキストで赤で強調表示されている概念は、辞書の用語と完全に一致することを意味します。 赤毛に概念フレームしかない場合、それは辞書に似ています。

在庫を確認する時が来ました。 最も簡単なニュースアグリゲーターの作成方法を学びました。 これを行うために、％iKnow.DomainDefinitionクラスを使用してドメインが形成されました。 このドメインでは、ロシア語と見出し語化ツールをサポートする構成が作成されました。 RSSフィードの形式のソースが追加されました。 そして最後に、分類用の辞書を作成しました。 その後、彼らはドメインの構築を開始し、標準UIを使用して結果を分析しました。

この記事では、RSSフィードからのニュース分析の例を使用してiKnowドメインを作成する例を示します。 ドメインを作成するために、％iKnow.DomainDefinitionクラスが使用されました。 ロシア語のサポートと見出し語化をサポートするドメイン構成が作成され、RSSフィードのソースが追加され、記事を分類するための簡単な辞書が作成されました。

DomainDefinitionクラスは、iKnowを使用してドメインをすばやく作成し、プロトタイプを作成するのに最適です。 実際のアプリケーションでは、分類および感情分析の用語の辞書には、数百または数千もの単語が含まれます。 そのようなプロジェクトでは、％iKnow.Domainクラスが使用されます。これにより、他の興味深いタスクを実行することもできます。 これについては、次回の記事で説明します。