エンティティ参照を抽出し、Textocat APIで検索します

Textocat APIは、クラウドベースのSaaSテキスト分析です。 テキストから有用な情報を高品質に抽出することは困難な作業であり、深刻な専門知識が必要です。 Textocatチームの使命は、ワードプロセッシングを非常に使いやすくして、現代の開発者がそれを武器に含めることができるようにすることです。 Textocat APIを使用すると、テキスト分析アプリケーションのプロトタイプをすばやく作成して、ビジネスに変えることができます。 この出版物では、エンティティ（オブジェクト）の言及を認識し、ロシア語のドキュメントを検索するためのTextocat APIの機能をアプリケーションに簡単に統合できることを示します。

Textocat APIベータ版の機能

4月上旬に、 Textocat APIのベータテストを開始しました。 このバージョンでは、サービスの機能の一部を次の機能とともに無料で使用できるように開発者に提供しています：

• ロシア語の文書コレクションにおけるエンティティの言及の認識（エンティティ認識）。
• 処理されたコレクションの保管。
• 選択したエンティティタイプに基づく全文検索。

エンティティ参照の認識

名前付きエンティティ（名前付きエンティティ認識、NER）を含むエンティティの言及を認識するタスクは、テキストの特定の断片を既知のタイプに分離して分類することです。 たとえば、Textocatの現在のバージョンは7つのタイプをサポートしています。

• PERSON（人々）、
• 組織（組織）、
• GPE（地政学的エンティティ）、
• LOCATION（地理的特徴）、
• 施設（インフラ施設）、
• TIME（時間単位）
• およびMONEY（通貨単位）。

この問題に対する高品質のソリューションが難しいのはなぜですか？ 結局のところ、アルゴリズム理論の大学コースの辞書やメソッドを使用して、同じ結果を得ることができますか？ 実際、自然言語、特にロシア語にはさまざまなニュアンスが豊富です。

1. 柔軟性：可能性のある単語形式と語尾を考慮して正確に比較するには、優れた形態素解析ツールが必要です。
2. 語彙のあいまいさ：銀行「ロシア」（組織）とロシア（GPE）としての参照を区別する方法は？
3. 名前の曖昧さ：ロシア連邦大統領行政の長であるセルゲイ・イワノフの言及を、彼の完全な同名-観光に関するタタールスタン共和国の国家委員会の議長への言及から区別する方法？

機械学習ベースのアプローチの中核となるのは、クラウドソーシングに基づいて評価者から注釈を付ける独自のデータ収集技術と、これらのタスクに確率的グラフィカルモデルを使用する現在の方法を改善する独自の開発です。 このような決定の精度は、キーワードに基づく単純なアプローチよりも1桁高くなります。 さらに、実装されているすべてのTextocatテクノロジーは、ソースコードを書き換えることなく、マシンの数に応じてスケーリングされます。



インタラクティブデモのページで、プログラミングを開始しなくても、Textocatテクノロジーがさまざまなテキストでこのタスクにどのように機能するかを理解できます。 現在の結果は可能性の限界からはほど遠いことに注意してください。近い将来、認識の質が大幅に改善されるでしょう。 現在、テクノロジーはニューステキストで最高の結果を示しています。

ドキュメントのアップロードと検索

処理後、ドキュメントはアンロードできるようになります（この認証トークンを持つクライアントのみ）。 Textocat APIを使用すると、ユーザーはダウンロードしたすべてのドキュメントを検索し、キーワード（Tinkoff Bankなど）による全文クエリをサポートできます。 さらに、Textocat APIは、キーワードが発生する注釈のタイプに制限を課すクエリの拡張構文を提供します。 たとえば、クエリ「ORGANIZATION：Ford」を使用すると、組織のコンテキストでキーワード「Ford」が記載されているドキュメント（「Ford Motors」）を検索して、有名なアメリカの実業家ヘンリーフォードの名前への参照を分離できます。 サービスのフルバージョンでは、辞書またはクライアントナレッジベース（エンティティリンクまたは名前付きエンティティの曖昧性除去）からの特定のオブジェクトのドキュメントの追跡機能が利用できます。

APIの原則

Textocat APIは、古典的なRESTful APIです 。つまり、サービスを使用した作業は、HTTPプロトコルを使用した標準的な要求を通じて実行されます。 これまでのところ、 JSONは、Textocat APIの入力および出力でサポートされている唯一の形式です。 多くのドキュメントで作業しやすいように、Textocat APIを使用すると、ドキュメントをバッチで収集し、処理のために送信できます。 原則として、これにより、大きなコレクションをパッケージに分割し、それらを並列処理に送信することができます（プレミアム機能）。 パッケージの処理時間は、パッケージのサイズとすべてのユーザーが作成する現在の負荷によって異なります。 したがって、クライアントは、対応する要求を送信して、パッケージのステータスを定期的に確認する必要があります 。 ドキュメントのパッケージが処理されるとすぐに、構造化された形式でシステムに保存され、クライアントのサブスクリプションの全期間保存されます。 この瞬間から、クライアントは処理済みのドキュメントをアップロードできます。 Textocat APIを使用すると、説明した検索ツールを使用して、出力ドキュメントをフィルタリングおよびソートできます。

APIキーを取得

以下に説明する手順を繰り返すには、APIにアクセスするための認証キー（auth_token）が必要です。 キーを無料で取得するには、当社のWebサイトで簡単な登録を行ってください。 サービスの登録または使用に問題がある場合は、ナレッジベースを使用してください。

オンラインドキュメント

インタラクティブなオンラインドキュメントTextocat APIを使用すると、サービスの機能を呼び出すための基本的なコマンドとパラメーターを理解できます。 次に、1つのテストドキュメントで構成される単純なパッケージの処理サイクルについて説明します。これは、オンラインドキュメントで直接繰り返すことができます。

コマンドラインでTextocat APIを操作する

Unixの標準ユーティリティであるcurlを使用して、コマンドラインから直接サービスを操作する方法を示します。

Java SDK

最後に、公式のTextocat Java SDKを使用してエンティティ参照を強調表示する例を示します 。これにより、JVM互換言語でアプリケーションを実装するときにサービスを操作するロジックが大幅に簡素化されます。

 final EntityRecognition entityRecognition = TextocatFactory.getEntityRecognitionInstance("<AUTH_TOKEN>"); final FutureCallback<AnnotatedBatch> outputCallback = // a callback for dealing with annotated documents ... FutureCallback<BatchMetadata> inputCallback = new FutureCallback<BatchMetadata>() { public void onSuccess(BatchMetadata batchMetadata) { entityRecognition.retrieve(outputCallback, batchMetadata); } public void onFailure(Throwable throwable) {} }; entityRecognition.submit(new Batch(documents), inputCallback);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

EntityRecognitionは、Textocat APIのエンティティ参照認識機能にアクセスするための主要なインターフェイスです。 すべての呼び出しは非同期であるため、EntityRecognitionの応答ハンドラーのクライアントコードは、 Google GuavaライブラリのFutureCallbackでラップする必要があります。 この例では、ドキュメントパッケージ（entityRecognition.submit）が送信され、エンティティ参照の準備ができた注釈付きのドキュメント（entityRecognition.retrieve）がアップロードされます。 後者の代わりに、entityRecognition.searchメソッドを使用して、ロードされたすべてのユーザードキュメントを検索できます。

用途

Textocat APIのこれらの機能は、ビジネスインテリジェンスのさまざまな分野で使用できます。 興味深いアプリケーションの例は、Kazan Federal Universityと協力してKazanで実施したText Analytics HackDayハッカソンプロジェクトにあります。 次の2つのケースについて個別に説明します。

企業のワークフローで検索

最新のBIプラットフォームは、ワークフローシステム、ファイルストレージ、CRM、ERP、テクニカルサポート部門のナレッジベース、コールセンター、企業のメール、フォーラムなど、社内のリソースに検索機能を提供します。 Textocat APIは、テキストから値、オブジェクト、場所、および時間単位を抽出します。 結果は、最新のリポジトリにダウンロードするのに便利な構造化された形式で表示されます。 さらに、抽出されたセマンティクスに基づいて全文検索機能を提供します。 名前とキーワードのカテゴリを考慮すると、検索結果を正確かつ正確にランク付けできます。 途中で、ロシア語の独自の検索ソリューションの開発者がよく知られているオープンソース検索ライブラリ（Apache SolrやElastic Searchなど）のツールを使用することで、高品質のトークン化、文への分割、見出し語化など、多くの低レベルの問題が解決されます。

マーケティングツール

ビジネスでは、外部ソースを分析し、会社、製品、競合他社、請負業者、パートナー、買収オブジェクト、個人などに関する事実、意見、レビューを収集する必要がしばしば生じます。 これにより、マーケティングのタイムリーな決定を行い、販売計画を調整できます。 テキストのソースは、公式プレスリリース、ニュース、ソーシャルネットワークへの投稿、ウェブサイトのレビューとコメントです。 目的のオブジェクトに関するデータ（たとえば、サイトの名前やアドレス）は、CRMまたは外部データベース（たとえば、ロシア連邦税務署の登録簿）からダウンロードできます。 開発者は、Textocat APIの機能を使用して、目的のオブジェクトへの参照の全体像（360度ビュー）を取得できるサービスを作成できます。

発表

今後の出版物では、次のことを行います。

1. 米国、欧州、ロシアの市場でテキスト分析を使用した主な事例と成功事例の詳細な概要を示します。
2. TextoKitを想像してください-ロシア語の基本的なテキスト処理機能のスタックで、 Apache UIMAプラットフォーム用に実装されており、開発者コミュニティの無料ライセンスの下でソースコードで開きます。

ブログを購読して、同僚に伝えてください 。 面白いでしょう！