商品としてのテキスト分析：テキスト分析アプリケーションの概要

研究に10億ドルを与えられたら、NASA全体の大規模な自然言語処理（NLP）プログラムを作成します。 [2015年マイケル・ジョーダン によるReddit AMAより]。 この出版物では、テキスト分析アプリケーションの市場があるかどうかを調べます。 また、名誉教授であるM.ジョーダン教授は、NLPの可能性について楽観的ではありませんが、10億ドルを他の何かに費やす方が良いでしょう。

はじめに

まず、用語を定義しましょう。 テキストマイニングは、テキストドキュメントのコレクションから構造化された情報を取得するための技術です 。 通常、次のような大きなタスク

• テキストの分類
• 情報抽出
• 情報検索。

多くの場合、ビジネスでのテキストマイニングの使用について人々が話すとき-テキスト分析（英語、 テキスト分析 ）-構造化された情報だけでなく、いわゆる 分析の主題（洞察）を深く理解し、ビジネス上の意思決定を支援します。 著名な専門家Set Grimesは、テキスト分析を、テキストからの情報の処理と抽出にアルゴリズムアプローチを適用し、深い理解を得る技術的およびビジネスプロセスとして定義しています。



コグニティブコンピューティング製品の新しい市場が形成されつつあることは一般に受け入れられています。 MarketsandMarketsは、自然言語処理製品の世界市場は2020年までに134億ドルになり、CAGRは18.4％になると予測しています。 したがって、この市場は現在約58億ドルと評価されており、近年、この成長市場は、IBMによるAlchemy APIの購入など、 多数の注目を集める取引によって特徴付けられています。 他の推定によると、ヨーロッパの同様の市場は現在5億ドルを超えており、2019年までに2倍になります。 北米市場は、世界のテキスト分析市場のほぼ40％を占めており、 楽観的な成長予測があります。



もちろん、読者はおそらくIBM Watsonプラットフォームの成功に精通しているでしょう。 この出版物の目的は、次のような分野における他の興味深いテキスト分析アプリケーションについて話すことです。

• 会社文書管理
• 電子商取引
• ブランド管理
• マーケティング
• 競争力のあるインテリジェンス
• 顧客体験管理
• 情報セキュリティ
• 仮想アシスタントなど

企業検索

組織文書検索は、企業文書管理の分野でよく知られている情報検索アプリケーションです。 このようなソリューションのクライアントは、大規模または中規模の営利団体および政府機関です。 読者は合理的な質問をするかもしれません。YandexとGoogleがあるのに、なぜ独自の検索エンジンを作成するのですか？ 結局のところ、Web検索と企業検索のタスクにはいくつかの重大な違いがあります。

• 検索クエリに関する統計情報はありません 。 Webでの検索クエリの統計の分析は大きな役割を果たします：同様のクエリのデータを要約すると、何百万人ものユーザーからのクエリを解決するのに適した効果的なランキングシグナルを提供できます（たとえば、クエリからの用語の出現頻度のさまざまなバリエーション）。 特に、この側面は、Web検索で広く使用されているメカニズムをランク付けする機械学習の一般化能力にとって非常に重要です。 企業検索-ユニークな検索クエリも送信する、比類のない数のユーザー。 また、これにより、Webを検索するための従来の信号を使用することが難しくなります。
• 完全性は正確性よりも重要です 。 ウェブ上-ドキュメントの大規模なコレクションと巨大な冗長性。 企業検索では、検索結果の完全性がはるかに重要です。
• パーソナライズ 。 Web検索では、非常に限られたパーソナライズオプション：クエリ履歴、地理...企業検索では、検索エンジンユーザーの個人データに関するアクセス可能で信頼できる情報を考慮して、より多くのオプションがあります。 たとえば、ユーザーがクエリ「四半期レポート」を入力した場合、システムは各プログラマー、マネージャー、またはゼネラルディレクターがそれぞれ独自の四半期レポートを持っていることを理解する必要があります。
• 検索インデックスの可用性と新鮮さ 。 Webでは、これらのプロパティは望ましいものですが、重要ではありません。 企業検索では-これが優先事項です。 重要なドキュメントの検索インデックスが（たとえば顧客に関する情報とともに）無関係であると、さまざまな部門の従業員の調整された作業が混乱する可能性があります。

さらに、組織の構造化されたガイドや知識ベースの存在、さまざまなソフトウェアストレージおよび分析サブシステムとの統合の必要性、多くのデータ形式のサポートなどのタスクの機能が重要です。







ウィキペディアは、 企業検索製品の印象的なリストを提供しています 。 ガートナーは 、世界のリーダーであるHP AutonomyとCoveoを区別しています。 ただし、それらのいずれにも欠陥がないわけではありません（たとえば、ロシア語をサポートするという意味で）。 したがって、この方向はアプリケーションにとって有望なままです。

Eコマース検索

オンラインストアの製品検索は、特別なタイプの企業検索と見なすことができます。 さらに、検索の重要性はクライアントのビジネスにとってほぼ決定的です。e-retailは、コンバージョン率、平均小切手、マージン、および商品の販売速度の向上を常に考えています。 DataInsight分析機関が作成したロシアのeコマースに関する最近の調査によると、オンラインストア機能としての検索の重要性はバイヤーの少なくとも20％が指摘しています。 さらに、サイトで検索するユーザーは、それ自体が訪問者の高度なコンバージョングループであることが知られています。 また、オンラインストア（mコマース）のモバイルアプリケーションの場合、使用される機能は基本的に検索のみです。 このタスクの特徴は、購入したい製品を正確に定式化できない顧客向けの探索シナリオをサポートする必要があることです。 特に、これは、入力時に検索クエリを提案するメカニズムによって実現されます（リアルタイムのクエリ提案）。



このニッチ市場での成功事例は次のとおりです。

• Kosmixによる世界最大の小売業者Walmartの購入。WalmartLabsの一部となったチームはPolarisテクノロジーを開発しました。
• OracleによるベンダーEndecaの買収。
• アドビによるOmnitureベンダーの購入。

Endecaに基づくOracle Commerce Guided Searchは、柔軟なランキング機能とパーソナライズされた検索を備えた強力なソリューションです。 SAPには独自の同様のソリューションがあります-電子商取引プラットフォームHybrisの検索テクノロジー。 また、 A9-米国最大のオンライン小売業者Amazonのスピンオフを強調することもできます。 主要な検索エンジンがこの有望な市場に参入しようとしたことは注目に値しますが、その成功は明らかではありません。 GoogleはCommerce Searchを静かに提供し、ロシアを含む高価な実装のセグメントを閉じています。 このソリューションの欠点は、検索のカスタマイズができないことです。 著者が知っているように、Yandexはロシア最大のオンライン小売業者のパイロットを獲得できませんでした。 一般に、このトピックについては、Shopologプロジェクトを率いるアントンテレホフの資料を強くお勧めします。

メディア環境内のオブジェクトへの参照の監視

インターネットは毎日ペタバイトのテキストを生成します（ BIによるとFacebookのみ-500 TB /日;「読者はすでにビッグデータという用語を待っています//オン、すぐにそれを取りなさい！」）、これは現代企業にとって興味深い：ニュース、プレスリリース、レビュー、コメント、ブログ投稿、ソーシャルメディア投稿。 このようなデータを単一のストリームに収集およびパッケージ化するサービス、いわゆる firehoseは、重要なプレイヤーがGnip （最近Twitterで購入された）、 Datasift 、 Xignite 、 Diffbot 、 Kimono 、 Connotateである深刻なビジネスになりつつあります。 最大規模の検索エンジンのAPIは、同じカテゴリに起因している可能性があります。 しかし、データは戦いの半分です。 他の会社は顧客に同じ洞察を提供します。











最初のグループには、ソーシャルメディアを扱う企業（ソーシャルメディアリスナー）が含まれます。 Meltwaterは数十億のソーシャルメディア投稿を分析し、顧客ブランドの言及を追跡し、オピニオンリーダーを見つけ、競合他社と比較します。 このような製品のエンドユーザーはブランドマネージャーです。 Cisionはこの機能を補完し、企業のブランドパフォーマンスを測定する機能を備えています。 Sysomosは、同様の機能と、通信を入力してレビューに応答する機能を提供します。 Luminoso Dashboard-キーワードクラウドに基づくメンションの重要な視覚化。 Radian6は、 リード生成と直接販売を補完します。 NewsWhipは、トレンド、注目度の高いストーリー、ミームを早い段階で明らかにします。これは、オンラインのパブリッシャーやマーケティング担当者に求められています。 ロシアのソーシャルメディア監視システム-YouScan 、 Cribrum 、 BrandAnalytics 、 SemanticForce 。



もう1つのグループには、いわゆる 関心のある企業に関する外部デューデリジェンス、つまり、顧客、リード、または競合他社に関する構造化された情報（新しい契約、製品、裁判所の決定、買収、人材の雇用、経営陣の交代など）。 LexisNexis News Company ResearchおよびInsideView for Salesは、この分野のリーダーです。

マーケティング

フォーカスグループのラボ市場調査には、参加者の長期検索、参加者のサンプルの代表性の低さ、研究参​​加者と実際の顧客の動機と行動の違いという、重大な欠点があります。 実際の顧客から受け取ったフィードバックは、はるかに価値があります。 したがって、 Atensity Analyzeを使用すると、テストモードで販売が開始された製品に関する構造化されたフィードバックを取得できます。 顧客（例として、通信会社が挙げられます）は、数時間のうちに、ソーシャルネットワーク上の実際のユーザーが作成した製品の主要な問題のリストを受け取ります。 これにより、完全なリリースの前に、欠陥を修正し、必要な変更を加えることができます。







Clarabdridgeは、予測分析の目的で、プロファイル、ソーシャルメディア、サポートログで表現された顧客の意見を分析します。 さまざまなシグナル（たとえば、購入履歴や人口統計データ）をレビューの感情の分析と組み合わせることにより、流出、再購入、LTVの可能性を予測できます。

Bloomreach Relevance Engineは、Webページのコンテンツ、ユーザーの行動パターン、関連性の高いコンテンツの作成要求を分析し、購入へのコンバージョンを大幅に増加させます。

スマートセールス

Web上の企業の活動に関するオープンデータは、それを自分の目的に使用するのに十分な情報を提供します。 たとえば、 Datanyze 、 BuiltWith、およびHG Dataは 、さまざまな企業が運営するテクノロジーに関する情報を追跡します。 この情報は、Datanyzeのお客様がスマートな販売のために使用します。サポートサービスを提供したり、競合する技術を適切なリードに提供したりします。



Spiderbookは企業の拠点を集め、B2Bの顧客営業チームの生活を楽にします。 データには、会社のプロファイルと、会社内の推奨連絡先のリストが含まれます。 Quidは、高度な検索機能と意思決定のための便利なグラフィカルな視覚化を備えています。 Introhiveは、連絡先、他の人との関係、および個人的な連絡を確立するための推奨事項の収集にのみ焦点を当てています。











SalesPredict 、 Infer 、 LeadSpaceは 、リード企業に関するすべての利用可能な情報を収集します（企業ナレッジベース-Orb Intelligence 、 Dun＆Bradstreet 、 LinkedInからのライセンス購入を含む）：従業員数、オープンポジションの数、Webおよびソーシャルネットワークでのプレゼンスのレベル、特許、技術、商標、イベントなど、複雑な数学モデルを構築し、このデータをCRMの情報と組み合わせて、いわゆる リードスコアリング、特定のリーダーにサービスを購入する可能性の評価。

情報セキュリティ

企業データは特に価値があります。 今日の大企業は、個人データやクライアントデータベースの漏洩を防ぐために、電子メール、ビジネスメッセンジャー、コラボレーションサーバーのメッセージを傍受することにより、情報の普及を制御する必要があります。 また、スパイ行為や妨害行為に関与する不cru慎な従業員を特定することもできます。 テキスト分析タスクのもう1つの典型的な例は、スパムとの戦いです。 Kaspersky LabとInfowatchには 、基本的なテキスト分析ツールに基づいた同様の製品があります 。 Digital Reasoningは 、金銭的虐待に対処するためのプラットフォームを開発しています。











政府機関は、通常、過激派やintelligence報活動との戦いの一環として、膨大な数の情報源から情報を収集、要約、分析するテキスト分析に基づくアプリケーションにますます注目しています。 有名なアメリカのスタートアップPalantirは、 軍 、 intelligence 報 部門 、 調査機関など、およびPalantir Gothamシステムなどのビジネス向けの製品を開発しています。

パーソナルアシスタント

テキストは普遍的なプレゼンテーション形式です。 メッセージは、画像、電話での会話の録音、音声メッセージ、ビデオファイルのオーディオトラックなど、他のデジタルソースからテキストに変換できます。 ディープニューラルネットワーク （深層学習）の理論における近年のブレークスルーにより、音声認識と画像認識の問題を解決する上で、質的に新しいレベルに到達することができました。 ロシア語の音声認識用の手頃な価格のツールは、 Yandex Speech Kitテクノロジーです。



音声認識技術とテキスト処理のドッキングが素晴らしい結果をもたらすことは明らかです。 すでに従来のアプリケーションになっています-マイクロソフトの音声検索Google、Siri、Cortana。 さらに、この分野のリーダーの1人であるNuanceのDragonDriveのデモビデオに注目します。 DragonDriveは、ドライバーが電子メールを読み、メッセージを送信し、音声制御に基づいてカレンダーにメモを作成できるようにするスマートアシスタントです。 別の顕著な例は、企業会議を記録するGridspace Memo製品ビデオです。 最後に、 Pop Up Archiveは、あらゆる種類のオーディオファイルの検索を実装することを目的としています。ラジオ局、メディア、美術館、図書館など、オーディオによく関わる組織でアプリケーションを見つけます。 カシストは、金融問題の分野で仮想アシスタントとの通信技術を開発しています。 コンテキスト化と多言語機能を備えたSiriとRobin LabsのクリエーターによるVivは、この分野での野心的なプロジェクトです。

おわりに

要約すると、テキスト分析アプリケーションのグローバル市場の状況は、この出版物のタイトルにあるフレーズで簡潔に表現されていると結論付けることができます。 テキスト分析は、あらゆる開発者が利用できる貴重な製品になりました 。 まったく新しいレベルに達した非構造化データ分析技術は、巨大なビジネスチャンスを切り開きます。



近年、機械学習ツールを使用したテキスト分析の根底にある基本的な問題を定性的に解決するクラウドベースのツールを含むツールが登場しました。 このような製品に依存して、テクノロジー企業はエンドユーザー向けの新しいアプリケーションを開発し、ワードプロセッシングの副産物の開発、インフラストラクチャ、およびライセンス購入の技術的リスクとコストを削減できます。 例は、関数の標準セットを実装する多言語テキスト分析サービスTextocat APIです。

• オブジェクトへの参照の認識 （組織、人、場所、価格、ブランドなど）
• 特定のオブジェクトの追跡 （クライアント辞書から）
• 調性分析 （オブジェクトに対するポジティブ、ネガティブ、ニュートラルな参照）
• 全文ドキュメント検索 （オブジェクトの考慮および語彙のあいまいさの解決を含む）。

まもなく当社の別のプロジェクトがパブリックドメインに登場します。これは、テキストを操作するための低レベル関数を実装し、IBM Watsonと同じプラットフォーム上に構築されたオープンな無料TextoKitライブラリです。 TextoKitを中心に開発コミュニティを組織し、自然言語処理のためのスケーラブルなパイプラインを構築するという独自の経験を共有する予定です。 このプロジェクトの迅速な開発に興味があり、既存のコードのドキュメントの準備を支援する準備ができている場合は、mail @ textocat.comまでご連絡ください。



Textocat APIに基づく製品の例として、Textocat NewsとTextocat E-Commerce Searchの2つの製品を挙げます。



当社の製品Textocat Newsは、リリースの準備が整っています。 これは、イベントタイプごとに自動分類された企業に関するニュースを収集するためのテクノロジーです。 このテクノロジーは、数百万のアメリカおよび国際企業のプロファイル（いわゆる企業DNA、「企業DNA」）を提供するOrb Intelligence APIと統合されています。 このような情報がリアルタイムでどのように使用されるかは、 最近のGoogleの驚異的な株式成長のケースによって判断できます。



現時点では、当社は、Textocat APIプラットフォームに基づいて実装されたオンライン小売業者 Textocat E-commerce Search 向けに 、 特殊な検索技術の限定的なベータテストを実施しています。 ビジネスの効果を重視するオンラインストアの代表者を招待して、製品をテストしてください。

ロシアのテキスト分析の市場分析/ CIS

Textocatは、ロシアおよび旧ソビエト連邦の国々のテキスト分析市場の分析に関する研究を行っています。 短いフォームにご記入ください。 調査の結果に応じて作成された調査は、調査の参加者が利用できます。



著者は、Textocat（ Alik_Kirillovich 、 Aldvin 、 nomemm ）、Maxim Gubin（Google）、Maria Grinev（Orb Intelligence）の同僚に貴重なコメントをありがとう。



Textocatについて



Textocatは、非構造化データから有用な情報を抽出するビジネスソリューションを作成するテクノロジー企業です。 同社の使命-商品としてのテキスト分析-は、現代のソフトウェア開発者にとってテキスト処理を簡単にすることです。