言語テクノロジーABBYY。 複雑から完璧へ

自然言語の自動処理と機械によるテキストの意味の理解に関連する問題の解決に関して、人類は十数年以上苦労してきました。 この分野でのある程度の成功は、質の異なるレベルで多くの応用タスクを実行するためのComprenoユニバーサル言語プラットフォームを開発したロシアの会社ABBYYによって達成されました。



人工知能の理論における重要な問題の1つに対処し、コンピューターによる人間の音声の理解の問題を解決するというアイデアは、15年前にABBYYの専門家の頭の中に生まれました。 その後、会社の創設者であるデビッド・ヤンの申請により研究開発が行われ、その後、実験的な設計と技術的な作業が新世代の機械翻訳システムの作成に始まり、その後、関連する多くのタスクを解決するために別のComprenoプロジェクト（以前のNatural Language Compiler）に発展しました自然言語処理を使用します。



コンピューター言語学の分野で革命を起こすというABBYYの意図の深刻さは、同社の300人以上の従業員の長年の仕事だけでなく、最も有望なプロジェクトを選択して実装する新技術開発センター（Skolkovo Foundation）の開発基金からのプラットフォームへの関心によっても証明されていますサポート。 コンプレノでのスコルコボ基金の総投資額は4億7500万ルーブルで、プロジェクトの資金の半分です。 2番目の部分（4億7500万ルーブル）は、ABBYY自体によって提供されます。 プロジェクトの範囲と範囲を強調する印象的な数字。

テクノロジーサム



Comprenoの根底にあるメカニズムのニュアンスとその動作のロジックを理解するには、プロジェクトの基本概念を理解する必要があります。これは次のとおりです。 文明化された人々がどんな言語を話すかに関係なく、彼らが言葉で指定する概念は、異なるよりもはるかに共通点があります。 私たちは皆、家に住んでいて、家具を使い、電話をかけ、車を運転し、オフィスで仕事をし、飛行機で飛びます。 これらの概念は一般的であり、私たちがそれらをどのように想像するかという点で言語から独立しています。 この接続スレッドをキャッチして、ABBYYは特定の言語に依存しない概念の普遍的な意味階層を構築しました。

概念のセマンティック階層は、すべての言語に共通のツリーであり、その太い枝はより一般的な概念（「動き」など）であり、細いものはより一般的な特定のセマンティック値（「クロール」、「フライ」、「ウォーク」） 「徒歩」、「走る」など）。 組織の長について話している場合、「リーダー」の概念がこの語彙クラスの頭に表示され、サブクラスは「ボス」、「ボス」、「リーダー」、「ボス」などのより具体的な概念を提示します、概念のツリー上のリーフレットの一種です。







このようなツリー構造により、先祖から子孫へのプロパティの継承が保証され、文をある言語から別の言語に翻訳するプロセスのあいまいさが回避されます。 開発者は、ロシア語で「意味」という単語の意味の例について説明します。ロシア語では、ユニバーサルセマンティックツリーのさまざまな分岐に関するいくつかの概念に対応します。「管理」を部門として解釈することも、たとえばアクションとして解釈することもできます。 また、ある組織という意味でのセマンティッククラス「管理」はツリーの1つのブランチで表され、別のアクションとして表現されるため、システムはテキストを英語に翻訳するときに正しい単語を自動的に選択し、フレーズのコンテキストに応じて部門または管理を選択します。 その結果、Comprenoのコアとなるセマンティック記述により、テキストを英語またはロシア語からユニバーサル言語に、およびユニバーサル言語からシステムで使用可能な他の任意の言語に簡単に翻訳できます。



Comprenoプラットフォームの2番目の主要なブロックは構文です。 構文は、1つ以上の文内で概念が相互にどのように関連するかを説明していることを理解することが重要です。 これらの関係を言語でエンコードするには、文のメンバー、調整、語順、ケース、さまざまなサービス語、接続詞、前置詞などが使用されます。 比的に言えば、構文はこれらの要素の優れたコンストラクタです。



異なる言語は異なるコンストラクタ要素を使用する場合があります。 たとえば、英語では、語順は構文の重要な部分です。 疑問文は、ある方法で形成され、物語であり、別の方法で形成され、他には何もありません。 文の先頭に置かれる時間と場所のいくつかのオプションの状況がありますが、通常、主語は最初の場所にあり、述語は2番目にあり、残りのスピーチはさらに位置しています。 ロシア語では、状況は異なります。 私たちは単語の順序に縛られていませんが、一方で、調整は私たちにとって重要です。実際、これはおそらくロシア語を勉強する人々にとって最大の障害です。



テキストを解析する際に考慮すべきもう1つの重要なことは、単語を見逃したときに発生する単語間の置換と接続ですが、それがとにかく存在することを理解しています。 鮮やかな例は、「少年は赤いリンゴを愛し、少女は緑です」というフレーズです。 私たちがリンゴについて話している女の子（および彼女がそれらを愛しているという事実について）については明らかであり、テキストにはいくつかの単語が欠けていますが、私たちはこれを完全に理解しました。 Comprenoによって正常に解析される他のより複雑な構文リンクがあります。 たとえば、「少年は遊びたいと思っていたが、時間がないことを理解していた」。 この場合、「男の子」という単語を代名詞「彼」と「彼」に2回置き換えました。マシンがそれが同一のオブジェクトであることを理解し、欠落しているノードを復元することが重要です。







Compreno構文ブロックは、文のさまざまな概念の役割を解析し、それらをリンクします。 システムはテキストを分析し、接続のツリーを構築します。通常、主なことは何らかのアクションです。 さらに、オブジェクトまたはサブジェクトおよびその他の属性がオブジェクトまたはサブジェクトに付加され、具体的な文に固有の意味を伝えます。 構文解析を可能な限り正確にするために、Comprenoは上記の概念の普遍的な階層に基づいたセマンティック分析を使用します。 これらすべてが、機械によるテキスト処理の新しい自由度を提供し、元の文の意味を「理解」し、この意味を別の言語で合成できるようにします。



最後に、ABBYY言語プラットフォームの3番目の重要なコンポーネントは統計です。これにより、システムはフレーズを正しく組み合わせて、同義語をより完全に理解できます（同じ単語が異なるものを意味する場合）（典型的な例：「城」と「城」）。 曖昧な解釈のある文章を正しく分析するための統計情報も同様に重要です。 たとえば、「これらの種類の鉄鋼は私たちのワークショップにある」というフレーズの有能な分析は、概念間の関係の頻度に関するデータに頼ることによってのみ行うことができ、それにより、発話の文脈、言い換えれば議論の主題を理解します。 それが冶金に関するものであれば、物語は鋼鉄に関するものであり、人々の行動に関するものであれば、あまり良くないタイプを支持する選択をするのは論理的です。

Compreno統計モデルは、システムによってほぼ毎日処理されるさまざまな主題とジャンルの印象的なテキストのセットに基づいています。 さらに、テキストデータはとにかくではなく、人によって作成されたり、ある言語から別の言語に翻訳されたりします。 このアプローチにより、意思決定のプロセスにおけるエラーの可能性とセマンティック構成の合成における歪みの可能性が低減されます。



何で終わったの？ その結果、ABBYYスペシャリストは、知識、想像力、アイデア、経験を結合することに成功し、「3つの柱」-概念、構文、統計の意味的階層-世界の構造に関する言語に依存しないデータのモデルとこのデータにアクセスするためのモデルに基づいて構築されました その結果、コンピューターがテキストの意味をできるだけ理解できるようになり、幅広い言語の問題を解決できるようになりました。 どれ？



マインドゲーム



ABBYY Comprenoプラットフォームの実際的な重要性について話すと、開発者は主に2つの重要な問題の解決に焦点を当てています。多くの言語ペアのテキストの自動翻訳とインテリジェントな情報検索です。

テキストデータの翻訳に関連する最初のタスクは、デジタルテクノロジーの時代において非常に重要であり、国間の正式な国境や障壁を消去します。 多言語情報の量が絶えず増加しているため、翻訳の受信速度だけでなく、出力で受信したテキストの品質も、現代のプロジェクトの実装に世界中のさまざまな部分からの参加者を増やす必要があります。 後者の提供により、既存の機械翻訳システムは、一見すると思われるほど滑らかではありません。 この理由は、多くの既存の機械翻訳者の基礎である科学的アプローチにおける多数の基本的な制限です。 これらの制限は、例外を正しく処理できないこと、言語構造の客観的な複雑さ、セマンティクスを無視すること、文の実際の関係を修正できないこと、およびその他の問題に関連しています。 Comprenoテクノロジーは、世界の多くの科学者の基本的な言語研究の工学的実施形態であり、約50年の経験を蓄積しています。 このおかげで、Comprenoはこれらの困難を克服し、元の言語と同じ意味で、または可能な限り類似したテキストを合成することができます。 システムの機能を評価するために、Googleの記事「Babel fish」の一部を翻訳する例が、統計翻訳者とABBYYプラットフォームを使用して翻訳の未来を告げています。 彼らが言うように、コメントは不要です。



ソース：

手動でシステムにこれらの言語を提供しようとした場合、それは絶望的な作業になります。 これを行う唯一の方法は、機械計算の力を利用することです。 自動的に自分自身を訓練し、常に学習している統計モデルを構築します。



ABBYY Compreno：

システムにこれらの言語を手動で与えようとした場合、これは絶望的な作業になります。 これを行う唯一の方法は、機械計算の力を使用することです。 常に自動的に学習および学習する統計モデルを作成します。



統計翻訳者：

これらの言語を手動でシステムに提供しようとした場合、それは絶望的な作業になります。 これを行う唯一の方法は、コンピューティングマシンの機能を使用することです。 自動的に自分自身を教育し、常に学習する統計モデルを構築します。



2番目のタスク-知的検索-の重要性は、人類によって生成された膨大な量の情報の結果であり、指数関数的に成長し、必要なデータの分析と検索に他のアプローチを必要とします。 現在、検索は主に口頭情報を使用して機能します。ドキュメントを検索するとき、最初にその中に含まれるべき単語を考え、次にキーフレーズを入力し、検索基準を満たすデータを取得してから、興味のある情報を手動で選択します。 このような使い慣れた検索には、多くの大きな欠点があります。 まず、発見する必要のある情報を正確に記述するクエリを作成することは、常に可能なことではありません。 第二に、適格な単語を考え出すと、選択範囲を絞り込み、検索を制限します。 最後に、キーワードのすべての組み合わせをソートすることは、不可能ではないにしても、非常に面倒な場合があります。 ABBYY Comprenoテクノロジーは、これらすべての欠点をうまく処理し、共通言語で作成された検索クエリからマシンによって抽出された概念と関係を使用して意味のある検索を可能にします。

プラットフォームの「博学」とそこに集中した膨大な知識により、Comprenoを使用して他の多くの応用タスクを実行できます。 企業はそれに基づいて、多言語検索とデータの分類、事実の抽出とオブジェクト間のリンクの確立、監視、情報の不正使用に対する保護システム、文書の自動抽象化と注釈、音声認識およびその他の多くのタスクのための定性的に新しいソリューションを作成できます。

Comprenoのアプリケーションの等しく有望で興味深い分野は、テキストの視覚化に関連する問題を解決することです。 顕著な例は、テキストスクリプトに基づいたアニメーションビデオや映画の作成です。 Bazelevs Innovation社はこの方向で働き、またSkolkovoプロジェクトに積極的に参加し、テキストのインタラクティブな3次元視覚化のためのソフトウェアパッケージの作成で既に一定の結果を達成しています。 ABBYYでは、テキストの高品質な言語分析を必要とする非常に多くの応用問題を解決できるような普遍的なプラットフォームが現在世界に存在しないと彼らが言うことは誇りではありません。



巨大な計画



今日、上記のように、300人以上の専門家がプロジェクトに参加し、若いスタッフ、モスクワ物理学技術研究所のABBYY部門の学生、およびモスクワ州立大学、ロシア国立人道大学、モスクワ州教育大学、サンクトペテルブルク州立大学などの主要な大学の卒業生が積極的に関与しています。 作品のルーツを見ると、ロシア語と世界言語学の真剣な研究にあります。 この科学的な手荷物は、ABBYYスペシャリストによって使用されます。 会社の計画には、言語学と言語学の分野で世界をリードする専門家を集めてプロジェクトに参加し、プロジェクトに国際的な地位を与えることが含まれます。



現在、ABBYYはComprenoに基づくソフトウェアソリューションを展開するパイロットプロジェクトを実装しています。 これまでのところ、プロジェクトのイニシエーターは開発中の製品に関する詳細を開示していませんが、最終的に誰もが実装と広範な実装（ソフトウェアメーカーと消費者、つまりあなたと私）の恩恵を受けることを保証します。



野心的なABBYY Comprenoプロジェクトが将来どの程度変わるかについて話すのは時期尚早です。 しかし、近い将来、コンピューター言語学は言語モデリングの分野で大きな進歩を遂げ、その基盤が現在確立されている完全に新しい技術基盤に切り替わると言っても差し支えありません。