そのため、約束どおり、最近、照応と相互参照の自動解決をめぐる競争の結果がまとめられました。 このようなロシア語のコンテストは初めて開催され、HSE-MSUのチームによって開催されました。
私たちの読者の中には、私たちがいなくても照応と相互参照が何であるかを完全に知っている多くの言語学者がいると確信しています。 現実世界の同一のオブジェクトは、さまざまな方法で何度もテキストで言及できます。 「Vasyaは億万長者です。彼は島を買いたいです。」 このフレーズでは、代名詞「he」と名詞「Vasya」は同じ人を指します（つまり、同じ指示対象があります ）。 テキスト分析システムは、「彼」が「ヴァシャ」であることを理解している場合、照応を解決する方法を知っています。
Vasyaがテキストにさらに数回登場すると、たとえば「Ivanov」、「client」、「head of the company」、「soccer player」のように表示するのが難しくなります。 そして、代名詞照応についてではなく、名詞の一貫性について話しています。 この場合のシステムのタスクは、この人が隠れているすべての単語を1つのコアチェーンに結合することです。 以下にいくつかの例を示し、同時にComprenoテクノロジーがそれをどのように行うかを示します。
1. エフゲニー・プルシェンコ-4回の冬季オリンピックのメダルを獲得した世界で唯一のスケーター 。 アスリートは2002年にアメリカのソルトレイクシティで行われた試合で初めてオリンピックを経験しました。
構文により、システムはプルシェンコとスケーターが同じ人物であることを理解し、この人物はセマンティック階層での接続により「アスリート」で際立った人物と結合され、さらに、解析ツリーの代名詞「所有者」をこれに置き換えます同じ「アスリート」。 その結果がコアチェーンです。
2. ダレルランスアボットは、ミュージシャン兼プロデューサーのジェリーアボットの家族で、ダラスとフォートワースの郊外のテキサス州アーリントンで生まれました。 彼の父親はパンテゴにあるパンテゴサウンドスタジオを所有しており、そこでダレルは多くのブルースギタリストを見て聞いていましたが、バンドキスからエースフレイリーを聞いた後、 彼自身がギターを弾き始めました。
ここで、システムは名前Darrell Lance Abbottをすぐに正しくパーツに解析し、パーツで識別します。 したがって、コアチェーンのAbbotの父親Jerry Abbottには分類されませんでした。姓は同じですが、名前は異なります。 しかし、次の文では、システムは姓のない名前でダレルを認識します。
3. ロスネフチは、キルギスタンのすべての空港の支配権を獲得する可能性があります。 ロシアの会社は 、マナス国際空港OJSCの少なくとも51％の買収に関する覚書に署名しました。 以前にプロジェクトでロスネフチのパートナーとして働いていたノバポート・ロマン・トロチェンコは、キルギス空港のオペレーターになる可能性が高い。
ここでも、意味階層SK "ROSNEFT"はSK "COMPANIES"の子孫であるという事実により、Comprenoは2番目の文がRosneftを指すことも理解しています。 この例は、相互参照の解決がイベントの参加者を正しく抽出するのにどのように役立つかを示しています-提案書は単に「ロシアの会社」と書かれていますが、覚書に署名した人には明らかです。
しかし、競争に戻りましょう。 彼らの目標は、ロシア語の照応と相互参照の分析のために開発されたメソッドの品質を評価することでした。 ABBYY、RCO、SemSyn、Open Corpora（サンクトペテルブルク）、Mail.ru、ロシア科学アカデミーのシステム分析研究所、Sergey Ponomarevの7人の開発者が競争に参加しました。 繰り返しになりますが、目標は企業の製品ではなくアルゴリズムを比較することでした。 競争の結果は、ロシアのコンピューター言語学の分野で最大の会議であるダイアログ会議でまとめられました。
最初のトラックでは、完全な相互関係チェーンを見つける必要があり、2番目では、照応を解決するため、つまり、すべての代名詞が指し示す相手を見つけるために必要でした。 これらのタスクはどちらも構文分析や形態分析よりも複雑です（これらのトピックについては数年前に競合が行われました ）が、ほとんどのシステムは構文と形態を使用して照応を解決する前にテキストコレクションをマークアップします。
最初のトラックで3人の参加者が、2番目のトラックで7人が参加しましたが、2番目のトラックでは合計17回の走りがありました。 さまざまなシステムが参加しました-実験（その目的は照応を解決するための特定のアルゴリズムをテストすることでした）から複雑なものまで、参照接続を決定するモジュールはコンポーネントの1つにすぎません。
競争はどうでしたか？
最初に、参加者には、手でラベル付けされた小さなテキストのコレクションでシステムをトレーニングする機会が与えられました。 これには100のテキストが含まれており、各テキストには5〜100の文が含まれており、最も長いのは170の文です。 コーパスでは、2,000の照応ペア「代名詞-先行詞（代名詞が指す語）」が強調表示されました。 次に、システムは大きなテキストコーパスを分析する必要がありました。 競技会では、ニュース記事、科学記事、ブログ投稿、フィクションなどのさまざまなジャンルのテキストからの抜粋を含む軍団が特別に組み立てられました。 すべてのテキストは、ロシア語のオープンコーパス（Open Corpora）、Lib.ruネットワークライブラリ、Lenta.ru出版物、ウィキペディア、およびその他のリソース（すべて1342のテキスト）から取得されました。
結果は、「ゴールドスタンダード」と比較して評価されました-同じケースの一部で、手動でマークされています。 評価は半自動モードで行われました（係争中の場所は専門家によって2回チェックされました）。
競技結果
競合は、既存のシステムが照応の解決に優れていることを示しました（たとえば、1位を獲得したComprenoは、80％を超える精度でF尺度 76％を示しました）が、相互参照の完全な分析はより悪いです。 ロシア語の場合、英語で使用されるこれらの方法は不十分です-フリーワードオーダー、言語のその他の機能、未解決のラベル付きケースの深刻な欠如（主催者によって作成されたことが明らかに、この種の最初のリソースになりました）。 新しい建物は、開発者がアルゴリズムを独自にテストするために使用できます。また、オーガナイザーが作業中に作成したマークアップ規則は、研究者が同じ目的で新しいケースを作成するのに役立ちます。
ABBYYの重要な結果-Comprenoは両方のトラックで優勝しました。 コンテストのルールによると、勝者と敗者の名前をすべてブログで公開することはできません。このようなルールの意味は、競争（より正確にはテスト）はPRではなく、アルゴリズムを比較する開発者の利益のためです同僚の開発と見積もり（科学出版物で参照可能）および経験を得る。 さらに、競争の結果によれば、軍隊、ゴールドスタンダードというラベルの付いたテストが常に作成されます。このテストでは、全員（たとえば、学生）が独自のアルゴリズムを実行し、業界で達成されたレベルと比較できます。
ブログやメディアで勝者と敗者に名前を付けることはできませんが、近い将来、詳細な記事がダイアログのウェブサイトに掲載され、最終結果を含む競争結果の分析が行われます。 主催者によるコンテストの準備と評価方法に関する記事はこちらをご覧ください 。