増え続けるテキスト情報とWeb視覚化ツールの開発レベルにより、これらすべてのボリュームを視覚化することが望まれています。 このような視覚化の可能性を実証することは、ABBYY Labsの作業とMIPTのイノベーションとハイテクノロジー学部（FIVT）の「産業プログラミング」コースの一環として学生チームに設定されたタスクです（ABBYY学生ラボについてブログで読んだことがない場合） 、ここに戻ってこの投稿に戻るのは理にかなっています）。



15人の3年生デベロッパーと4人の4年生マネジャーであるFIVT学生は、3か月間、最新のオープンソースの構造化データ視覚化ソリューションを研究し、その後、自分自身のテーマを選択して、自然言語でテキスト情報を視覚化するように求められました 非構造化情報から構造化情報への移行は、 ABBYY Comprenoセマンティックシンタクティブパーサーを使用して実装することが提案されました。

そして、ジュール・ヴェルヌでなければ、誰ですか？

プロジェクトで最も熱烈な議論の1つは、視覚化のテキストベースの選択に専念しました。 古いソビエトの新聞や科学記事から、一連の小説「氷と炎の歌」やマーベル宇宙のコミックまで、多くの選択肢がありました。



私たちが気に入ったテキストの多くは著作権で保護されているため、著作権が失効した古典的な文学作品に専念することにしました。 ここでも、シャーロックホームズ、トムソーヤー、その他多くの小説が提供されました。最後に、ジュールヴェルヌの小説「キャプテングラントの子供たち」、「海底の2万のリーグ」、「神秘の島」の3部作に同意しました「私たちの目的に非常に適しており、私たちは皆それが好きです:)。 分析のために、英語とロシア語の翻訳を取りました。



興味のある読者はすぐにjulesvernetrilogy.comに招待します -記事を平行して読み、ボタンをクリックできます。 そのため、言語（ロシア語または英語）を選択して、行こう。

構造化情報への移行

別のグループが小説のテキストからデータを抽出することに従事しました。 子どもたちは、小説で見つかった場所とイベントを強調し、キャラクター間の関係を見つけ、キャラクターの外観とスピーチの肖像画を書き、本のテキストをスマートにマークアップする必要がありました。 これらの各問題を解決するために、学生はABBYY Comprenoパーサーを使用して取得したさまざまなテキスト情報を使用しました。 ここで、パーサーの動作について詳しく説明しました。次に、ジュールヴェルヌの小説から情報を構築するのにどのように役立つかを説明します。

Comprenoでヒーローに会おう

もちろんご存知のように、分析のために選択したジュールヴェルヌの3部作は、共通の世界とキャラクターによって結ばれた一連のアドベンチャー小説です。 小説の情報の大部分は、ヒーロー、その特性、行動、動きを中心に構築されているため、最初に小説のヒーローに対応するエンティティを区別する方法を学ぶ必要がありました。



同じ人をまったく異なる方法で説明できるため、これは一見すると思えるほど単純な作業ではありません。 例として、「キャプテングラントの子供たち」という本の最初の章の一部を考えることができます（グレナーヴァンvanへの言及は太字で強調されています）。

「あなたの領主が単に首を折るなら、私たちは簡単に論文を撤回するかもしれないと思います」とジョン・マングルスは提案しました。 「やってみて、 エドワード 、やってみて」とヘレナ夫人は言った。 グレナーヴァンLordは非常に気に入らなかったが、代替手段がないことに気付いた。 貴重なボトルが壊れている必要があります。 ただし、石材は花崗岩の硬度を獲得していたため、これを行う前にハンマーを手に入れる必要がありました。 しかし、いくつかの鋭いストロークはすぐにそれを断片に震えさせ、その多くには紙片が付着していました。 これらは主にグレナーヴァンによって慎重に取り除かれ、彼の妻と友人たちの熱心な視線の前に、分離されてテーブルの上に広がった。

Comprenoはこのようなケースに対処できるため、チームはキャラクターの言及を正しく分類し、さらに代名詞の照応を可能にしました 。 その後、データをクラスター化し、キャラクターの特性に関連する統計を調べることができました。

コミュニケーションが私たちのすべてです

各章で、キャラクターは互いにやり取りしたり、Comprenoの用語で言えば、同じ事実のいくつかの属性のフィラーとして会いました。 三部作のすべての主要キャラクターのアイコンを描き、各章のキャラクターの相互作用のグラフを強調して、三部作のヒーローの社会的活動の視覚的表現を得ました。

主グレナーバンは完全に墓でした

さまざまな章の多くのキャラクターの活動について、その行動と記述的な特徴を強調しながら、詳細に説明することができました。 グラフ内のキャラクターのアイコンをクリックすると、この章の文脈で彼の説明を見ることができます。



このような特性を検出するために、さまざまなヒューリスティックが使用されました。 それらの1つは、人に応じて形容詞を検索したり、共通の祖先を持つことです。



小説からのそのような提案の例に関する彼女の仕事を考えてみましょう：

グレナーバンLordは完全に墓であり、ヘレナ夫人とメアリーはその見た目で彼の悩みに同情を示しました。

Comprenoを使用した文の解析は次のようになります。







その結果、サイトに表示される完全に重大な特性が得られます。







別のヒューリスティックは、テキストから文字の説明を抽出するのに役立ちました-このために、意味クラス「CLOTHES」を持つ単語が検索されました。 その後、以前のヒューリスティックの場合と同様に、「衣服」という言葉の言及が追加でフィルタリングされ、依存関係が検索されました。

教育を受けたジャックパガネル

アクションのカテゴリには、「動詞+直接補完」および「参加ターン」という形式の接続詞が含まれていました。 実際、2つの検索アルゴリズムがあります。



参加型（または参加型）ターンを構築する最初のアルゴリズムは、メインワードの依存関係をチェックしてから、文解析ツリーを通過し、コンポーネント全体を組み立ててから、文に出現したのと同じ順序でワードを構築しました。 そのため、かなり長い説明的な断片でさえ時々区別されました。 レコードは、楽しい算術を含む英語の48ワードです。

サイラス・ハーディングは彼に1分に300粒または1時間に9000粒を数えたとしても、彼の仕事を終えるのに5000年近くかかるだろうと言ったが、正直な船乗りはアイデアを放棄するのが最善だと考えた

残念ながら、サイトのデータ出力形式を満たさなかったため、このような構成を拒否する必要がありました。



2番目のアルゴリズムは、私たちにとって関心のある文字が従属語で示されている動詞を検索しました。 それから、彼は同じ動詞で直接補語を見つけ、その後、文の語順を保存しながら書き留めました。



結果のデータを調べると、多くの興味深い事実を見つけることができます。 たとえば、Nabがコロニーに対してどれほど貧弱だったかを調べます。







または、勇敢なジャックパガネルの教育について学びます。 ジャックの例、Comprenoのテキストからどのようなデータが取得されるかを見てみましょう。 ジュール・ヴェルヌには次の文があります。

ああ、あなた、親愛なるパガネルは残ります」 「37番目の平行線、グアミニ川、そして一般的に私たちを去るすべてのパンパスをよく知っています。」

Comprenoパーサーは、次のように解析します。







出力では、Jacquesパーソナリティ特性を備えたこのようなカードを取得します。







小説「不思議な島」の非常に活発なキャラクターに会うこともできます。

おしゃべりで感情的なキャラクターを見つける

主人公は、活発な行動に加えて多くのことを話し、最もおしゃべりなキャラクターを決定するために、別のグラフ-発話活動のグラフを作成しました。 彼らのスピーチの追加分析により、最も好奇心の強いヒーロー（多くの質問をする）または最も冷静な（実際にスピーチで発言文を使用しなかった）を見つけることができました。



これを行うために、Comprenoによって取得されたテキストのRDF表現に 「直接音声」のような事実が見つかりました。 これらの事実には、スピーチと単語の作者へのリンクを含むパッセージ自体が含まれているため、さまざまな種類のスピーチで文を分離し、それらを話者と結び付けるのは非常に簡単であることが判明しました。 マークアップにはいくつかの小さな問題がありましたが（Top（Mysterious Island）で好奇心が目覚める章を見つけてみてください）。 彼女は、最も注意を払うための一種の「イースターエッグ」として、意図的に残されました。

インタラクティブな旅行マップ

ヒーローは本の中で絶えず旅行するので、ヒーローが訪れた場所に関する情報からテキストを抽出し、ヒーローの位置をさまざまな章で示すインタラクティブなマップを作成することは興味深いように思えました。 Comprenoテクノロジーを使用して、これは不注意によるエラーの可能性を排除し、迅速かつ効率的に行われました。



たとえば、これは小説「Children of Captain Grant」の第1部の第9章のマップの断片です。

イベントハイライト

メインの場所を受け取った後、私はさまざまな場所でどのようなイベントが発生したかを理解したかった。 視覚化された本のキャラクターが参加した「Where」属性が満たされたイベントアクションを呼び出すことが決定されました。 このような事実はComprenoを使用して強調表示され、対応する章のインタラクティブマップに表示されました。 それらで、イベントの参加者とその簡単な説明を見ることができます。

スマートリーディング

本を読んでいる間、キャラクター、イベント、場所に関する追加情報を取得できるようにするために、サイトでオンラインで読むことができる本のテキストに「スマート」マークアップが直接追加されました。 これは、イベントと場所に関するすでに抽出されたデータと、代名詞照応の解決によるテキスト内の人の追加検索に基づいて実装されました。



小説「キャプテングラントの子供たち」の最初の部分の最初の章からのラベル付きフラグメントの例：







本「The Mysterious Island」の第1部の第3章からの目立った一節：

追加ソースからのコンテキストブック

ジュール・ヴェルヌは世界中で知られており、愛されているので、最近ではインターネット上で著者とその作品に関するさまざまな情報を簡単に見つけることができます。 そのために、サイトにさまざまな追加情報を入力しました。

予測される発明

フランスの作家の作品の興味深い特徴は、本のページで行われた技術的発見の予測です。 ジュール・ヴェルヌの同時代人は、いつの日か採掘が海底から広まることや、ビデオ電話が完全に自然なものになることを想像することさえできませんでした。 そして、ジュール・ヴェルヌは、彼の小説の中で私たちの時代の技術を非常に明確に説明できました。 サイトのセクションの1つが当てられているのは、まさに著者の予測です。 発明の説明は、本を読みながらマークアップを使用してアクセスすることもできます。

ジュール・ヴェルヌの詳細

多くの場合、興味深い本を読みながら、著者と彼の他の作品についてもっと知りたいという願望があります。 これは、ウィキペディアの資料に基づいた別のセクション専用です。 その中に、作家の書誌と伝記に関する情報を見つけることができます。



彼の本のヒーローのように、ジュール・ヴェルヌはたくさん旅をしました。 したがって、彼の人生と経歴を追跡する最も視覚的な方法は、インタラクティブマップ上にあり、それを使用して彼の伝記を視覚化しました。

場所、イベント、ヒーローの追加説明

著者に関する情報に加えて、読みながらマークアップのおかげで、場所、ヒーロー、イベントに関する追加情報を取得できます。 これを行うには、メニューの「データベース」項目を選択するか、多くの「続きを読む」ラベルのいずれかをクリックします。 そのような説明のために、ウィキペディアの資料と三部作小説の断片が使用されました。

Web開発とチーム

サイトの特別ページの記事で説明されているすべてを実装したチームを見ることができます。



このようなプロジェクトの成功は、主にデザイナーとWeb開発者の成果である「ファサード」の成功であるため、彼らにとってプロジェクトの作業は大きな課題でした。2か月でWeb開発をゼロから学ぶ必要がありました。ツールの選択に大きな影響を与えました-マスタリングテクノロジーの容易さに重点が置かれました。



SPAを実装するために、古くても十分に文書化されたRactiveJSライブラリがPage.jsと組み合わせて使用​​されました。 主なデータ視覚化ライブラリはd3でした-その助けを借りて、英雄のグラフと音声統計が実装されました。 インタラクティブなマップを作成するために、リーフレットライブラリが使用されました。

次はどこ？

物理学研究所でのコースのように、プロジェクトに関する私たちの仕事はそこで終わりではなく、すでに秋に再び積極的に仕事に突入する予定です。 私たちは、文学作品の視覚化のための普遍的なサイトデザイナーを作成する予定です。 実際、ヒーローの数とイベントのある地図は、ほとんどすべての文学作品に適しています。 別のアイデアは、本のテキストに関するインタラクティブなタスクの助けを借りたサイトの「活性化」です。



未来を考えている間、このサイトの誰もが、ジュールヴェルヌによって作成された英語またはロシア語で子供時代から愛する世界に没頭できます。



マリア・サンドリコワ、

技術開発局