最近、 「ワンクリックですべてのトルストイ」プロジェクトがどのように行われたかについてここで話しました 。 3249人のボランティアと1つの優れたOCRテクノロジーを使用して、作家の90巻の収集された作品の46,820ページをデジタル化し、注意深く読んでパブリックドメインに掲載しました 。



しかし、「トルストイとのロマンス」がそこで終わったと思ったら、あなたは間違っていました-作家のテキストをデジタル化したので、ABBYY Compreno情報抽出技術を使用してそれらを研究し始めました-そのような豊富な資料に失われないように。 「トルストイのテキストマイニング」が私たちに与えたものと、結果が現在使用されている場所について読んでください。

はじめに

「ワンクリックですべてのトルストイ」プロジェクトの主な目標は、トルストイの作品を真に公開し、彼のペンの下から出てきたすべてのテキストに、世界中のどこからでもワンクリックでアクセスできるようにすることでした ちなみに、著者自身は生涯にわたって彼のテキストに対するすべての権利を放棄していたので遺贈しました（はい、匿名、レオトルストイはこれらのインターネットとリチャードストールマンのずっと前にコピーレフトとオープンエンドを知っていました ）。



ただし、書籍を便利な形式でリーダーやタブレットにアップロードする機能は、デジタル化の唯一の利点ではありません。 現在、トルストイのテキストは読むだけでなく、「測定」、つまり、自動テキスト処理ツール（AOT、NLPとも呼ばれる）のすべてを使用して、さまざまな定量的方法を使用して調査することもできます。 結局のところ、1つまたは2つの有能な検索クエリの助けを借りても、すべての作家のテキストを電子形式で持っている場合、文学評論家が他の時間に何週間も何ヶ月も費やす興味深いデータを得ることができます。 また、自然言語分析の高度な技術をお持ちの場合は、（言語学者でなくても）深刻な言語学的発見を行う可能性があります。 以下で、私たちが何を測定し、学べるかを説明しますが、その前に、誰が、どのように、なぜ文学テキストの自動処理に関与しているのか、この場合に何が興味深いのかについて少し説明します。

叙情的な余談：遠い読みと計算語学

2010年、Googleは世界で1億3千万冊の書籍を数え、これらの統計は「少なくとも日曜日まで」に起因していました。 今日、彼らはおそらく数百万人以上です。 これ自体は問題ではありません。したがって、12才の10代で1週間に百科事典に熱心に取り組んでいない限り 、「すべてに関するすべて」を読むことは悪い考えであることは明らかです。 さらに悪いことに、ある瞬間から、1つの狭いトピック内の書籍のリストでさえ、たとえば1つの文学的な方向性が耐えられなくなります。 たとえば、ビクトリア朝のイングランドだけで、60,000を超える芸術作品が制作されました。 その時代の文学を意図的に研究し、このコレクションの少なくとも1パーセントを習得した学者さえほとんどいません。



この問題に対する可能な（議論の余地はあるが）解決策は、衝撃的な批評家であり、現在スタンフォード文学研究所を率いる元ネオマルクス主義者フランコモレッティによって最初に提供されたものの1つでした。 彼は、今日の文学者は「本を読むのをやめて、本を読んで、地図を描き、視覚化するべきだ」と述べた。 定期的な読み取り（詳細な読み取り）に対して、モレッティは「離れた」読み取り（遠隔読み取り）、つまり、テキスト軍団、統計、グラフ化などの自動分析とは対照的です。 彼の意見では、これが文学批判を「客観的」にし、「途方もなく小さな」サンプルから引き出された結論を避けることができる唯一の方法です。 「遠隔読書」の精神で設計されたスタンフォード文学研究所の研究結果は、 ここで見ることができます 。

Comprenoを使用したリモートリーディング

スタンフォード大学の研究者は、ほとんどの場合、最も単純な統計を使用します。たとえば、単語やN-gramの頻度、テキスト全体での分布などです。 最初から、単純なCtrl + Fで引き出すことのできない文学テキストのそのような側面を研究することにしました。 たとえば、ヒーローのスピーチアクティビティ：ナターシャロストヴァ（または他のキャラクター）が何かを言った回数をすぐに数えるようにしてください。 すぐに、このために、まず代名詞の照応を自動的に解決できると便利です（たとえば、 「 ナターシャがドレスを着るようになりました。-今、パパ、行かないで」 、彼女は父親に叫んだ ）、第二に、「話す」という事実を表現できる動詞のセットを何らかの形で制限し（そしてそれらは非常に多様である）、第三に、少なくとも自動形態学とより良い構文（語順は自由で、 「 彼は決して聖人を祝福しなかった 」のような例で話者を見つけるのはとても簡単です。 彼らの子供たちの、そしてただ、今でもまだ剃っていない彼女の剛毛の頬を代わりに、厳しく同時に注意深く彼女を見て言った：「あなたは健康ですか？..よく、座ってください！ 」）。



幸いなことに、これらはすべてComprenoで既に「配線」されています。 パーサーが発行する構文セマンティックツリーには、誰が何をどのように言ったかについての必要な情報がすべて含まれており、構文および語彙の同音異義語はすでに削除され、代名詞の照応が解決されています。 たとえば、そのようなフラグメントで「 本当に？ -アンナ・ミハイロフナを叫んだ。 -ああ、これはひどいです！ 考えるのは怖い...これは私の息子で、ボリスを指しています。 「彼自身があなたに感謝したかった 」あなたは彼女が誰であるかを理解し、多値動詞addの意味クラスを正しく定義する必要があります。 Comprenoは両方のタスクに対処します-これは、サブツリーが「 ボリスを指して追加された」 を探す方法です。







このようなツリーから文字の言及とそれらに関する必要な情報を取得するには、情報を抽出するためのメカニズムを使用します。 深い構文とセマンティック階層に依存しているため、1〜2の木材パターンを持つ大規模なケースをカバーできます。 たとえば、このような構造を探すルール：







次のようなさまざまな例で動作します。



「私にキスしたいですか？」 彼女はささやき、ほとんど聞こえて、彼女を目の下から見つめ、微笑み、ほとんど興奮して泣いた。

デニソフ、これで冗談を言うな、 ロストフは叫んだ 。

静寂、静寂、静寂ではないですか？ -どうやら死にかけている兵士よりも苦しんでいると、主権は言って、去りました。

叔母は喉をきれいにして飲み込み、フランス語でヘレンに会えてとてもうれしいと言いました。



スピーチ活動に加えて、トルストイのヒーローの行動のいくつかの他の側面を調査しました。 以下に、私たちが何を見つけることができたかについてお話します。

衝動的なナターシャ・ロストワと穏やかなアンドレイ・ボルコンスキー：Comprenoを使用して理解できたこと

まず、「戦争と平和」の各キャラクターが発言する回数を計算し、絶対数で最も「おしゃべりな」キャラクターを作成しました。 小説の内容に精通している人、彼は驚くことはほとんどありません：







ここで、周波数は、明らかに、キャラクターの「中心性」の指標にすぎません。



受信した数値をテキスト内の参照の総数に正規化すると（以前に低すぎる頻度のヒーローが削除された場合）、上位の変更が顕著になります。







今、一番上にいるPetya Rostovは、第1巻では感情的でおしゃべりな子供で、第4巻では熱狂的な若いティーンエイジャーです（彼自身の死まで）。 次は3人の女性キャラクターです-メアリー王女、静かで控えめで厳しい父親に疲れ果てており、主に他のキャラクターとの会話や内部の独白から学びます。ナターシャ・ロストワは、読者が小説全体でレプリカを聞く即時かつ活気のあるヒロインです彼女はエピローグで13歳です-29）、そして活発な興味をそそるアンナ・ドルベツカヤは、提出する必要のある人を吹き飛ばすことができます。



ここで、トルストイは各キャラクターに彼自身のスピーチスタイルを装備することが重要だと考えたと言わざるを得ません。これは彼の創造的な方法の一部でした。 彼は、シェークスピアに対する有名な嫌悪さえも説明しました（「シェークスピアには、キャラクターを描写する唯一の手段ではないにしても、主要な言語がない」と言われているため）。それは、各人が自分のキャラクターに特徴的な独自の言語を話すことです。」 そのため、次の段階では、キャラクターの音声が安定して変化する重要なパラメーターをいくつか強調してみました。



最初の明らかなパラメーターは、感嘆符と疑問文の数です。 質問、感嘆符、およびその他すべての（条件付きで中立的な）スピーチの比率により、キャラクターについてすでにかなり理解できます。 3人の若いロストフ、アンドレイ・ボルコンスキーとピエール・ベズホフを比較してください。 予測可能な感嘆のチャンピオンはペトヤ、ロストフの最年少です。







ナターシャはペティアより年上で、もう少し抑制を示していますが、それでも非常に感情的なままで、彼女のスピーチの3分の1だけが条件付きで「中立」です：







プチとナターシャの兄であるニコライは叫び声を上げて尋ねるが、中立的なスピーチの半分は十分ではありません-すべてのロストフのように、彼は非常に感情的です：







もう1つのことは、冷静な軽contと感情を親密な人々の輪だけに示している世俗社会に属する、完璧に味付けされた誇り高きアンドレイ・ボルコンスキーです（強い意志のあるヴィヤチェスラフ「スターリッツ」チホノフがオスカー受賞映画の適応で彼を演じたのは何の理由もありませんでした）。 ボルコンスキーはほとんど声を出さず、彼は比較的小さな質問をしています。







ピエール・ベズホフは、おそらく小説の最も反射的なキャラクターです。 彼は明らかにアンドレイ・ボルコンスキーよりも感情的ですが、ロストフ一族全体のような「感嘆符」の方向には向いていません。 ピエールはめったに叫びませんが、彼は非常に幼稚な直接のペティアとナターシャとほぼ同じくらい頻繁に尋ねます：







また、Comprenoの助けを借りて、Tolstoyが話すというまさにその行為の特性を簡単に得ることができます。これは一種のパラメーターとしても機能します。 ほとんどの場合、このような特性は、話す動詞に付けられた分詞の形で表されます（ ピエールは叫び、テーブルで決定的で酔ったジェスチャーで打つ ）または前置詞cのインストゥルメンタルケースに追加します（ プリンスヴァシリーは以前よりも頬をさらにひきつらせて尋ねました ）。 例えば、豊かで重要で利己的な王子ヴァシリー・クラギンのスピーチは、彼の外観が特徴づけられる（ hisげた頭をこすり、フリルをまっすぐにする ）か、隠された意図、キャラクターの特徴、魂の動き（ 彼は信じたくさえなかったので、動かしたテーブルを怒って自分自身に動かした ）; アンナ・ミハイロフナ・ドルベツカヤは、彼女が何かを必要とするヒーローの前で永遠に忍び寄っていて、しばしば「微笑む」または「笑顔で」と言います。 phになり、常に眠いクトゥゾフでは、話すことはしばしば頭の動きを伴う：彼は彼女にうなずくか、彼女を下げる 。

繊細なマリヤボルコンスカヤとピエールの継承に関する陰謀：「戦争と平和」の深い構文

次のマイクロスタディでは、私たちは自分自身を発話活動に限定せず、テキスト内のヒーローの「活動」のすべての状況を考慮することにしました。 これを行うために、キャラクターがさまざまな述語に該当する深い位置の統計を収集しました。 Comprenoツリーの深い位置はセマンティックロールに似ています 。たとえば、ヒーローがアクティブなアクション（話す、歩く、撃つ、打つ）を実行すると、エージェントの位置に落ちます。 外的影響の受動的オブジェクトの役割で表示される場合（scられたり、運転されたり、beatられたり、賞賛されたり、愛されたり）、オブジェクト（オブジェクト）の位置に落ちます。知覚、見る、聞く、感じる、または、例えば何かを愛するなら、それは実験者になります（経験者）; 彼女がメッセージの宛先として機能する場合（ 彼女はPierreに語った ）、彼女は宛先の位置に落ちます。 他の位置もあります（モデルには約500個あります）が、ここでは、述語の下に表示される可能性のある最も一般的な位置のうちのいくつかのみを使用します。



深い位置は、発話の状況における参加者の意味的な役割を正確に反映し、文の特定の実装に直接依存しないことが重要です。 したがって、 ピエールはナターシャを愛し 、 ナターシャは ピエールに愛されたというフレーズで、 ピエールは実験者、ナターシャは担保に関係なくオブジェクトです。



深い位置の統計により、キャラクターのキャラクターの違いに関する情報を得ることができ、読者が小説を知ったときに形成されるイメージに「客観的」な確認を与えることがわかりました。 「戦争と平和」の第1巻の主人公の選択された深度位置のシェアが表示されている図を見てみましょう。







一般的に、頻度分布は似ており、予想通り、すべてのヒーローの最も頻繁な位置はエージェントであることが判明しました。 ただし、ここでの広がりは非常に大きく、プリンセスマリアの40.7％、ボリスドルベツコイの44.6％からアンナドルベツカヤの68.3％です。 これらの3つの「極端な」キャラクターは興味深いものです。



メアリー王女は、まず第一に、異常に高い頻度で実験家の地位に就いたことで有名です。 低頻度のエージェントの使用と組み合わせて、これは私たちに敏感なキャラクターのポートレートを与えますが、効果はほとんどありません。 アンドレイ・ボルコンスキーの妹は、父親と一緒に、専制君主であり専制君主であるキャサリンの将軍であり、リジー・ゴリーの土地で「休むことなく生きる」。兄とガールフレンドのジュリアと連絡を取りながら、巡礼者とコミュニケーションを取り、代数と幾何学を行う。王子様。 他のヒーローがボールドマウンテンを訪れたことに関連して、読者の視野にのみ表示されます。 文学者は、マリアヤ王女のイメージは18世紀の感傷主義の強い影響下でトルストイによって作成されたと考えています。



エージェント使用のシェアにおけるアンナ・ドルベツカヤのチャンピオンシップも、最初のボリュームのプロットによって簡単に説明されます。 小説の冒頭でこの高貴な姓の非常に控えめな中年の女性は、活発な活動を展開し、その最終目標は彼女の一人息子ボリスの幸福と昇進です。 彼女は、「頭の中に何かを入れた後、希望を果たすまで遅れない、そうでなければ毎日、細かいハラスメントの準備ができ、さらには舞台に立つ女性の一人、特に母親」と言われています。 。 最初に、アンナ・ミハイロフナは裕福で影響力のあるヴァシリー王子を包囲し、息子を看守に移すことを望み、次にベズホフ伯爵の相続財産を彼に引き付け、同時にロストフからお金を引き出して「ボリスを装う」ことに成功した。



ボリス自身はまだ母親ほど冷笑的で器用で貪欲になっていない-これは次の巻で起こるだろう。 彼は自分のプライドを乗り越えたくないので、重要な人々への訪問中にアンナ・ミハイロフナの「甘い」、「愛情深い」、「注意深い」という要求に抵抗し、受動的な対象として行動することに非常に消極的です。 ボリスの受動性は、オブジェクトの深い位置の大部分を占めるグラフに反映されます。

ナターシャのスマートフォンの「太い首」：戦争と平和を蘇らせます

文学を「数えよう」とする試みは、しばしば、著者が計り知れないものを測定し、それによって古典の不滅の作品を世俗化し、除名しようとする精神に批判を引き起こします。 興味深いことに、そのような告発は100年前に行われました。 「作品自体を研究することは、それを解剖することであると信じられていました。そのためには、ご存じのように、まず生き物を殺さなければなりません。 私たちはこの犯罪を絶えず非難していました」と、1921年の文芸批評における形式的手法の最大の代表の1人であるボリス・アイヘンバウムを書きました（そして当時の形式主義者は、コンピューターの発明よりもずっと前に理論的に遠い読書を発明した人々のようなものでした彼は実際に）。



小説を「殺した」と非難されないように、正反対のこと、つまりその復活をすることにしました。 この目的のために、私たちは経済学部の同僚とともに、Samsung Live Pagesモバイルアプリケーションの開発に参加しました。このアプリケーションは現在、ABBYY Comprenoに基づく情報抽出システムの結果を使用しています。



「ライブページ」アプリケーションは、芸術作品とそのキャラクターを探索するためのいくつかの非標準シナリオを実装します-イベントと運命のタイムライン、カードとキャラクターの引用、小説のエピソードに場所を結び付けるインタラクティブマップ。















これはすべて、ゲームスタイルで作成されたインフォグラフィックに基づいており、私たちのように、10年生のガジェットマンにADDをフックする機会は、学校の司書が彼に委ねる分厚いボリュームよりも多くなっています。















引用本の英雄のスピーチに加えて、コンプレノは、タイムラインの日付、地図の場所、およびエピソードを抽出するために使用されました-トルストイは彼のキャラクターに報酬を与えるのが大好きでした。 もちろん、誰もがボルコンスキーの妻である小さな王女のアンテナを覚えていますが、最も素晴らしいハンサムなアンドレイは「小さなぽっちゃりした手」（そしてこれを小さな身長と組み合わせた）を持ち、優雅な薄いナターシャ・ロストワは「太い首」を持っていると思った人がどれくらいいたかそして「大きな口」？



















誰でもアプリケーションをダウンロードして、同じ精神でさらに多くの発見をすることができます。 その間、私たちの研究に戻り、コンプレノの助けを借りてテキストを「解剖」し続け、その中の新しい予期しないものを探し、彼の作品を不滅にした神秘的な「トルストイコード」を明らかにします。