「ワンクリックですべてのトルストイ」：どのようにそれをしたか

少し前に、90巻の収集されたレオトルストイの作品のデジタル化を組織し、3000人以上のボランティアがこれを手伝ってくれました。 このクラウドソーシングプロジェクトについては多くの出版物がありましたが、技術的な部分を扱ったものはありませんでした-この記事で説明します。



そのため、電子書籍の形式（ePub、fb2、html、mobi）、およびテキストレイヤーを含むPDF（トルストイの最も完全な収集作品）に変換する作業に直面しました。 それは30年間制作されました。1928年から1958年まで、各巻は5000部の発行部数で出てきました。 電子出版物のリリース前、この収集された作品は再版されておらず、希少品へのアクセスがすでに困難になっています。 90巻には、芸術作品（1〜45巻）、日記とノート（46〜58巻）、手紙（59〜90巻）が含まれます。 また、完全にインデックスで構成された秘密の第91巻もありました。したがって、編集者にプロ意識を示すために多くの眠れない夜を与えました。 もちろん、古典の創造物の多くは、以前は電子形式で存在していましたが、すべてではありませんでした。



適切な技術が手元にあるとき、今日の何かをデジタル化することは問題ではありませんが、そのような大量のテキストを削除し、認識の不正確さを修正することは、無限の時間のリソース（約永遠）または多くのヘルパーを必要とする巨大な仕事です。 そのため、デジタル化プロジェクトの主な顧客であるレオトルストイ州立博物館と一緒に、クラウドソーシングプロジェクトを実施し、校正にボランティアを参加させることにしました。 便宜上、ウェブサイトwww.readingtolstoy.ruが作成されました。



収集された作品は、2006年にロシア国立図書館によってスキャンされ、作品用のPDFファイル（テキストレイヤーなしの画像のみ）、1つのボリューム（およびこれは400〜600ページ）-1つのファイルを取得しました。 ファイルを合わせて4 GBのみを占有しました。



ボランティアがテキストを確認する必要があったため、ファイルを小さな部分（「パッケージ」）に分割することにしました。これにより、作業が面倒で退屈ではなく、人々にとって複雑で時間がかかるようになりません。 20ページのパッケージがこれらの条件を完全に満たしているように思えました。 したがって、すべてのPDFファイルはABBYY認識サーバーを使用して自動的にパーツに「カット」され、各ボリュームから約20ファイルが取得されました。初期ページ数に応じて、形式はPDFのままです。 ページ数以外の条件によるボリュームの分割に導かれませんでした。たとえば、1つの作業の終了と別の作業の開始が1つのパッケージに分類される場合があります。



さらに、結果のパッケージを認識しなければなりませんでした-これは、 ABBYY FineReader （バージョン11を使用）を使用して従業員によって行われました。 通常、文書認識はいくつかのステップで構成されます。 最初に、ドキュメントをスキャンします（または、この場合のようにプログラムで終了したスキャンを開きます）。次に、プログラムがドキュメントを分析し、領域（イメージ（認識されない、つまりテキストが抽出されない）、テキスト、表、脚注）をマークします。 その後、プログラムは認識すべきすべてを認識し、すべてが正しく行われたかどうかを確認する機会があります（スキャンを認識結果と比較します）。



そのため、従業員はFineReaderでスキャンを「実行」し、マーキングエリアで作業しました（ボランティアは認識を確認する必要がありました）。 そして、ここで最も難しい興味深いことが始まりました。 すべてのボリュームを分析し、テキスト、表、脚注、またはフッターとして認識される必要があるものと、画像を残すために何を認識するかを決定し、これに従ってマークアップを修正する必要がありました。 カバー画像を写真、数式、手書きメモ、トルストイの絵として残すことにしました。



ボリュームの1つのカバー（FineReaderの標準レイアウト：「画像」領域は赤で強調表示され、「テキスト」は緑、「テーブル」は紫です）







トルストイの手書きメモ







たとえば、ABCの一部の作品では、多くの写真と非常に少ないテキストがありました。ページのコンテンツのほとんどに画像が残っていると判断しました。 そのため、FineReaderの領域を自動的にマークします。







そして、それは私たちにとってとても便利でした：







一部のボリュームの出力では、一部の姓がフレームで囲まれています。このような場所も画像としてマークされています。 テキストをさらに処理するために、ページ番号をフッター領域でマークすると便利でした。 トルストイの巻の1つでは、過ぎ去った年の物語および古いロシア語の他の作品からの抜粋が与えられます。 FineReaderはこの言語を認識しないため、このようなフラグメントが画像として定義されているテーブルを最初に準備しました。







この方法でマークされ、認識されたページは、FineReaderドキュメント（またはパッケージ）のネイティブ形式で保存されました。 このようなドキュメントは、多数のファイルを含むフォルダーを表します。 ボランティアがサイトから1つのファイルでパッケージをダウンロードできるように、ドキュメントはzipでアーカイブされました。 パッケージの準備が整うと、特別に作成されたプロジェクトサイトに投稿され、そこからボランティアがダウンロードして確認できます。 サイトの作成方法について簡単に説明すると、興味のある人はネタバレの下で読むことができます。







このプロセスの仕組みは次のようになりました。Webサイトwww.readingtolstoy.ruに登録されたボランティアは、個人アカウントにアクセスし、そこで20ページの1パッケージを確認のために取得できました。 ボリュームに表示される順序でパッケージがユーザーに発行されたため、ボリューム全体がより速く収集されます。







すべての参加者は、2013年末まで有効なABBYY FineReader 11 Professional Editionのライセンスを受け取りました。 このプログラムは、トルストイで使用されている認識言語-旧ロシア語のスペル、英語、フランス語、ドイツ語、ギリシャ語などが既に構成されています。



ボランティアには2つのタスクが割り当てられました。 1つは、エリアの正しいレイアウトを確認することです。 注意深い読者は言うだろう-結局のところ、これは最後の段階ですでに行われている。 しかし、エリアの正しいマーキングを認識すると成功の約半分になるため、ボランティアはドキュメントが正しくマークアップされていることを確認する必要がありました。 2つ目は、不正確に認識された文字を確認し、認識結果を元のエラーと修正してエラーを比較することです。 エラーには2つのタイプがありました。テキスト（スキャンの品質が悪い）と段落の配置で文字が正しく認識されませんでした-段落が時々接着されたり、逆に必要のないところで壊れたりしました。







また、ページレイアウトを調整する必要がありました。あるページから別のページに単語を転送する場合、単語を「接着」して、ページの1つに完全に残す必要がありました。 ボランティアを助けるために詳細な指示が与えられました。



荷物は48時間以内に確認し、サイトに返送する必要がありました。 思い出したように、参加者はアーカ​​イブされたファイルをダウンロードし、同じ形式でサイトにアップロードする必要があります。 パケットが返されなかった場合、2度目に送信されました。 チェックされたパッケージに対してポイントが授与され、最も活発な参加者が賞品を受け取りました-Onyx電子書籍、ABBYY FineReaderプログラム、その他のギフト。 そして、主人公はヤスナヤポリヤナ博物館敷地への2日間の遠足に行き、そこで作家フィヨクラトルストイの偉大な孫娘やプロジェクトの他の主催者と個人的にチャットすることができました。



実際、私たちのイニシアチブがトルストイの読者の間でそのような積極的な反応を受け取るとは思っていませんでしたが、人々はプロジェクトのウェブサイトの開設に関する記者会見ですでに登録を開始し、収集された作品全体がわずか2週間でチェックされました。







プロジェクトの第1フェーズには1,600人の参加者が集まりました。



パッケージのチェックを開始したとき、作業の質は異質でした。 ほとんどのボランティアは責任を持って問題に取り組みましたが、間違いがありました。 ほとんどのパッケージをチェックした後、2回目のラウンドが始まりました。いわゆる「監査人」が同じパッケージをチェックします。



審査員は、新しいボランティアだけでなく、良い仕事をした最初のラウンドの参加者でもあります。 すべての申請者は、テキストの検証に関連する質問を含むテストを受ける必要がありました。 審査員は完成したパッケージをチェックし、エラーを修正し、最初のラウンドの参加者に追加の評価を与えました。その後、主催者はそれに注意を向けました。



その後、パッケージはサイト上の特別なデータベースに到着しました。 1つのボリュームのすべてのパッケージの準備が整うと、プロジェクト管理者はこれを見て、サイトからすべてのボリュームパッケージをダウンロードし、開発者が作成した特別なユーティリティを使用して1つのドキュメント（FineReader形式のまま）に戻しました。 次に、従業員は、ページ番号などが壊れているかどうか、彼が正しく組み立てられたかどうかを確認しました。 その後、完成したボリュームは管理者に戻されました。



審査員の仕事の質は賞賛に値するものではありませんでしたが、私たちはそれを安全にプレイしたいと考え、3回目のテキスト検証を行いました。 ボランティアの中から、初期段階でよく働いていた30人を選びました。彼らは「編集者」になり、この段階で少数の新しいボランティア（言語学者とプロの編集者）が加わりました。



編集者はボリューム全体のみを取得でき、検証のために1週間が与えられた後、その人はドキュメントをサイトにアップロードし直す必要がありました。 編集者がボリューム全体を検証する時間がない場合、検証されたページの数を示して、ボリュームをサイトにアップロードしました。 プロジェクトのこのラウンドでは、ボランティアは非常によく働いたため、紙の版で事実上の誤りを見つけさえしました。たとえば、編集者のイニシャルがボリュームの出力で誤って示されていました。



検証の第3段階の後、管理者はボリュームをMS Word形式にエクスポートし、スタッフエディターに検証のために送信しました。 エディターはファイルを再度読み取り、WordファイルとFineReaderソースパッケージの両方で修正が行われました（その後のファイルから他の形式への保存を容易にするため）。



プロジェクトの結果、次のタイプのファイルを取得する必要がありました。



1.テキストレイヤーを含むPDF

2. Html、および電子書籍用のFB2、epub、mobi形式のファイル（この段階で、WEXLERのパートナーが作業に参加し、受け取ったファイルを電子書籍形式に変換する作業を行いました。この作業の詳細については、センター長の記事を参照してください）ソフトウェア開発会社WEXLER Sattara Gyulmamedova。



さて、結果について少し。 49か国から3249人のボランティアがプロジェクトに参加しました。 全体として、作業の結果によれば、670冊の本が得られ、そのうち91冊は元の収集作品のボリュームと同一であり、579作品はボリュームから「抽出」されています。 合計で2084個のファイルがあります。 91巻では、htmlバージョンのみが作成されました。このポインターは電子書籍の形では面白くないためです。また、9作品については、いくつかの形式の制限によりfb2バージョンを作成しませんでした。



すべての電子書籍は、トルストイ専用の公式ポータルで入手できます。 また、プロジェクトのウェブサイトwww.readingtolstoy.ruには、Leo Tolstoyの作品をダウンロードしたすべての人が自分自身をマークできるインタラクティブなマップがあります。その結果、ユーザーの間で最も人気のある作品と最も活発な読者のいる国と地域について興味深い統計が取得されます。







もちろん、トルストイの収集した作品をデジタル化する主な目標は、すべての読者に作家の遺産へのアクセスを提供することですが、利益はそれだけではありません。 電子形式のトルストイのテキストは、言語研究者にとって非常に興味深いものです。 これらの研究の1つについて、次のいずれかの記事でお伝えしたいと思います。