ABBYYは優れた辞書シェルを作成しましたが、デジタル辞書編集への貢献は、DSL辞書マークアップ言語であるABBYY Lingvoの開発の副産物でもありました。 Lingvoの境界をはるかに超え、他の語彙シェルの独立した標準および形式になりました。その種の中で最も有名なものの1つであるGoldenDictを含みます。



しかし、ABBYY自体は、年々紙の辞書を手作業でデジタル化し、デジタル辞書をミニチュアスペシャルから巨大な汎用辞書に変換した辞書編集愛好家の大軍の助けなしには、そのような成功を達成できなかったでしょう。



最も有名で実り多いグループの1つは、forum.ru-board.comのWebサイトで長い間取り組んできました。 時間の経過とともに、膨大な辞書のコレクションと、作成者と編集者を支援するための知識とツールの強固な基盤の両方が蓄積されました。 多くのスクリプトとプログラムが作成されており、それらのセットは、プログラミング言語の歴史と人気の変化を反映しており、ワードプロセッシングにある程度適合しています。 ここで、PerlとPython、シェル用のバッチファイルの言語、マクロMS WordとExcel、および一般的な言語でコンパイルされたプログラム。



ただし、最近まで、言語の1つはこの領域にほとんど表れていませんでした。 このギャップを埋め、JavaScript言語のパワー、機能、人気の急速な成長に敬意を表したいと思います。 彼は、特にネットワークとローカル辞書編集の境界で、現代の辞書編集者にとって大きな助けになると思われます。



ネットワークディクショナリのローカルコピーの作成は、通常、いくつかの段階を経ます：Teleportなどのプログラムを使用してHTMLページを保存し、正規表現（テキストエディター、マクロ、またはスクリプト）を使用してタグをクリアし、最終的にDSLでマークアップします。 Node.jsバージョンのJavaScriptは、この方法が大幅に短縮および容易になります。この言語はWEBにネイティブであり、ネットワークデータ上で動作でき、不安定で可変レベルのコードや正規表現に落ちず、 DOM要素のレベルで動作するためです。



ネット上で生まれた最も豊かで人気のあるスマート英語辞書の1つであるUrban Dictionaryのローカルコピーを作成して、言語とそのライブラリの一部の機能を説明しようとします。 最近の取り組みの成果は、人気のあるトラッカーでのこれらの分布によって評価できます。



rutracker.org/forum/viewtopic.php?t=5106848

nnm-club.me/forum/viewtopic.php?t=951668

kinozal.tv/details.php?id=1389116



それでもオンライン辞書を保存する予定がない場合は、記事の第3部をご覧ください。Node.jsを使用して解決できる電子辞書を操作する際の他の一般的なタスクの例があります。



ただし、プログラミングは私の趣味であることに注意してください。 これは同時に、さらなる例のプロフェッショナリズムの欠如に関する警告であり、私のように、リベラルな教育しか受けていない人々への励ましでもあります。



読者はJavaScriptを純粋なバージョンと適用されたバージョンで知っており、Node.jsの基本を独自に理解していることが理解されます。 そうでない場合は、基本から始めるか、 JavaScript 、 DOM 、 Node.jsの空白を埋める必要があります。



この記事では、コンソールスクリプトによる静的ページ（JavaScriptをオフにしてもキーコンテンツが変更されないページ）の処理に制限します。 次の部分では、動的サイト（その主要コンテンツはスクリプトによって形成されます）の保存を分析し、GUIを使用してプログラムに触れます。



コンピューターでのみスクリプトを実行し、同時に新しい言語機能を使用するため、Node.jsの最新バージョンをインストールすることをお勧めします。

I.予備段階：辞書エントリのアドレスのリストを取得する

ネットワーク辞書のローカルコピーを作成するには、少なくとも3つのアルゴリズムがあります。



1.最悪の場合、辞書はすべての記事を列挙するための信頼できるメカニズムを提供しません。 次に、アドレスパターンを分析し、言語のトークンのほぼ完全なリストの単語を連続してそれに置換する必要があります（最大のデジタル化された説明辞書から一連の語彙を借りることができます）。失敗した要求を拒否します。



2.一部の辞書では、最初のボキャブラリーから最後のボキャブラリーまでチェーンをたどることができます（「次の単語」リンクまたは最も近いボキャブラリーへの一連のリンクを介して）。 これは最も簡単な方法ですが、最も明白ではありません。最初にボーカルの総数を推定し、次にコピーの進行状況を監視することは困難です。 したがって、同じUrban Dictionaryがこの機会を提供しますが（各単語のページには、前後の記事へのリンクの列があります）、3番目の方法を使用します。



3.辞書にすべての辞書エントリへのリンクの個別のリストがある場合、これらのリンクのセット全体をファイルに事前コピーします。 そのため、今後のリクエストの量と、完了した割合を監視する機能のアイデアを得ることができます。 たとえば、 www.urbandictionary.com/browse.php?character= A 、 www.urbandictionary.com/browse.php?character=A&page=2などのリンクを使用する都市辞書で 指定した文字の語彙を含むすべての記事のアドレスのリストを取得できます（ www.urbandictionary.com/define.php?term=a、www.urbandictionary.com/define.php?term=a%5E_%5Eなど） 。



したがって、ディクショナリを保存するプロセス全体は2つの段階に分けられ、各段階で個別のスクリプトが責任を負います。



辞書エントリへのリンクのリストを保持する最初のコードのコードは次のとおりです。



UD.get_toc.js



1.スクリプトの最初の部分で、必要なライブラリモジュール（または頻繁に呼び出される場合はすぐに必要なメソッド）をロードします。 ほとんどすべてのモジュールはビルトインであり、Node.jsのインストールとともにインストールされます。 外部モジュールのうち、 jsdomモジュールのみが必要です。Node.jsだけでは、HTMLページを解析してDOMツリーに変換する方法がわからず、この機能は前述のモジュールによって提供されます（npmモジュールマネージャーはNode.jsと共にインストールされるため、モジュールのインストールは簡単です） ;コンソールを開き、作成されたスクリプトがあるフォルダーに移動してnpm install jsdom



と入力し、ダウンロードとインストールが完了するのを待ちます-モジュール自体と必要なスレーブモジュールは、スクリプトが検索するnode_modules



フォルダーにインストールされます）。



モジュールをロードした後、スクリプトはファイルを保存するフォルダーを決定し（ユーザーが最初のコマンドラインキーでスクリプトを開始するときにフォルダーを指定しなかった場合、スクリプトが置かれているフォルダーが選択されます）、その中に3つの将来のドキュメントを作成します：辞書エントリのアドレスのリスト; これらのアドレスを取得する処理済みページのリスト。 発生したエラーについて報告します。



最初の部分の最後に、4つのサービス変数が作成されて保存されます。



-英語のアルファベットの配列（リンク付きのURLページを作成するときに文字を交互に追加します。最後の文字は、特殊文字で始まる語彙へのリンクのリストを担当する配列* *文字に追加されます）;

-以前と現在のリクエストURL（同じ不運なアドレスを要求しているかどうか、またはエラーが新しいアドレスに関するものでレポートに含める必要があるかどうかを判断するため）;

-スクリプトのユーザー中断のフラグ。



2. 2番目の部分では、2つのイベントのハンドラーを設定します。スクリプトの任意の終わり（そこにあるすべてのファイルを閉じ、音声で重要なイベントにユーザーの注意を引く関数を呼び出します）と、ユーザーのコマンド（ Ctrl+C



および割り込みフラグを切り替えます。これは、新しいネットワーク要求のたびにチェックされます）。



3. 3番目の部分では、クエリサイクルを開始し、ディクショナリエントリのアドレスリストを受信して​​保存します。 パーツは2つの論理ブロックに分割されます。



a。 処理済みのページに関するレポートファイルが空の場合、スクリプトは異常終了またはユーザーの中断の後ではなく、最初から動作を開始します。 この場合、コンソールウィンドウにアルファベットの最初の文字とそのタイトルを表示し、アルファベット配列から抽出し、関数を呼び出して、テンプレートに従って構築されたURLのページを取得します。



b。 ファイルが空でない場合、スクリプトはすでに機能しています。 次のアドレスのリクエストを順番に作成するには、ファイルから最後に処理されたアドレスを抽出する必要があります。 レポートファイルは大きくなる可能性があるため、完全にメモリにロードするのではなく、ファイルを1行ずつ読み取ることができるモジュールを使用します（念のため、空の行を無視します）。 最後に到達すると、変数に目的のアドレスが入ります。 このアドレスを分析した後、スクリプトが最後に処理したアルファベットの文字を取得し、プログラムが終了する前に保存されたアドレスリストに続くアドレスリストのページを決定します。 このデータに基づいて、アルファベット配列を目的の文字まで包括的に減らし、新しい処理の開始をコンソールに出力し、関数を呼び出して、目的の文字と必要なページを考慮したテンプレートで次のページを取得します。



これで、スクリプトの手順部分が完了しました。 次の3つの関数があります。1つのサービスと2つのメイン。クエリループで順番に呼び出します。



4. playAlert()



サービス関数のサウンドシグナリングについては、 ffmpegライブラリからクロスプラットフォームコンソールプレーヤーを選択しました（起動キーの開発キーを参照）が、サウンドを生成するために他のプレーヤーまたはシステムモジュールを使用できます。 他のサウンドも選択できます。



5. getDoc(url)



関数は、ディクショナリエントリのアドレスのリストを含む次のページのリクエストを送信します。 最初に、ユーザーがスクリプトを中断する必要があるかどうかを確認します（スクリプトは数時間実行されるため、中断が必要になる場合があります）。 関数は、過去の変数と今後の要求を更新します。 最後に、ページを取得するために呼び出す必要のある関数に適切なメソッドを渡しながら、jsdomモジュールにページを要求するよう指示します。



コードでは、2つの追加機能がコメント化されています。



a。 ダウンロードを高速化するために複数のスクリプトを並行して実行する予定がある場合は、匿名プロキシサーバーを介して実行することをお勧めします。 Fiddler + Torバンドルをテストしました（Expert Bundleの非ブラウザバージョンで）-スクリプトの全期間にわたって使用しませんでしたが、1つのプロセスのサーバーとの通信速度が同時に遅くなるため、タスクを並列プロセスの部分に分割して作業を複雑にしたくありませんでした。 こちらの実装例をご覧ください 。



それでもスクリプトを並列化する場合は、起動時に出力ファイルに異なるフォルダーを指定するか、異なるフォルダーからスクリプトの異なるコピーを実行する必要があります。 これらのフォルダには、処理済みページにレポートファイルが既に含まれている必要があります。このファイルは、指定されたアドレス部分の直前のアドレスを指す少なくとも1行で構成されています。



b。 サーバーによって禁止されることに対するもう1つの予防策は、リクエスト間の遅延を使用することです。 setTimeoutでメソッド呼び出しをラップし、一時停止のサイズを実験するだけで十分です。 私の経験では、Urban Dictionaryサーバーにはリクエスト間で十分な自然な一時停止があり、追加の休憩は必要ありません。



6. processDoc(err, window)



関数はjsdom



モジュールによって呼び出され、ページを受信するか、エラーが発生するとつまずきます。ここから、関数に対応する2つの引数があります。



この関数は最初にerr



引数をチェックします：定義されている場合、要求は失敗しました。 この場合、スクリプトは音声で信号を送り、メッセージをエラーファイルに書き込み（これが指定されたURLの最初のエラーであり、繰り返し要求のチェーンの次ではない場合）、ウィンドウとコンソールヘッダーに情報を表示し、 getDoc(url)



関数にアクセスして要求を再開します引数を繰り返します。



err



空の場合、関数は結果のドキュメントの解析を開始します。 いくつかの可能な結果とそれらに対する反応があります。



a。 ページには、辞書エントリへのリンクの一部があります。 次に、関数はこれらのリンクのアドレスのリストを辞書コンテンツファイルに書き込み、現在のページのアドレスを処理済みページファイルに書き込み、保存されているリンクの数をコンソールに報告し、アドレスを持つ次のページのURLを見つけようとします。 検索が成功すると、プログラムはコンソールに次の要求に関する情報（文字とページ番号）をgetDoc(url)



し、すでにおなじみのgetDoc(url)



関数に送信します。 検索が失敗した場合、プログラムはアルファベットの配列をチェックします：文字が含まれている場合は新しい配列に進み、空の場合は終了します。



b。 ページにリンクはないが、アドレスが要求されたものと一致する場合、サーバーでエラーが発生した可能性が高いことを意味します（たとえば、サーバーが一時的な利用不可について回答した場合）。 この場合、スクリプトは要求を繰り返します。



c。 リンクがなく、アドレスが要求されたものと一致しない場合、リダイレクトが発生しました。 これは、Urban Dictionaryのディクショナリエントリのアドレスリストの1つの機能により可能です：現在の文字によるこのリストの推定ページ数は、実際のページ数よりも多い場合があり、レターブロックの最後に存在しないページ番号を要求しようとすると、サーバーはユーザーをメインページにリダイレクトします。 この場合、アルファベット配列が空でない場合、スクリプトは次の文字に移動します。



配列が空の場合、スクリプトは終了します。



その結果、辞書の内容を含むファイルを取得します。 他の2つのファイルにはサービス値があるため、必要に応じて、発生したエラーを確認して削除できます。

II。 メインステージ：辞書エントリのテキストの取得

2番目のスクリプトの構造は似ており、違いは主に作業時間（現在は数時間ではなく数日で）と処理ページの複雑さの両方の大幅な増加にあります。



UD.get_dic.js



1.最初の部分では、ほぼ同じモジュールを再度ロードし、2つのプログラム開始キーをチェックします。まず、入力ファイルがあるフォルダーに移動します（スクリプトでは、前のステップで保存した辞書エントリーへのリンクのリストを探します）。新しい発信ファイルのフォルダ。 どちらの場合も、キーが指定されていない場合、スクリプト自体のフォルダーが使用されます。 スクリプトは、リンクのあるファイルの存在を確認します-ファイルが表示されない場合、プログラムは対応する宣言で終了します。



次に、いくつかの変数を定義します。



-大きな数値と1時間あたりのミリ秒数をフォーマットするための正規表現-それらは将来的に定期的に使用されます。

-データの永続的または一時的な保存のためのコンテナ（辞書エントリへのリンクのリスト、現在の記事のタイトルのリスト、およびセクションのリスト-語彙の異なるユーザー解釈）;

-過去および今後のリクエストですでに馴染みのある変数。

-スクリプトの速度を計算および表示するための変数。

-ユーザーの作業中断のフラグ。



2.第2部では、既に上記で説明したイベントハンドラーを紹介します。スクリプトとユーザーコマンドをシャットダウンして、作業を中断します。



3. 3番目の部分では、メイン出力ファイルのサイズによって、それが最初のプログラム起動か、ブレーク後の次の起動ファイルかを確認します。 作業が始まったばかりの場合は、将来の辞書ファイルにBOMラベルと初期ディレクティブをDSL形式で入力します。



4. 4番目の部分は、プログラムの手順セクションを完了します。 その中で、辞書エントリへのリンクのリストを含む入力ファイルを最初に読み込み、さらにクエリを決定するコンテナに入れます（最初のスクリプトではアルファベットのコンテナのように見えます-クエリサイクルの開始点になります）。 次に、前のスクリプトのように、すでに処理されたアドレスについてレポートファイルをチェックします。その中に何かがある場合、最後に正常に保存された辞書エントリが書き込まれる最後の行を見つけます。関数を実行して実行します。1時間に1回スクリプトの速度が計算され、完了の時間がほぼ予測されます（連続性の仮定の場合）。 次に、残りのアドレスの数をコンソールに出力します（これは大きいため、読みやすくするためにビットをスペースで区切ります）。ページのリクエストと保存の通常のサイクルを開始します。 レポートファイルが空の場合、読み取りをスキップし、リストされたアクションの2番目の部分にすぐに進みます。



辞書エントリへのリンクの着信ファイルも空の場合、これをユーザーに通知し、適切なタイミングまでプログラムを終了します。



次の機能：いくつかの小さなサービスのものと、すでによく知られているサイクリッククエリのターンを構成する2つの主要なもの。



5. playAlert()



関数は、最初のスクリプトと同じ名前でも変わりません。



6.辞書エントリをDSLファイルに保存するときは、 secure(str, isHeadword)



関数を定期的に使用します。 2つのタスクがあります。奇妙なことに、ネットワークテキストで検出された制御文字（ASCII開始ブロックの文字）を、DSLコンパイラーが混乱しない条件付きで読み取り可能な形式に変換します。 また、DSL形式の境界要件を超えた記事から長すぎる単語を短くします（見出しは他の規則によって短縮されます）。



7. setSpeedInfo()



関数は、プログラムのメインフローと並行して実行されます。 1時間に1回、情報行が置き換えられます。これは、スクリプトの速度と残り時間を表示します（行の先頭には、最初の1時間後に数字で置き換えられる行に実線の疑問符が表示されます）。 この関数は非常に透過的で、2つのメモを作成するだけですrestMark



変数には、前回の速度計算中に残っているアドレスの数が格納されます。 この関数では、速度の再カウントに関するサウンドシグナルが非同期でトリガーされます（つまり、スクリプトはサウンドの終了を待機しません）-このため、変数で子プロセスを非同期で開始するための別のメソッドを最初に保存しました。



8.ネットワーク要求を送信するgetDoc(url)



関数は、サーバーの禁止に対するコメントアウトされた予防措置や作業を高速化する方法など、前のセクションで説明したものと変わりません。



9. processDoc(err, window)



関数は、前のスクリプトの同じ名前と比較して、ワイヤーフレームを保存しますが、受信したページからの情報の処理と保存の点で大きく異なります-結局、一連のリンクを書き留めるだけでなく、ブロック全体を分析および変換する必要がありますデータ。



ただし、関数の先頭は変更されていません。 err



引数を確認し、定義されている場合は、エラーレポートファイルに情報を入力し、失敗した要求を再開します。



これまでにエラーがなければ、ページの分析を開始します。 次のイベントの順番が可能です。



a。 ページには予想されるディクショナリエントリが含まれています。ページアドレスにはリダイレクトが疑われる理由はありません。



この場合、辞書エントリのすべての部分、つまり単語のすべてのユーザー解釈の配列になります。 次に、各要素の分析に進みます。



各ユーザーの解釈は、原則として3つの主要なサブセクションで構成されます：見出し（記事の主要な見出しと同じか、若干の逸脱があるバージョンにすることができます）、解釈と例（最後の部分はオプションです）。



すべてのヘッダーを特別なバッファーに蓄積します（重複の追加を避けるために、JavaScript用に新しくSet



一意の要素のみを保持するSet



データ構造を使用します）。 その前に、前述のsecure(str, isHeadword)



を介して各ヘッダーをsecure(str, isHeadword)



し、2つのオプションを作成します：DSLヘッダーのヘッダーと、DSLカードセクションの先頭に配置するヘッダー-これらの領域には異なる要件が課されます。 いずれの場合も、必要な文字をエスケープします。 長すぎる場合は、フォーマット要件に従ってバッファに配置する前に最初のオプションを減らします。



jsdom



モジュールはDOM要素からテキストを抽出するためにいくつかの欠点があるjsdom



プロパティを使用するため、 jsdom



を失うことからさらに安全であり、さらにいくつかのbr



タグの前にシンボリックバリアントを挿入します。



その後、一時変数に格納する前に、解釈と例の一部を順番に処理します：行の先頭と末尾の空白を削除し、繰り返されるスペースを減らし、必要な特殊文字をエスケープし、カード本体に必要な最初のインデントを挿入し、将来のコンパイル中に空の区切り線が失われないようにしますDSL



メイン部分を終了したら、サービス情報を変数に保存します。各解釈に対する賛成票と各解釈の作成時間（匿名サブセクションに表示される余分な部分を削除します）。



最後に、すべての部分を、辞書エントリの部分を蓄積するバッファの別の要素に結合します。



次に、記事が複数のページにまたがっているかどうかを確認します。 その場合、次のページで分析を繰り返し、ヘッダーと解釈バッファーを増やしてください。記事が1ページを占める場合（または、これが複数ページの記事の最後のページである場合）、両方のバッファーを辞書ファイルに書き込み、記事のアドレスを正常に処理されたアドレスのレポートファイルに入力し、保存された解釈の数とプログラムの速度に関する情報を表示し、次の前にバッファーをクリアしますループループ。



さらに、アドレス配列が空でない場合、次の辞書エントリを要求します。それ以外の場合、プログラムは終了します。



b。予想される記事はありませんが、アドレスはリダイレクトを示していません。これには少なくとも2つの理由があります。



-記事のタイトルがサーバー上に残っているか、誤って取得した-解釈が削除されたか作成されませんでした。この場合、解釈する代わりに、特別な絵文字が挿入されます。プログラムがそれを見つけると、対応するコメントをエラーファイルに書き込み、コンソールにメッセージを表示して、次のアドレスに進みます（または、アドレス配列が空の場合は終了します）。



-絵文字がない場合、サーバーにエラーがある可能性があります。この場合、スクリプトは同じアドレスのリクエストを再開します。



c。ページアドレスが予想されるテンプレートと異なります-リダイレクトが発生しました。



この場合、プログラムはユーザーの介入を必要とするエラーを報告します（リダイレクトの理由を理解する必要があります：サーバーで禁止された、サイトで変更が発生した、または以前の経験では考慮されなかった何かが発生しました）。



すべてがうまくいけば、最終的にDSLで完成した辞書を取得します。その後、サービスおよび中間ファイルを削除できます（スクリプトの実行中にエラーファイルを分析しなかった場合）。

III。 結果のディクショナリを使用したさらなる操作

このパートでは、デジタル辞書を作成および処理するとき、およびそれらを異なる形式に変換するときに発生する可能性のある他の問題の例を示します。

1.コーディングの変更

ABBYY LingvoコンパイラーはUTF-16エンコードを必要とし、GoldenDictはUTF-8エンコード（純粋なラテン語の辞書ではファイルサイズの半分を提供します）でも機能します。一部のテキストエディタは、これらの2つのエンコーディングの大きなファイルを異なる速度で処理します。これも変換の原因になります。もちろん、エディターを使用して別のエンコードでファイルを再保存することもできますが、これが常に最速で最も便利な方法とは限りません。



Node.jsは、大きなファイル、高速かつ低メモリを変換する簡単な方法を提供します。上記のエンコードの2つの例を次に示します（エンコードラベルは、拡張子の前に新しいファイルの名前に追加されます）：



utf8_2_utf16.js



utf16_2_utf8.js

2.テキストの置換

前のケースと同様に、大きなファイルの場合、この操作は、テキストエディターを使用するよりもスクリプトを使用する方が簡単で経済的です。スクリプトの作業は、さまざまな条件に応じて置換を行う必要がある場合に特に役立ちます。



複雑さを増した3つの例を示します。

a。 簡単な交換

このスクリプトは、Urban Dictionaryのサンプルのセクションを非表示にする、つまり、セカンダリディスプレイタグでラップするというユーザーの1人からのリクエストに応じて表示されました。スクリプトを作成して、要求されたバージョンの辞書を作成するには数分かかりました。



replace.js



他の単純なケースでは、このファイルの正規表現行を置き換えるだけです。

b。 ファイルの先頭からBOMタグを削除する

PDFファイルを作成するときにPDFプリンターがBOMをスペースに変えることに気付いたとき、そのようなアクションの必要性が生じました。BOMタグがプログラムを混乱させる他のケースもあります（特にUTF-8エンコード）。



deBOM.js

c。 複雑な代替品

次のスクリプトは、さまざまな条件に依存する置換の例を示しています。



-行がDSLディレクティブ、記事のタイトル、または本文のいずれに属しているかによって、異なる置換が機能します。



-キーワードを含む行はディレクティブから削除され、#ICON_FILE



LSD辞書を逆コンパイルするときに挿入される場合があります（辞書に独自の組み込みアイコンがない場合でも）。



-見出しの単語は、例外の配列に含まれていない場合、小文字に変換されます。辞書ヘッダーのすべての文字が大文字で指定されている場合、このような必要が生じることがあります。配列には適切な名前と略語を入力できます。配列を別のファイルに保存して、スクリプトの最初に読み込むことができます。



-カード本体のインデントタグでは、インデントの数が1つ増えます（[m1]



変換[m2]



）など、。



このスクリプトを他の置換のテンプレートとして使用できます。要求されていない行をコメントアウトし、必要な行を編集するだけです。



replace_in_dsl.js



このサブセクションのすべての例では、着信ファイルと発信ファイルのエンコードがコードで指定されています（他の可能なエンコードの例は、置き換えのためにコメント化されています）。ただし、スクリプトを実行するキーに設定して、コードを少しやり直すことができます。古いファイルと新しいファイルのエンコードが異なる場合は、2つのキーを追加できます。

3.要素のカウント

次のスクリプトでは、完成したUrban Dictionaryの要素の数、つまりヘッダー、カード、ファイル内のすべてのカードと行内の解釈の数を検討しました。



count_dsl_elements.js

4.アイテムを抽出する

次のスクリプトは、DSL辞書からすべてのヘッダーを抽出できます（たとえば、最大の辞書で言語の単語のリストを作成したり、ヘッダーを小文字に変換する上記のスクリプトの例外リストを作成したりします）。



extract_headwords.js

5.要素の一意性の検証

大規模な辞書の場合、事前にエラーを修正し、長いコンパイルプロセスを何度も繰り返さないために、コンパイルする前にヘッダーの一意性を確認することをお勧めします。次のスクリプトは、スキャンの結果をコンソールに表示し、重複がある場合はファイルにそれらのリストを表示します。



check_headword_uniqueness.js

6. DSLをテキスト形式に変換する

辞書の読みやすいテキストバージョンは、その独立した意味に加えて、PDFおよびDjVu形式に変換するための基礎になる可能性があります。これにより、テキストファイルの選択された構造の機能、特にその厳密な書式設定、つまり段落内の空白と明確な改行でフィールドを設定します。



dsl_2_txt.js



スクリプトの始まりは伝統的です。 2つの新しいモジュールが追加されました



。string-width-文字列に2文字の幅を占める2文字があるかどうかを確認します（原則として、これらはCJKグループのアジア言語文字です）。段落を特定のサイズの部分に分割するときに、行の長さを正しく計算するために必要です（このため、小さなユーティリティ関数がファイルの最後に定義されていますhasCJK(str)



）。



ワードラップ：段落を、指定された幅の行に分割し、左端から可能な限りインデントします。



これに続いて、テキストの読みやすさを高め、段落をサブストリングに分割し、メインおよび追加のインデントを追加し、DSLタグを削除し、特殊文字を保護し、カードの境界を定義する多くのユーティリティ変数が続きます。



次に、既に知っているシャットダウンハンドラーを登録した後、スクリプトはディクショナリフォルダーで注釈ファイルを探し、その内容を生成されたテキストファイルに書き込みます（注釈の存在のチェックを挿入できますが、原則として、それはまだあります）。



最後に、スクリプトは、カードの変更（カードの最後から次の最初の見出しへの遷移）に従ってDSL形式を1行ずつ読み取り、必要に応じてインデントの幅をリセットし、分析の対象（カードのタイトルまたは本文）に応じて必要なアクションを実行します）：



-特殊文字、DSLタグ、および「ヒューズ」のエスケープが空の行を失うのを防ぎます。

-インデントを追加する必要性を判断し（[mN]タグが検出された場合）、「ワイド」文字の存在を確認します（このような場合、許容行幅を半分に大まかに分割しますが、そのような文字の数に応じてより細かい設定を追加できます）、現在の行幅を設定しますまた、単語内のハード改行の必要性（行に割り当てられたスペースを超える単語がある場合）およびそれに応じて段落をフォーマットします。

-書式設定された段落をテキストファイルに書き込みます。



結果のテキストファイルの例は、上記の配布資料のスクリーンショットで見ることができます。

7.テキストファイルにページ番号を挿入する

PDFに印刷する必要のあるプログラムには、ページ番号を自動的に設定するオプションがない場合があります。このような場合には、テキストファイルの改ページスクリプトが役立つ場合があります。



paginate.js



このスクリプトは、ファイルへのパスとページごとの行数の2つの必須引数を取ります（空行の後にページ番号のためにスペースを空けるために2つ減ります）。



より便利な数値書式設定のために、文字列データを操作するための多くの関数を提供する文字列モジュールをロードします。特に、指定された幅の一連のスペースの中央に行を配置する関数と、挿入ポストからこの行の右側を削除する関数が必要です。このようにして、ページの下部の行の中央に数字を配置できます。



手続き部では、スクリプトは入力ファイルを1行ずつ読み取り、フォーマットされたページ番号を適切な場所に挿入して、すべてを出力ファイルに書き込みます。作業の最後に、最後の番号が最終ページの一番下に挿入されます。

8.ファイルを部分に分割します。

ここでは、異なるパラメーターに応じて、分離の2つの例を示します。

a。 アルファベットの綴り

大きな辞書をアルファベット順に分割すると、作業しやすい場合があります。たとえば、親フォルダー全体をインデックス付けしてから、そのすべてのコンテンツのインデックスで検索すると、Adobe Acrobatはすべての部分を全体として認識できます。



split_by_abc.js



作業を開始する前に、スクリプトは追加のレポートファイルを作成します。このレポートファイルには、パーツのサイズに関する情報（ファイルごとの行数についての文字）が保存されます。これは、理論（統計）と実用（部品の後続処理の時間の理想）の両方に興味があるかもしれません。ただし、これはオプションの複雑さです。



次に、アルファベットの配列（最後に文字が配置され、辞書の最後の部分の最初の見出しが始まり、特殊文字の語彙を含む）といくつかのサービス変数が形成されます。



手順部分はnewPart(chr)



、次の部分を保存するファイルを作成する必要があるたびに実行される関数の呼び出しで始まります。この機能：



-前のファイルを閉じます（これが作業の始まりでない場合）。

-その中の行数をレポートファイルに書き込みます。

-行カウンターをリセットします。

-アルファベットの今後の文字で新しいファイルを作成します（辞書の最後の部分の記号が、ファイル名で使用するためにシステムによって禁止されているものの中にないことを確認してください）。

-新しいパートの先頭にBOMを記述します（最初のパートでは、辞書全体から自動的に転送されます）。

-コンソールおよびレポートファイルにアルファベットの今後の文字を表示します。

-アルファベットの配列が空でない場合は、正規表現を作成します。正規表現は、新しいアルファベット部分への移行をキャッチするために着信ファイルの行をチェックします。



最初の部分のファイルを作成した後、辞書全体の読み取りサイクルが続きます。各行は前述の正規表現によってチェックされ、必要に応じて新しいファイルが作成されます。次の部分のテキストが現在のファイルに書き込まれ、レポートファイルの行カウンターが増加します。ループの終わりに、最後の部分のサイズが書き込まれ、すべてのファイルが閉じられます。



このスクリプトは、ABBYYコンパイラーにとっては強すぎる巨大なDSLファイルを分割するのにも役立ちます（たとえば、最近のバージョンのLingvoでは、ロシア語から英語の最も膨大な方向からMultitran辞書をコンパイルしようとすると、メモリー不足に関するメッセージでコンパイラーがクラッシュしました）。この場合、辞書をアルファベットの中央の文字で2つの部分に分割する必要がある場合があります（したがって、上記のアルファベット配列はこの文字の1つに減らすことができます）。

b。 ページ区切り

辞書全体を大きなファイル用のテキストエディタから完全にPDFで印刷しようとすると、プリンタに送信されるエディタが65,000ページを超えないという制限に遭遇しました。辞書を65,000ページに分割し、個別に印刷してから、Adobe Acrobatでパーツを結合する必要がありました。このために、次のスクリプトが作成されました。



split_by_pages.js



スクリプトは、いくつかの例外を除いて前のスクリプトに似ています。-スクリプトは、



起動時に3つの必須引数を取ります。辞書全体へのパス、ページあたりの行数、分割された辞書の一部あたりのページ数、

-レポートファイルは作成されません。パーツのサイズが比較的同じになるためです。

-新しいパーツを作成する機能が簡素化され（レポートファイルにレコードがなく、テスト正規表現が作成されます）、アルファベットの代わりに、パーツの名前に一般的な番号付けの一部として最初のページの番号が含まれます。

-読み取り/書き込みサイクルにより、辞書ファイルの見出しの最初の文字ではなく、行とページのカウンターに基づいて、新しいファイルが作成されます。



Node.jsの機能をテストしたい電子辞書の作成者および編集者と共有できるのはおそらくこれだけです。時間と注意をありがとう。非専門的なアプローチに関連するコードのすべての欠陥をおaび申し上げます。デジタル辞書編集で幸運を祈ります）



PS記事の第2部は、新しいタスクと例とともに、ここで読むことができます。