HabrのAnti-Plagiarism社の企業ブログの最初の記事で、譲渡可能なローンアルゴリズムの検索がどのように機能するかについて話すことにしました。 数年前に、ロシア語のテキストで英語の翻訳されたテキストと借用されたテキストを検出するツールを作成するというアイデアが生まれました。 同時に、このツールが数十億のテキストのソースデータベースで動作し、反パラギアリズムの通常のピーク負荷（1分あたり200〜300テキスト）に耐えることが重要です。



」



運用の12年間で、反パラギアリズムサービスは同じ言語内の借用を検出しました。 つまり、ユーザーが検証のためにロシア語のテキストをアップロードした場合、ロシア語を話すソースで検索し、英語の場合は英語を話すなどで検索しました。この記事では、翻訳された盗作を検出するために開発したアルゴリズムについて説明します。翻訳された盗作の事例は、ロシア語の科学記事に基づいてこのソリューションをテストすることで見つかりました。



すべての「i」にドットを付けます。この記事では、他人のテキストの使用に関連する盗作の兆候にのみ焦点を当てます。 他の人の発明、アイデア、思考の盗難に関連するすべてのものは、記事の範囲外になります。 この使用が合法、正しい、または倫理的であることがわからない場合は、「テキスト借用」または「テキスト借用」と言います。 「盗作」という言葉を使用するのは、他人のテキストを自分のものとして偽装しようとする試みが明白であり、疑いの余地がない場合のみです。



この記事はRita_KuznetsovaとOleg_Bakhteevと共同で作成しました 。 ピノキオとピノキオの画像は、外国の情報源から盗作を検索する問題の優れた実例として役立つと判断しました。 A.N.トルストイがCarlo Collodiのアイデアを盗用したと非難することは決してない。



はじめに、「通常の反麻薬主義」の仕組みについて簡単に説明します。 私たちは、いわゆる 「Shinglesアルゴリズム」。これにより、膨大なドキュメントのコレクションから借用をすばやく見つけることができます。 このアルゴリズムは、文書のテキストを特定の長さの単一の重複する単語の小さなシーケンスに分割することに基づいています。 一般的に使用される帯状疱疹は4〜6語長です。 各シングルについて、 ハッシュ関数の値が計算されます。 検索インデックスは、対応する帯状疱疹が出会った文書の識別子を示すハッシュ関数値のソートされたリストとして形成されます。



チェック対象のドキュメントも帯状疱疹に分割されます。 次に、インデックスによって、チェック対象のドキュメントと一致する最大数のドキュメントがあります。

このアルゴリズムは、英語とロシア語の両方で借入の検索に成功しました。 鉄片の検索アルゴリズムを使用すると、借用したフラグメントをすばやく見つけることができますが、完全にコピーされたテキストだけでなく、わずかな変更のある借用も検索できます。 あいまいなテキストの重複を検出する問題とその解決方法の詳細については、たとえば、 Yu。ZelenkovとI. Segalovichの記事を参照してください 。



検索システムの開発により、「ほぼ重複」が不十分になりました。 多くの著者は、ドキュメントの独創性の割合をすばやく増やす必要がありました。または、別の言い方をすると、現在のアルゴリズムを何らかの方法で「欺いて」、独創性の割合を高める必要がありました。 当然、頭に浮かぶ最も効果的な方法は、他の言葉でテキストを書き換えること、つまり、言い換えることです。 ただし、この方法の主な欠点は、実装に時間がかかりすぎることです。 したがって、よりシンプルなものが必要ですが、結果をもたらすことが保証されています。



ここで、外国の情報源からの借用が思い浮かびます。 最新の技術の急速な成長と機械翻訳の成功により、オリジナルの作品を手に入れることが可能になります。すぐに見ると、独立して書かれているように見えます（ただし、注意深く読んで機械翻訳エラーを探していない場合は修正が簡単です）。



最近まで、この種の盗作を検出できるのは、仕事のテーマに関する広範な知識が必要でした。 この種のローンを検出する自動ツールは存在しませんでした。 これは、記事「ルーター：アクセスポイントと冗長性の典型的な統一のためのアルゴリズム」のケースでよく説明されています。 実際、Rooterは、自動生成された記事「Rooter：A Methodology for the Typical Unification of Access Points and Redundancy」の翻訳です。 この判例は、特に高等認証委員会のリストからのジャーナルの構造とロシア科学全体の問題を説明するために人為的に作成されました。



残念ながら、翻訳された作品は「通常の反薬物主義」によっては発見されなかったでしょう。まず、ロシア語のコレクションに従って検索が実行され、次に、そのような借用を検索するために別のアルゴリズムが必要です。

一般的なアルゴリズムスキーム

明らかに、テキストが翻訳によって借用されている場合、それは主に英語の記事からのものです。 そして、これはいくつかの理由で起こります：

• 信じられないほどの量のあらゆる種類のテキストが英語で書かれています。
• ほとんどの場合、ロシアの科学者は英語を第二の「働く」言語として使用します。
• 英語は、ほとんどの国際的な科学会議や雑誌で受け入れられている使用言語です。

これに基づいて、英語からロシア語への借用を見つけるためのソリューションを開発することにしました。 その結果、次のような一般的なアルゴリズムスキームが得られました。

1. ロシア語のチェック文書が入り口に到着します。
2. 機械はロシア語のテキストを英語に翻訳します。
3. 索引付きの英語ドキュメントのコレクションにより、借入元の候補を検索します。
4. 見つかった各候補は、チェックされているドキュメントの英語版と比較されます-借りたフラグメントの境界の定義。
5. フラグメントの境界線は、ドキュメントのロシア語版に転送されます。 プロセスの最後に、検証レポートが生成されます。

最初のステップ。 機械翻訳とそのあいまいさ

チェック対象のドキュメントが表示された後に解決する必要がある最初のタスクは、テキストの英語への翻訳です。 サードパーティのツールに依存しないために、オープンアクセスの既製のアルゴリズムソリューションを使用して、自分でトレーニングすることにしました。 これを行うには、パブリックドメインにある一対の言語「英語-ロシア語」の並列テキスト本文を収集し、また、バイリンガルサイトのWebページを分析して、そのようなケースを独自に組み立てる必要がありました。 もちろん、私たちがトレーニングした翻訳者の品質は、主要なソリューションより劣っていますが、結局のところ、私たちからの高品質の翻訳を必要とする人はいません。 その結果、約2,000万組の科学的提案を収集することができました。 このようなサンプルは、私たちの前の課題を解決するのに適していました。



機械翻訳機を実装した後、最初の困難に直面しました-翻訳は常にあいまいです。 まったく同じ意味を異なる単語で表現することができ、文の構造や単語の順序が変わる場合があります。 また、翻訳は自動的に行われるため、機械翻訳エラーもここに重ねられます。



このあいまいさを説明するために、arxiv.orgから出会った最初のプレプリントを取りました。







また、英語の知識が豊富な2人の同僚と2つの有名な機械翻訳サービスに翻訳することを提案する小さなテキストを選択しました。







結果を分析した後、私たちは非常に驚きました。 以下に、フラグメントの一般的な意味は残っていますが、翻訳がどのように異なるかを確認できます。







アルゴリズムの最初のステップでロシア語から英語に自動的に翻訳したテキストは、以前は英語からロシア語に翻訳できると想定しています。 当然、最初の翻訳がどのように行われたかはわかりません。 ただし、これを知っていたとしても、ソーステキストを正確に取得できる可能性はほとんどありません。



ここでは、「ノイズの多いチャネルモデル 」の数学モデルとの類似点を描くことができます。 英語の特定のテキストが「ノイズのあるチャネル」を通過し、ロシア語のテキストになり、さらに別の「ノイズのあるチャネル」（当然、別のチャネル）を通過して出力されたとしますオリジナルとは異なる英語のテキスト。 このような二重の「ノイズ」を課すことは、タスクの主な問題の1つです。

ステップ2 完全一致から「意味のある」検索まで

翻訳されたテキストであっても、何百万ものドキュメントからなるソースのコレクションを検索し、従来のシングルズアルゴリズムを使用して十分な完全性、正確性、および検索速度を確保しながら、その中の借用を正しく見つけることは不可能であることが明らかになりました。



そして、ここで、単語の一致に基づく古い検索方式から脱却することにしました。 借用を検出するための別のアルゴリズムが絶対に必要でした。これは、一方で「意味のある」テキストの断片に一致し、他方で、帯状疱疹アルゴリズムと同じくらい高速でした。



しかし、テキストに「二重」の機械翻訳を与えるノイズをどうすればよいでしょうか？ 以下の例のように、異なる翻訳者によって生成されたテキストは検出されますか？







意味的に関連する単語と同じ単語の単語形式が1つのクラスタに分類されるように、英語の単語のクラスタリングを通じて「意味による」検索を提供することにしました。 たとえば、「ビール」という単語は、次の単語も含むクラスターに分類されます。



[ビール、ビール、醸造、エール、醸造、醸造所、パイント、スタウト、ギネス、イパ、醸造、ラガー、エール、ビール、パイント、キャスク]



ここで、テキストを鉄片に分割する前に、これらの単語が属するクラスのラベルで単語を置き換える必要があります。 同時に、帯状疱疹は重複して構築されるため、クラスタリングアルゴリズムに固有の特定の不正確さを無視できます。



クラスタリングのエラーにも関わらず、候補文書の検索は十分な完全性で実行されます-ほんの数枚の鉄片と一致するだけで十分に高速で実行できます。

ステップ3 すべての候補者のうち、最も価値のあるものが勝つべきです。

そのため、譲渡可能な借入の有無に関する候補文書が見つかりました。各候補のテキストとチェックされたテキストを「有意義に」比較し始めることができます。 ここでは、帯状疱疹はもはや役に立ちません-このツールはこの問題を解決するには不正確すぎます。 このアイデアの実装を試みます：各テキストを非常に大きな次元の空間内のポイントに関連付けますが、意味が近いテキストの断片は、この空間内の近くにあるポイントで表されるようにします（ある距離関数で近くなるようにします） ）



ニューラルネットワークを使用してテキストの断片のポイント（またはもう少し科学的に-ベクトルのコンポーネント）の座標を計算し、評価者によってマークアップされたデータを使用してこのネットワークをトレーニングします。 この作業における評価者の役割は、トレーニングセットを作成することです。つまり、テキストの断片のいくつかのペアについて、意味が近いかどうかを示すことです。 当然、マークアップされたフラグメントを収集できるほど、トレーニングされたネットワークの動作は向上します。



すべての作業における重要なタスクは、適切なアーキテクチャを選択し、ニューラルネットワークをトレーニングすることです。 私たちのネットワークは、任意の長さのテキストフラグメントを、大きいが固定された次元のベクトルにマップする必要があります。 同時に、各単語のコンテキストとテキストフラグメントの構文上の特徴を考慮する必要があります。 シーケンスに関連する問題（テキストだけでなく、生物学など）を解決するために、再帰と呼ばれるネットワークのクラス全体があります。 このネットワークの主なアイデアは、このシーケンスの各要素に関する情報を繰り返し追加することにより、シーケンスベクトルを取得することです。 実際には、このようなモデルには多くの欠点があります。トレーニングが難しく、シーケンスの最初の要素から取得した情報をすぐに「忘れる」。 したがって、このモデルに基づいて、これらの欠点を修正するより多くの便利なネットワークアーキテクチャが提案されています。 このアルゴリズムでは、 GRUアーキテクチャを使用します。 このアーキテクチャにより、シーケンスの次の要素から取得する情報量と、ネットワークが「忘れる」ことができる情報量を制御できます。



ネットワークがさまざまなタイプの翻訳でうまく機能するように、手動翻訳と機械翻訳の両方の例を使用してトレーニングしました。 ネットワークは繰り返しトレーニングされました。 各反復の後、私たちは彼女が最も間違えたフラグメントについて研究しました。 また、このようなフラグメントネットワークをトレーニング用に提供しました。



興味深いことに、 word2vecなどの既製のニューラルネットワークライブラリを使用しても成功しませんでした。 これらの結果をベースレベルの推定値として作業に使用しましたが、それより下に下がることは不可能でした。



もう1つ重要な点、つまり、ドットで表示されるテキストの断片のサイズに注目する価値があります。 たとえば、全文を操作し、それらを単一のオブジェクトとして提示することを妨げるものはありません。 ただし、この場合、意味が完全に一致するテキストのみが閉じます。 テキストの一部のみが借用されている場合、ニューラルネットワークはそれらを遠くに配置し、何も見つかりません。 議論の余地はありませんが、良い選択肢はオファーを使用することです。 私たちがやめることにしたのはその上でした。



典型的な場合に実行する必要がある文の比較の数を推定してみましょう。 チェック対象のドキュメントと候補ドキュメントにそれぞれ100の提案が含まれているとします。これは、平均的な科学記事のサイズに対応しています。 次に、各候補の比較には10,000回の比較が必要です。 候補者が100人しかない場合（実際には数万人の候補者が数百万のインデックスから上昇する場合があります）、1つのドキュメントで借入を検索するには100万の距離比較が必要になります。 また、チェックされたドキュメントのフローは1分あたり300を超えることがよくあります。 さらに、各距離の計算自体も簡単な操作ではありません。



すべての文とすべての文を比較しないために、 LSHハッシュに基づいて潜在的に近いベクトルの予備選択を使用します。 このアルゴリズムの主なアイデアは次のとおりです。各ベクトルに特定の行列を乗算します。その後、乗算結果のどのコンポーネントがゼロより大きい値を持ち、どのコンポーネントが小さいかを覚えています。 各ベクトルに関するこのようなレコードは、興味深い特性を持つバイナリコードとして表すことができます。近いベクトルは同様のバイナリコードを持っています。 したがって、アルゴリズムパラメーターを正しく選択することで、必要なベクトルのペアワイズ比較の数を、許容時間内に実行できる少数に減らします。

ステップ4 「報告に違反しないために...」

アルゴリズムの結果を表示します-ユーザーがドキュメントをロードすると、譲渡可能な借入のコレクションに対してチェックを選択できます。 チェックの結果はアカウントに表示されます：

実践チェック-予期しない結果

これで、アルゴリズムの準備が整い、モデルサンプルでトレーニングされました。 実際に面白いものを見つけることができますか？



科学記事eLibrary.ruの最大の電子ライブラリで譲渡可能な借入を検索することにしました。その基礎は、ロシア科学引用指数（RSCI）に含まれる科学記事です。 合計で、ロシア語で約250万件の科学論文をチェックしました。



検索エリアとして、elibrary.ruファンド、オープンアクセスマガジンサイト、arxiv.org、および英語版ウィキペディアからの英語アーカイブ記事のコレクションにインデックスを付けました。 戦闘実験の合計ソースデータベースは1,000万テキストに達しました。 奇妙に思えるかもしれませんが、1,000万件の記事は非常に小さなベースです。 英語の科学テキストの数は少なくとも数十億と推定されています。 この実験では、潜在的な借入のソースが1％未満であるというベースを使用して、100件の検出されたケースでさえも成功すると考えました。



その結果、大量の譲渡可能な借入金を含む2万件以上の記事が見つかりました。 特定された事例を詳細に検証するために専門家を招待しました。 その結果、8,000件弱の記事をチェックすることができました。 サンプルのこの部分の分析結果を表に示します。

操作の種類	数量
借りる	2627
譲渡可能な借入 （英語から翻訳され、オリジナルとして発行されたテキスト）	921
「その逆」の借入-ロシア語から英語へ（発行日により決定）	1706
法的借入	2355
バイリンガル記事 （2つの言語で同じ著者の作品）	788
法律の引用 （法律の文言の使用）	1567
自己引用 （彼自身の英語の著作の著者による翻訳された引用）	660
誤検知 （誤った変換またはニューラルネットワークエラーのため）	507
その他 （チェックされた記事は英語の断片を含んでいた、またはどのカテゴリーに帰属するのも難しい）	1540
合計	7689

結果の一部は法的借入に関連しています。 これらは同じ著者による翻訳作品または共著であり、結果の一部は、原則として、ロシア語に翻訳された同じ法律の同じフレーズの正しい操作です。 しかし、結果の大部分は不正確な譲渡可能借入です。



分析に基づいて、たとえば、借入の割合の分布に関して、いくつかの興味深い結論を出すことができます。







小さなフラグメントが最も頻繁に借用されていることがわかりますが、グラフや表など、完全かつ完全に借用された作品があります。







以下のヒストグラムから、最近発行された記事から借りることを好むことは明らかです。ただし、ソースが1957年などの日付の作品もあります。



記事の知識の領域を含め、eLibrary.ruが提供するメタデータを使用しました。 この情報を使用して、ロシア語の科学分野で最も頻繁に借用しているのは、英語からの翻訳によって判断できます。







結果の正確性を検証する最も明白な方法は、チェックされたソースとソースの両方のテキストを並べて比較することです。







上記はarxiv.orgを使用した英語の作品です。以下はロシア語の作品で、グラフと結果を含む完全かつ完全な翻訳です。 対応するブロックは赤でマークされています。 また、著者がさらに進んだことも注目に値します。元の記事の残りの部分も翻訳し、「彼らの」記事をいくつか公開しました。 著者はオリジナルを参照しないことに決めました。 譲渡可能な借入のすべての見つかった事例に関する情報は、関連記事を発行した科学雑誌の編集者に提出されました。



したがって、結果は私たちを喜ばせることができましたが、喜ばせません-反マラリア主義システムは、譲渡可能な借入を検出するための新しいモジュールを受け取りました。



あなた自身の心で作成してください！