機械翻訳の使用の歴史と経験。 ヤンデックス講義

9月に、6回目のHyperbatonが開催されました-技術文書に関連するすべてに関するYandex会議。 私たちの意見では、Habrの読者にとって最も興味深いと思われるHyperbatonからの講義をいくつか公開します。





ドキュメントおよびローカリゼーション部門の責任者、スヴェトラーナカユシナ：

-世界では、手動で翻訳する人はもういないようです。 今日は、企業が効果的なローカリゼーションプロセスを編成するのに役立つツールとアプローチについてお話したいと思います。また、翻訳者が日々の問題を簡単に解決できるようにします。 今日は、機械翻訳、機械エンジンの有効性の評価、翻訳者向けの自動翻訳システムについてお話します。



同僚の報告から始めましょう。 Irina RybnikovaとAnastasia Ponomarevaを招待します。ローカライズプロセスに機械翻訳を導入したYandexの経験についてお話します。



イリーナ・リブニコワ：

-ありがとう。 機械翻訳の歴史と、Yandexでの機械翻訳の使用方法について説明します。







17世紀にさかのぼると、科学者は他の言語を結び付ける何らかの種類の言語の存在を推測しました。おそらくそれは長すぎます。 近づきましょう。 私たちは皆、私たちの周りの人々を理解したいと思っています-私たちはどこから来ても-サインに書かれているものを見たい、私たちは発表、コンサートに関する情報を読みたいです。 バビロニアの魚のアイデアは科学者の心をかき立て、文学、映画、どこでも見られます。 情報にアクセスする時間を短縮したいと考えています。 私たちは中国の技術に関する記事を読み、私たちが見ているサイトを理解し、今ここでそれを入手したいと思っています。







これに関連して、機械翻訳について話さないことは不可能です。 これは、指定された問題を解決するのに役立ちます。







出発点は1954年で、有機化学の一般的な主題に関する60の文が、米国ではIBM 701マシンでロシア語から英語に翻訳され、これはすべて250の用語集用語と6つの文法規則に基づいていました。 これはジョージタウンの実験と呼ばれ、新聞が3年から5年にわたって見出しでいっぱいになり、問題が完全に解決され、誰もが幸せになるという現実には衝撃的でした。 しかし、ご存知のように、すべてが少し違っていました。



70年代には、ルールベースの機械翻訳が登場しました。 また、バイリンガル辞書だけでなく、あらゆる言語の説明に役立つルールのセットにも基づいていました。 任意、ただし制限付き。







ルールを設定する深刻な言語専門家が必要でした。 これはかなり複雑な仕事であり、コンテキストを考慮できず、すべての言語を完全にカバーできませんでしたが、彼らは専門家であり、高いコンピューティング能力は必要ありませんでした。







品質について話す場合、古典的な例は聖書からの引用です。聖書はこのように翻訳されます。 まだ十分ではありません。 したがって、人々は品質に取り組み続けました。 90年代に、統計的な翻訳モデルSMTが登場しました。これは、単語と文の確率的分布について述べたもので、このシステムは、ルールと言語学についてまったく知らなかったという点で根本的に異なっていました。 彼女は膨大な量の同一のテキストを受け取り、ある言語と別の言語でペアにして、自分で決定を下しました。 メンテナンスが簡単で、専門家の山は必要ありませんでした;待つ必要はありませんでした。 ダウンロードして結果を得ることができます。







受信データの要件は、平均で100万から1000万セグメントでした。 セグメント-文章、小さなフレーズ。 しかし、彼らの困難は残り、状況は考慮されませんでした;すべては非常に簡単ではありませんでした。 そして、例えばロシアでは、そのようなケースが現れました。







GTAゲームの翻訳の例も気に入っています。結果は素晴らしいものでした。 すべてが静止していませんでした。 2016年は、神経機械翻訳が開始された重要なマイルストーンでした。 それはかなり画期的な出来事であり、人生を大きく変えました。 私の同僚は、翻訳とその使用方法を見て、「クール、彼は私の言葉で話します」と言いました。 そしてそれは本当に素晴らしかった。



どのような機能がありますか？ 高い入学要件、トレーニング資料。 社内で維持することは困難ですが、品質の大幅な向上が考えられていました。 高品質の翻訳のみがタスクを解決し、プロセスのすべての参加者、悪い翻訳を修正したくない同じ翻訳者、新しい創造的なタスクを実行し、機械に日常的なフレーズを与えたいと思う人たちの生活を楽にします。



機械翻訳には2つのアプローチがあります。 テキストの専門家による評価/言語分析、つまり、実際の言語学者による検証、意味の順守の専門家、言語のリテラシー。 場合によっては、専門家がまだ植えられており、翻訳されたテキストを差し引くことを許可され、この観点からどれだけ効果的かを評価しました。







この方法の特徴は何ですか？ サンプルの翻訳は不要です。完成した翻訳済みテキストを今すぐ見て、どのセクションでも客観的に評価します。 しかし、それは高価で長いです。







2つ目のアプローチ-自動参照メトリックがあります。 それらの多くがあり、それぞれに長所と短所があります。 これらのキーワードについては、後ほど詳しく説明します。



どんな機能？ 実際、これは翻訳された機械テキストといくつかの例示的な翻訳の比較です。 これらは、模範的な翻訳と何が起こったのかとの矛盾を示す定量的な指標です。 これは高速で安価であり、非常に便利です。 しかし、機能があります。







実際、ほとんどの場合、ハイブリッド方式を使用しています。 これは、最初に何かが自動的に評価され、次にエラーマトリックスが分析され、その後、より小さなテキストに対して専門的な言語分析が実行される場合です。







最近、言語学者に電話をせず、単にユーザーに電話するとき、慣行はまだ広く行われています。 インターフェイスが作成されています-どの翻訳が一番好きかを示してください。 または、オンライン翻訳者に行くときにテキストを入力すると、このアプローチが適切かどうかに関係なく、自分が一番好きなものに投票することができます。 実際、私たち全員がこれらのエンジンを訓練し、訓練のためにすべてを使用して訓練し、品質に取り組んでいます。



私たちの仕事で機械翻訳をどのように使用しているか教えてください。 床をアナスタシアに渡します。



アナスタシア・ポノマレバ：

-ローカライズ部門のYandexで、機械翻訳技術が大きな可能性を秘めていることにすぐに気づき、日常業務で使用することにしました。 どこから始めましたか？ 私たちは小さな実験を行うことにしました。 同じテキストを通常のニューラルネットワークトランスレーターで翻訳し、訓練された機械トランスレーターを組み立てることにしました。 これを行うために、Yandexでこれらの言語のテキストのローカライズに従事していた数年間、ロシア語と英語のペアでテキストのコーパスを準備しました。 次に、Yandex.Translatorから同僚にこのテキストのコーパスを送り、エンジンのトレーニングを依頼しました。







エンジンが訓練されたとき、次のテキストのバッチを翻訳し、イリーナが言ったように、専門家の助けを借りて、結果を評価しました。 翻訳者に、読み書き、スタイル、つづり、意味の伝達を調べるように依頼しました。 しかし、転機は、翻訳者の一人が「自分のスタイルを認識し、翻訳を知っている」と言ったときでした。



これらの感覚を強化するために、統計指標を計算することにしました。 最初に、通常のニューラルネットワークエンジンを介して行われた転送のBLEU係数を計算し、この数値（0.34）を得ました。 それは何かと比較すべきだと思われるでしょう。 Yandex.Translatorの同僚に再度行き、BLEU係数が実際の人によって行われた転送のしきい値と見なされるものを説明するように依頼しました。 これは0.6からです。



次に、トレーニング済みの翻訳の結果を確認することにしました。 0.5になりました。 結果は本当に励みになります。







例を挙げます。 これは、Directのドキュメントからの実際のロシア語のフレーズです。 その後、通常のニューラルネットワークエンジンを介して転送され、その後、テキストのトレーニングされたニューラルネットワークエンジンを介して転送されました。 すでに最初の行で、Directの従来の広告タイプが認識されていないことに気付きました。 そして、すでに訓練されたニューラルネットワークエンジンに翻訳が表示され、略語でさえほぼ正しいです。



結果に非常に励まされ、基本的な技術文書だけでなく、他のペア、他のテキストでエンジンを使用する価値があると判断しました。 その後、数ヶ月にわたって一連の実験が行われました。 多くの機能と問題に直面して、これらは私たちが解決しなければならなかった最も一般的な問題です。







それぞれについて詳しく説明します。







私たちのように、カスタムエンジンの作成を計画している場合、かなり大量の高品質の並列データが必要になります。 大型エンジンは1万件のオファーでトレーニングできます。この場合、13万5千件の並列オファーを用意しました。







すべての種類のテキストで、エンジンが同等の良い結果を示すわけではありません。 技術文書では、長い文章、構造、ユーザー文書があり、インターフェイスでも、短いが明確なボタンがある場合は、おそらく大丈夫でしょう。 しかし、おそらく、私たちと同様に、マーケティングの問題に遭遇するでしょう。



私たちは実験を行い、音楽プレイリストを翻訳し、そのような例を得ました。







それが機械翻訳者がスター工場の労働者について考えることです。 労働のドラマーは何ですか。







マシンエンジンを介して翻訳する場合、コンテキストは考慮されません。 これはもはやそのようなばかげた例ではありませんが、Directの技術文書からは非常に現実的です。 これらは技術文書を読むと理解できるように見えますが、それは技術的なものです。 しかし、いや、エンジンはヒットしませんでした。







また、翻訳の品質と意味は元の言語に大きく依存することを考慮する必要があります。 このフレーズをロシア語からフランス語に翻訳すると、1つの結果が得られます。 同じ意味の同じようなフレーズが英語から得られますが、結果は異なります。







テキストのように、多数のタグ、マークアップ、いくつかの技術的機能がある場合、ほとんどの場合、それらを追跡し、いくつかのスクリプトを編集および作成する必要があります。



以下は、ブラウザからの実際のフレーズの例です。 カッコ内は、特に複数の形式の翻訳すべきではない技術情報です。 英語では英語であり、ドイツ語でも英語のままでなければなりませんが、翻訳されています。 これらのポイントを追跡する必要があります。







エンジンエンジンは、命名規則について何も知りません。 たとえば、すべての言語で常にラテン語でYandex.Diskを呼び出すことに同意しています。 しかし、フランス語では、彼はフランス語のディスクになります。







略語は正しく認識されることもあれば、正しく認識されないこともあります。 この例では、広告に対するベラルーシの技術要件に属することを示すBYは、英語の言い訳になります。







私のお気に入りの例の1つは、新しくて借用した言葉です。 ここにクールな例があります。「免責事項」という言葉は「ネイティブロシア語」です。 テキストの各部分について用語を確認する必要があります。



そしてもう1つ、それほど重大な問題ではありません-時代遅れの文章です。







以前は、インターネットは目新しいものであり、すべてのテキストで大文字で表記されていました。また、エンジンをトレーニングすると、どこでもインターネットが大文字で表記されていました。 今は新しい時代です。インターネットはすでに小さな文字で書かれています。 あなたのエンジンが小さな手紙でインターネットを書き続けることを望むならば、あなたはそれを再訓練しなければならないでしょう。







絶望することなく、これらの問題を解決しました。 最初に、彼らはテキストの軍団を変更し、他のトピックで翻訳しようとしました。 Yandex.Translatorから同僚にコメントを送信し、ニューラルネットワークを再トレーニングして結果を確認し、評価し、最終決定を依頼しました。 たとえば、タグ認識、HTMLマークアップ処理。



実際の使用例を示します。 技術文書のための優れた機械翻訳があります。 これは実際のケースです。







これは英語とロシア語のフレーズです。 このドキュメントを扱った翻訳者は、用語の適切な選択により非常に励まされました。 別の例。







翻訳者は、句の構造が英語ではなく、正しい用語の適切な選択、および元の単語ではないあなたという単語に変更されたことをダッシュ​​の代わりに選択することを高く評価しましたが、この翻訳は正確に英語で自然になります。







別のケースは、オンザフライでのインターフェースの変換です。 サービスの1つは、起動時にローカライズとテキストの翻訳を行わないことにしました。 しかし、月に1回程度エンジンを変更した後、「配信」という言葉が輪になって変わりました。 チームは、通常のニューラルネットワークエンジンではなく、技術文書でトレーニングされたものを接続することをお勧めしました。そのため、同じ用語が常に使用され、既に文書にあるチームと一致します。







このすべてが金銭的な瞬間にどのように機能しますか？ もともと、ロシア語とウクライナ語のペアでは、ウクライナ語の翻訳の最小限の編集が必要でした。 そのため、数か月前にポスト編集システムに切り替えることにしました。 これが私たちの貯蓄の成長方法です。 9月はまだ終わっていませんが、ウクライナ語で編集後のコストを約3分の1削減し、マーケティングテキスト以外のほとんどすべてを編集することにしました。 まとめるとイリーナという言葉。



イリーナ：

-それを使用する必要があることは誰にとっても明白になります。これはすでに私たちの現実であり、私たちのプロセスや利益から除外することは不可能です。 しかし、いくつかのことを考える必要があります。







文書の種類、使用するコンテキストを決定します。 このテクノロジーはあなたに適していますか？



第二の瞬間。 Yandex.Translatorについては、良好な関係にあるため、開発者に直接アクセスできるなどの理由で話しましたが、実際には、どのエンジンがあなたにとって、特にあなたの言語や対象にとって最も最適であるかを決定する必要があります。 次のレポートはこのトピックに当てられます。 まだ困難があり、エンジンの開発者が協力して問題を解決していることを覚悟してください。しかし、今のところ彼らはまだ会っています。







将来、私たちを待っているものを理解したいと思います。 しかし実際には、これはそれ以上ではなく、現在の時間であり、ここで今起こっていることです。 むしろ用語やテキストのカスタマイズが必要です。これが現在公開されています。 現在、誰もがあなたが会社に入らないように、特定のエンジンの開発者に同意しないように、これを最適化する方法に取り組んでいます。 APIの公開オープンエンジンで受信できます。



カスタマイズはテキストだけでなく、用語でもあり、独自のニーズに合わせて用語を構成します。 これは重要なポイントです。 2番目のトピックは、インタラクティブな翻訳です。 翻訳者がテキストを翻訳するとき、この技術により、ソース言語であるソーステキストを考慮して、次の単語を予測することができます。 このオージェは、作業を大幅に促進できます。



今では本当に高価です。 誰もがより少ない量のテキストでより小さなエンジンを効果的に教える方法を考えています。 これはどこでも起こり、どこでも実行されます。 このトピックは非常に興味深いと思いますし、それからさらに興味深いものになるでしょう。



興味のある記事をいくつか集めました。 よろしくお願いします！



-2つのモデルは1つよりも優れています。 Yandex.Translatorの経験

-Yandexが人工知能技術を使用してWebページを翻訳した方法

- 機械翻訳。 冷戦からディプラーニングまで