まれな言語の翻訳を独自に作成する方法をYandexがマシンに教えた方法

ロシアだけでも100を超える言語があり、その多くは数万人から数十万人が母国語です。 さらに、それらのいくつかは、使用が制限されているか、絶滅の危機にonしています。 機械翻訳はこれらの言語を維持するのに役立ちますが、そのためには、こうしたシステムすべての主な問題、つまり学習の例の不足を解決する必要があります。



Yandexは2011年から機械翻訳技術に取り組んでおり、今日は新しいアプローチについてお話します。おかげで、以前は困難だった言語の翻訳者を作成できるようになりました。







ルールと統計



機械翻訳、つまり、ある人間の言語から別の言語への自動翻訳は、前世紀の中頃に始まりました。 基準点は、1954年1月7日に実施されたジョージタウンの実験であると考えられており、ロシア語の60以上のフレーズがコンピューターによって英語に翻訳されました。 実際、これはまったく実験ではなく、よく計画されたデモンストレーションです。辞書には250エントリしか含まれておらず、6つのルールのみで機能しました。 それにもかかわらず、結果は大衆に感銘を与え、機械翻訳の発展に拍車をかけました。



そのようなシステムは、翻訳の品質を決定する辞書とルールに基づいていました。 プロの言語学者は、長年にわたって、より詳細で包括的な手動ルール（実際には、正規表現）を考案するために取り組んできました。 この作業は非常に時間がかかるため、最も人気のある言語のペアにのみ真剣な注意が払われましたが、それらのフレームワーク内でさえ、マシンは不十分に対処しました。 生きた言語は非常に複雑なシステムであり、規則に従わず、絶えず進化しており、ほぼ毎日新しい単語や構文で豊かになっています。 2つの言語の通信規則を記述することはさらに困難です。 同じ単語は、文脈に応じて完全に異なる翻訳を持つことができます。 また、フレーズ全体に独自の安定した翻訳を含めることができます。 たとえば、「 モルドールに入るのは簡単ではありません 。」



マシンが常に変化する条件に適応し、コンテキストを考慮する唯一の方法は、多数の関連テキストから学習し、パターンとルールを個別に識別することです。 これは、機械翻訳への統計的アプローチです。 これらのアイデアは20世紀半ばから知られていますが、あまり配布されていません。ルールベースの機械翻訳は、大きな計算能力とトレーニングベースがない場合にうまく機能しました。



コンピューターの総当たりは科学ではない



統計的アプローチの開発の新しい波は、前世紀の80〜90年代に始まりました。 IBM Researchは、多数のカナダ議会文書にアクセスし、それらを使用してスペルチェックシステムで作業しました。 そして、このために、彼らはノイズの多いチャネルモデルとして知られるかなり興味深いアプローチを使用しました。 その意味は、テキストAはテキストBと見なされますが、エラーがあることです。 そして、マシンのタスクはそれらを排除することです。 このモデルは、すでに入力された数千のドキュメントでトレーニングされました。 ノイズの多いチャンネルについては、 Habréの他の投稿で詳しく読むことができます。ここで重要なのは、このアプローチがスペルに適していることが証明されたためです。 カナダには2つの公用語（英語とフランス語）があるため、翻訳者の助けを借りて、オペレーターの半分を解雇して、手動で入力するテキストの量を減らしたいと考えました 。 しかし、時間が経つにつれて問題が発生したため、リーダーが休暇をとる瞬間を待つ必要があり、その機会は期限について創造的であり、研究を行うように見えました。



彼らの仕事の結果は公表されたが、彼らは皆に感銘を与えなかった。 コンピュータ言語に関する会議の主催者COLINGは、圧倒的なレビューを書きました：







結果は当時の最高のルールベースのシステムの結果よりも悪かったが、手作業の削減を伴うアプローチ自体、世界中の研究者が興味を持っていた。 そして、彼らに直面した主な問題は、機械学習のための十分な数の翻訳例の欠如でした。 見つかった資料はすべて使用されました。国際的な国連文書、文書、参考書、聖書、コーランのデータベース（世界のほぼすべての言語に翻訳されています）。 しかし、質の高い仕事のためには、もっと必要でした。



検索する



インターネットには毎日何十万もの新しいページが表示され、その多くは他の言語に翻訳されています。 このリソースはマシンのトレーニングに使用できますが、入手するのは困難です。 この経験には、インターネットのインデックスを作成し、数十億のWebページでデータを収集する組織があります。 たとえば、検索エンジン。



Yandexは、インターネットのデータから学習する独自の機械翻訳システムを5年間開発しています。 その結果は、Translator、Search、Browser、Mail、 Zen 、および他の多くのサービスで使用されます。 彼女は次のように訓練されています。 最初に、システムは文書アドレスでパラレルテキストを検索します。ほとんどの場合、このようなアドレスは、英語バージョンの場合は「en」、ロシア語バージョンの場合は「ru」などのパラメーターのみが異なります。 学習したテキストごとに、システムは固有の機能のリストを作成します。 特定の順序でテキストに含まれる単語、数字、特殊文字はほとんど使用できません。 システムが属性を備えた十分な数のテキストを入力すると、それらの助けを借りて並列テキストの検索が開始されます。新しいテキストと既に学習したテキストの記号を比較します。



翻訳者が最新の品質基準を満たすためには、システムは両方の言語で数百万のフレーズを学習する必要があります。 検索テクノロジーはそれらを見つけることができますが、翻訳の最も人気のある分野のみです。 他のすべての人にとっては、ウィキペディアまたは聖書のみで学習する昔ながらの方法を試すことができますが、翻訳の品質は数十年前に戻ります。 クラウドソーシング（ Yandex.TolokaまたはAmazon Mechanical Turk）を接続し、さまざまな国の多数の人々の努力を通じて、翻訳の例を収集できます。 しかし、それは長く、高価であり、必ずしも効果的ではありません。 可能な限りクラウドソーシングを使用しようとしていますが、代替ソリューションを見つけることができました。



モデルのコレクションとしての言語



長い間、統計的な翻訳は語彙モデルのみに基づいていました。 異なる単語と他の言語特性との親族関係を考慮しないモデル。 簡単に言えば、「母」と「母」という言葉は、モデルの観点からはまったく異なる2つの言葉であり、翻訳の品質は適切な例の存在によってのみ決定されました。



数年前、業界では、純粋な語彙モデルに形態（変曲と単語形成）および構文（文の構築）のモデルを追加することにより、統計的機械翻訳の品質を向上できるという理解が現れました。 これは、言語学者の手作業による規則に向かって後退しているように見えるかもしれませんが、そうではありません。 手動ルールに基づくシステムとは異なり、形態および構文モデルは、すべて同じ統計に基づいて自動的に生成できます。 「お母さん」という言葉の簡単な例 さまざまな形式でこの単語を含む数千のテキストをニューラルネットワークにフィードすると、ネットワークは単語形成の原理を「理解」し、コンテキストに応じて正しい形式を予測することを学習します。



単純な言語モデルから包括的なモデルへの移行は全体的な品質に良い影響を与えましたが、それでも小さな言語では見つけにくい数百万の例が必要です。 しかし、ここで多くの言語が相互接続されていることを思い出しました。 そして、この事実を使用することができます。



家族の絆



私たちは、独立したシステムとしての各言語の伝統的な認識から離れ、それらの間の親族関係を考慮することから始めました。 実際には、これはこれを意味します。 翻訳を作成する必要がある言語があり、そのための十分なデータがない場合は、他のより大きな関連言語を使用できます。 個々のモデル（形態、構文、語彙）を使用して、「小さな」言語のモデルの空白を埋めることができます。

言語間で単語やルールを盲目的にコピーすることについて話しているように思えるかもしれませんが、このテクノロジーは少し賢く機能します。 私は、非常に狭い円で非常に人気のある言語の実際の例ですぐにそれを検討することを提案します。



パピアメント



パピアメントはアルバ 、キュラソー、ボネールの母国語で、約30万人が話しています。 アルバで生まれた同僚の一人を含む。 彼は私たちをパピアメントをサポートする最初の人に招待しました。 ウィキペディアでのみこれらの島について知っていましたが、そのような提案を逃すことはできませんでした。 そして、ここに理由があります。







人々がネイティブでない言語を話す必要がある場合、ピジンと呼ばれる新しい言語が表示されます。 ほとんどの場合、ピジンはヨーロッパ人が占領した島で発生しました。 植民地主義者は他の地域から労働力を持ち込み、お互いの言語を知らなかったこれらの人々はどういうわけかコミュニケーションをとらなければなりませんでした。 彼らの唯一の共通言語は植民地主義者の言語であり、通常は非常に単純化された形式で習得されます。 そのため、多くのピジンが英語、フランス語、スペイン語、その他の言語に基づいて登場しました。 その後、人々はこの言語を子供たちに伝えました。そして、彼らのために、それはすでにネイティブになりました。 誰かのネイティブになったピジンは、クレオール語と呼ばれます。



Papiamentoは、XVI世紀に登場したクレオール語です。 その語彙のほとんどはスペイン語またはポルトガル語に由来しますが、英語、オランダ語、イタリア語、および現地語からの単語があります。 また、以前にCreoleでテクノロジーをテストしたことがないため、このチャンスをつかみました。



新しい言語のモデリングは、常にコアの構築から始まります。 言語がどれほど「小さく」ても、常に他の言語と区別する独自の機能を備えています。 そうでなければ、単に独立した言語に帰することができません。 これらは、独自の一意の単語、または関連する言語で繰り返されないある種の単語形成規則である場合があります。 これらの機能はコアを構成し、いずれの場合もモデル化する必要があります。 このためには、少数の翻訳例で十分です。 パピアメントの場合、私たちは自由に聖書を英語、スペイン語、オランダ語、ポルトガル語、そして実際にはパピアメントに翻訳しました。 さらに、ヨーロッパ言語の1つに翻訳されたネットワークからの少数のドキュメント。



papiamentoの作業の初期段階は、大きな言語の翻訳者を作成することと変わりませんでした。 使用可能なすべての材料をマシンにロードし、プロセスを開始します。 異なる言語で書かれた並列テキストで実行され、見つかった各単語の翻訳確率の分布を構築します。 ところで、このプロセスでのニューラルネットワークの使用について話すことは今では流行しており、その方法も知っていますが、多くの場合、よりシンプルなツールで十分です。 たとえば、エルフ言語（後で説明します）の場合、最初にニューラルネットワークを使用してモデルを作成しましたが、最終的にはニューラルネットワークなしで開始しました。 単純な統計ツールで結果が悪化することはなく、必要な労力も少ないためです。 しかし、気が散りました。



システムは、パラレルテキストを見て、その語彙を補充し、翻訳を記憶します。 数百万の例がある大規模な言語の場合、これ以上行う必要はありません-システムはすべての可能な単語、その形式を見つけて翻訳を記憶するだけでなく、コンテキストに応じてアプリケーションのさまざまなケースを考慮します。 小さな言語では、より困難です。 コアをモデル化しましたが、例ではすべての単語を完全にカバーするには不十分であり、単語の形成を説明しています。 したがって、私たちのアプローチの基礎となるテクノロジーは、既存の例でもう少し深く機能し、他の言語の知識を使用します。



たとえば、スペイン語の形態に従って、複数形は-s / -esという語尾を使用して形成されます。 スペイン語の翻訳で複数と会う機械は、パピアメント翻訳の同じ単語が複数形で書かれている可能性が最も高いと結論付けています。 この機能により、自動翻訳者は、末尾に-nanが付いたpapiamentoの単語が複数形を示すという規則を考案しました。翻訳が見つからない場合は、末尾を破棄して単数形の翻訳を見つけてください。 同様に、他の多くの変曲ルールについても同様です。







それは形態学でより明確になりましたが、単語の最初の形でさえ機械に知られていない場合はどうでしょうか？ パピアメントという言葉のほとんどは、ヨーロッパの言葉に由来していることを覚えています。 自動翻訳者がpapiamentoで未知の単語「largu」に遭遇し、英語への翻訳を探したいとしましょう。 マシンは、この単語がスペイン語とポルトガル語の両方の単語「largo」に非常に似ていることに気付きます。 これらの単語の意味が一致しないだけです（それぞれ「長い」と「広い」）。 ナビゲートする言語は何ですか？ 機械翻訳システムはこの問題を次のように解決します。 彼女は両方のバージョンの翻訳を作成し、研究した数百万の英語文書を利用して、どちらのオプションが自然なテキストに似ているかを結論付けます。 たとえば、「ロングテールクエリ」は「ワイドテールクエリ」よりも真実である可能性が高くなります。 そのため、この特定のケースでは、「largu」という言葉はポルトガル語ではなくスペイン語から来たことを覚えています。 したがって、ほとんどの未知の単語については、機械は既製の例や手動の介入なしで自動的に学習します。







その結果、より大きな言語からの借入のおかげで、古典的な統計的機械翻訳では処理できないほどの量の例で、パピアメントから/への翻訳を構築することができました。



ゴルノマリスキー



別の例。 私たちは定期的にロシアの人々の言語のサポートを追加し、ある時点でマリ語に到達しました。そこでは、執筆の最初（19世紀）から、牧草地（東部）と山（西部）の2つの文学バージョンが区別されました。 それらは字句的に異なります。 それにもかかわらず、言語は非常に類似しており、相互に理解されています。 マリ語で最初に印刷されたテキスト-1821年の「福音書」は山マリでした。 ただし、はるかに多くの牧草地マリがあるため、デフォルトのマリ語は通常牧草地と見なされます。 同じ理由で、牧草地マリにははるかに多くのテキストがあり、古典的なアプローチには問題がありませんでした。 しかし、鉱業のために、私たちはテクノロジーを借用して適用しました。 基礎として、私たちは既製の牧草地バージョンを取り、既存の辞書を使用して語彙を調整しました。 さらに、ロシア語が重宝し、長年にわたってマリに大きな影響を与えてきました。



イディッシュ語



イディッシュ語は、X-XIV世紀に高ドイツ語の方言に基づいて生まれました-現代ドイツ語の基礎を形成したのと同じ方言です。 したがって、イディッシュ語とドイツ語の多くの単語は同じか非常に似ています。 これにより、ドイツ語のデータに従って収集された語彙と形態の補助モデルを使用できました。 同時に、イディッシュ語の記述はヘブライ語のアルファベットに基づいているため、ヘブライ語はそれをモデル化するために使用されました。 推定によると、ヘブライ語とドイツ語からの借用で補完されたイディッシュ語から/への翻訳は、古典的なアプローチと比較してより高品質です。



エルフ



私たちのチームは作家のTolkienの作品が大好きなので、Sindarin（中つ国のエルフの言語の1つ）の翻訳は時間の問題でした。 ご存知のように、この言語はまれであり、ネイティブスピーカーに会うのはそれほど簡単ではありません。 したがって、私は作家の仕事の言語学的研究に頼らなければなりませんでした。 Sindarinを構成する著者はウェールズ語に基づいており、その中には初期子音の特徴的な交替があります。 たとえば、「ルーン」は「certh」になり、その前に明確な記事がある場合、「i gerth」になります。 アイルランド語、スコットランド語、ウェールズ語から多くの言葉が借りられました。 幸いなことに、著者はかつて、詳細な辞書だけでなく、既存の言語からSindarinに単語を音訳するための規則も編集しました。 このすべてが、翻訳者を作成するのに十分であることが判明しました。



新しいアプローチを使用した言語の例を続けることができます。 現在では、バシキール、ウズベク、マラーティー、ネパールでもこの​​技術をうまく適用しています。 これらの言語の多くは正式に「小さい」と呼ぶことさえできませんが、私たちのアプローチの特異性はまさにこれにあります-親族関係が明確に追跡されるあらゆる場所で使用できます。 小さな言語の場合、原則として、彼は翻訳者を作成し、他の人のために-品質の水準を上げることができます。 そして、これはまさに私たちが近い将来に行う予定です。