クラウド機械翻訳サービスの風景。 Yandexでの講義

これは、Habréで公開する6番目のHyperbatonの最後のレポートです。 IntentoのGrigory Sapunovは、クラウド機械翻訳サービスの品質を評価するアプローチを共有し、評価の結果と利用可能なサービス間の主な違いについて話しました。





-私の名前はグリゴリー・サプノフです。クラウド機械翻訳サービスの状況について説明します。 私たちはこの風景を1年以上にわたって測定してきましたが、非常にダイナミックで興味深いものです。







それが何であるのか、そこで何が起こっているのか、手頃な価格のソリューション、在庫モデルの比較、事前トレーニング済みの機械翻訳モデル、昨年に積極的に登場し始めたカスタマイズされたモデルについて理解するのがなぜ役立つのかを説明します。モデルの選択。



機械翻訳は、さまざまなタスクの自動化に役立つ非常に便利なツールになりました。 一部のトピックでのみ人を置き換えますが、少なくともコストを大幅に削減できます。 大規模なWebサービスで多くの製品説明やレビューを翻訳する必要がある場合、ここの人は単純に大規模なフローを処理できず、機械翻訳は本当に優れています。 そして、すでに多くの既製のソリューションが市場に出回っています。 これらは事前に訓練されたモデルであり、ストックモデルと呼ばれることも多く、最近急速に発展しているドメイン適応を備えたモデルです。



同時に、独自の機械翻訳ソリューションを作成することは非常に難しく、高価です。 最新の機械翻訳技術であるニューラルネットワーク機械翻訳では、内部で多くのことを行う必要があります。 これを行う才能、それを訓練するための大量のデータ、そしてそれを行う時間を必要としています。 さらに、ニューラルネットワークの機械翻訳には、SMTやルールベースなどの以前のバージョンの機械翻訳よりもはるかに多くの機械リソースが必要です。



同時に、クラウドで利用可能な機械翻訳は非常に異なります。 また、機械翻訳の正しい選択により、人生を大幅に簡素化し、時間とお金を節約し、最終的に問題を解決するかしないかを決定できます。 私たちが測定する参照ベースのメトリックでの品質のばらつきは、4倍になる場合があります。







同時に、価格では、スプレッドは通常200倍になります。 これは完全に異常な状況です。 ほぼ同じ品質のサービスは200倍異なる場合があります。 これは、余分なお金を節約したり支出したりするための簡単な方法です。



同時に、サービスは製品の特性の点で大きく異なります。 これは、形式のサポート、ファイルのサポート、バッチモードの有無、またはサービスが一度に翻訳できるテキストの最大量などです。 サービスを選択する際には、これらすべてを理解する必要があります。 間違ったサービスを選択した場合は、やり直さなければならないか、受け取りたい品質が得られません。 その結果、何かをより速く市場に出し、お金を節約し、製品に最高の品質を提供するという事実に要約されます。 または提供しないでください。







これらのサービスを比較して、長くて高価なあなたに最適なものを理解してください。 これを自分で行う場合は、すべてのクラウド機械翻訳サービスと統合し、これらの統合を作成し、契約を結び、最初に個別の請求を手配し、全員と統合する必要があります。 次に、これらのすべてのサービスを実行して、データの一部を評価します。 それは法外に高価です。 このようなプロジェクトの予算は、これを行うメインプロジェクトの予算を超える場合があります。



したがって、これは重要なトピックですが、自分でそれを行うことは困難です。この場所では、何が何であるかを理解するのに役立ちます。







市場にはさまざまな技術があります。 ほとんどすべてのサービスがニューラルネットワーク機械翻訳または何らかのハイブリッドに切り替えられました。 市場にはまだ多くの統計的機械翻訳者がいます。







それぞれに独自の特性があります。 NMTはより近代的な優れたテクノロジーのようですが、微妙な点もあります。



一般に、ニューラルネットワークの機械翻訳は以前のモデルよりもうまく機能しますが、それに従う必要もあります。完全に予期しない結果があります。 真のヨーダとして、彼は沈黙を保ち、いくつかの行に空の答えを与えることができます。あなたはそれをキャッチし、彼があなたのデータ上でこのように振る舞うことを理解する必要があります。 または、商品の大きな説明が機械翻訳に送られ、彼は単にそれがバックパックだと言った、eコマースの素晴らしい例です。 そして、それはこのマシンサービスの安定した振る舞いであり、一般的なデータ、ニュースデータでうまく機能します。 しかし、この特定の分野では電子商取引はうまく機能しません。 そして、これを理解する必要があります。データに最適なサービスを選択するには、データに対してこれらのサービスをすべて実行する必要があります。 これは、ニュースなどでうまく機能するサービスではありません。 これは、特定のケースでより適切に機能するはずです。 これは、それぞれの場合に理解する必要があります。







カスタマイズには多くのレベルがあります。 ゼロレベル-その不在。 事前にトレーニングされたストックモデルがあります。これらはすべて、現在異なるプロバイダーのクラウドにデプロイされているものです。 条件付きで機械翻訳に従事している会社で注文を行う場合、完全にカスタマイズされたモデルを使用するオプションがあります。それは、データ上でモデルがゼロからトレーニングするためのものです。 しかし、それは長く、高価で、大きなエンクロージャを必要とします。 このような実験のためにあなたから5,000ドルを受け取る大規模なプロバイダーがあります。この注文の数字です。 試すのに高価なもの。 そして、これは何も保証しません。 モデルを訓練することはできますが、市場で入手可能なものよりも悪いことが判明し、お金は捨てられます。 これらは2つの極端なオプションです。 ストックモデル、またはケースに合わせてカスタマイズ。



中間のケースがあります。 用語集は、現在の機械翻訳モデルの改善に役立つ非常に良いことです。 そして、現在活発に開発されているドメイン適応、一種の転移学習、これらの言葉の後ろに隠されているものがあります。これにより、いくつかの一般モデルまたは特別なモデルを訓練してデータを再訓練することができ、そのようなモデルの品質は一般的なモデルよりも優れています。 これは優れた技術であり、機能しています。現在、積極的に開発中です。 彼女をフォローして、彼女についてもっと話そう。







自宅で育てたり、クラウドを使用したりすることも重要です。 この場所にはよくある誤解がありますが、クラウドマシン翻訳サービスを使用すると、データを取得してモデルをトレーニングすることになると人々は考えています。 これは、過去1〜2年には当てはまりません。 すべての主要なサービスはこれを拒否しました。彼らの利用規約では、モデルのトレーニングにデータを使用しないことを明確に述べています。 これは重要です。 これにより、クラウドマシン翻訳の適応に対する多くの障壁がなくなります。 これで、これらのサービスを安全に使用できるようになり、サービスがモデルをトレーニングするためにデータを使用せず、時間の経過とともに競合他社にならないことを確認できます。 安全です。



これは、2年前と比較して、クラウドの最初の利点です。



2番目の利点は、ニューラルネットワーク変換を自分で展開する場合、これらのすべてのニューラルネットワークをトレーニングするためにグラフィックアクセラレータを使用してかなり重いインフラストラクチャを持ち上げる必要があることです。 また、推論のトレーニングを行った後でも、これを機能させるには高性能のグラフィックカードを使用する必要があります。 高価なことが判明しました。 このようなソリューションの所有コストは非常に大きくなります。 また、APIを市場に専門的に提供する予定のない会社はこれを行う必要はありません。既成のクラウドサービスを利用して使用する必要があります。 この場所では、お金と時間を節約でき、サービスのニーズに合わせてデータが使用されないという保証があります。



比較について。







私たちはこのトピックに長い間取り組んでおり、1年半の間定期的に品質を測定しています。 自動参照メトリックを選択したため、大規模な方法で実行でき、特定の信頼区間を取得できます。 データ品質メトリックがどれくらい落ち着くかは多かれ少なかれわかっており、異なるサービスから適切な選択をすることができます。 しかし、自動と人間のメトリックは互いに補完することを覚えておく必要があります。 自動メトリクスは、予備的な分析を行い、人々が特に注意を払うべき場所を選択するのに適しています。次に、言語学者や分野の専門家がこれらの翻訳オプションを見て、自分に合ったものを選択する必要があります。







市場に出ているシステム、分析方法、価格で比較する方法、および分析結果、ここで品質で重要なこと、サービスを選択する際に品質以外で重要なことについて説明します。







まず、クラウドベースの機械翻訳サービスがすでに多数あります。事前にトレーニングされたモデルを使用して使用を開始でき、パブリックAPIを備えているもののみを考慮しました。



パブリックAPIを持たないサービスや内部に展開されているサービスはまだ多くありますが、調査では考慮していません。 しかし、これらのサービスの中でもすでに多くのサービスがあり、これらのサービスのうち19を測定および評価しています。 実践では、平均的な人は複数の市場リーダーを知っているが、残りについては知らないことを示しています。 そして、彼らはあり、いくつかの場所で彼らは良いです。







Web上の言語の人気を取り上げ、4つのグループに分けました。 最も人気があり、サイトの2％以上で、人気が低く、さらには低い。 さらに分析する言語のグループは4つあり、これらすべてから、最初のグループ、最も人気のある言語、2番目のグループに少し焦点を当てています。







最初の3つのグループ内のサポートはほぼ100％です。 非常にエキゾチックではない言語が必要な場合は、クラウドから取得します。 エキゾチックなカップルが必要な場合は、一部の言語がマシンクラウド翻訳サービスでサポートされていないことが判明する場合があります。 ただし、すべての制限があっても、可能なすべてのペアの約半分がサポートされます。 これは悪くありません。







このうち、主に英語と最初のグループのすべての言語、最初のグループ内の一部の言語、および少しの英語と2番目のグループの言語を選択して、48ペアをテストしました。 これは多かれ少なかれ典型的な使用シナリオをカバーしますが、他の多くの興味深い事柄が外部に残っています。 これらのペアを評価し、測定して、そこで何が起こっているかを説明します。 完全なレポートはこちらです。無料です。定期的に更新しています。使用するようにキャンペーンを行います。







このグラフでは数字と軸は表示されませんが、これは異なる機械翻訳システムで異なる言語をサポートすることに関するものです。 X軸、対数目盛のY軸、一般的かつ一意のサポートされるペアの数に沿って、さまざまな機械翻訳システムがあります。 この図では、赤がユニークで、青がすべてです。 非常にエキゾチックな言語の組み合わせがある場合、一意性のために、必要な特定のペアをサポートするのは1つだけなので、7つの異なるプロバイダーを使用する必要があることがわかります。







品質を評価するために、ニュースビルディング、一般的なドメインビルディングを選択しました。 これは、別のエリアからの特定のデータで状況が同じであることを保証するものではなく、ほとんどの場合同じではありませんが、これは、一般的にそのような研究にアプローチする方法、あなたに合った適切なサービスを選択する方法の良いデモンストレーションです。 ニュースエリアの例を示します。 それはあなたの他のエリアに簡単に転送します。







hLEPORメトリックを選択しましたが、これはBLEUとほぼ同じですが、直感的な意味では、サービスが相互にどのように関係しているかの印象がよくなります。 簡単にするために、0〜1のメトリックは1つの参照変換と完全に一致し、0は完全に一致しないと考えてください。 hLEPORの方が直感的に使用できます。つまり、BLEUと比較して10単位の違いがあります。 メトリックについては個別に読むことができます。すべては研究方法論で説明されています。 これは通常のメトリックであり、プロキシメトリックであり、完全ではありませんが、本質をうまく伝えます。







価格の差は大きい。 100万文字の翻訳が可能な価格のマトリックスを作成しました。 あなたはダウンロードして見ることができ、違いは莫大で、100万文字あたり5ドルから1,000ドルまでです。 間違ったサービスを選択すると、コストが大幅に増加するか、適切なサービスを選択すると、この場所で多くの費用を節約できます。 市場は不透明であり、何が価値があり、どこが品質であるかを理解する必要があります。 このマトリックスに留意してください。 すべてのサービスを比較することは困難です。価格のために、価格はしばしばあまり透明ではなく、ポリシーはあまり明確ではなく、いくつかのグレードがあります。 それはすべて複雑で、この表は意思決定に役立ちます。







分析結果をこのような面白い写真に限定しました。 この写真は、測定したペアの最大利用可能品質を示しています。より環境に優しい-より高い品質が利用可能であり、これらのペアの競合は何ですか、条件付きで、約8つのプロバイダーがこれを提供します最も手頃な品質で、どこか2つだけで、ドルアイコンもあります。最高の品質を得るための価格です。 スプレッドは大きく、どこか安いところでは許容できる品質を得ることができ、どこかでは受け入れられないほど高価であり、さまざまな組み合わせが可能です。 景色は複雑で、どこでも良い、安い、良いなどのスーパープレーヤーは誰もいません。 どこにでも選択があり、どこでも合理的に行わなければなりません。







ここでは、これらの言語ペアに最適なシステムを作成しました。 優れたシステムは他にありません。この特定の領域では異なるペアで異なるサービスが優れていることがわかります。ニュース、他の領域では状況が変わります。 グーグルはどこか上手で、どこか上手なDeeplは、ヨーロッパの新鮮な翻訳者であり、ほとんどの人は知らないが、グーグルとうまく戦い、それを打ち負かす小さな会社で、本当に良い品質だ。 Yandexは、ロシア語と英語のペアで常に優れています。 Amazonが最近登場し、ロシア語などを接続しましたが、それも悪くはありません。 これらは新鮮な変更です。 1年前、これの多くはそうではなく、リーダーが少なかった。 現在、状況は非常に動的です。







最適なシステムを知ることは必ずしも重要ではありません。 多くの場合、最適なシステムを知ることが重要です。 この品質のシステムの上位5％を見ると、この上位5％の中で最も安価であり、品質が優れています。 この場所では、状況は大きく異なります。 グーグルはこの比較を去り、マイクロソフトは非常に上昇し、より多くのYandexになり、Amazonはさらにクロールし、よりエキゾチックなプロバイダーが出現します。 状況は異なってきています。







機械翻訳のすべてのプロバイダーを水平方向（さまざまなプロバイダー、垂直方向）で見ると、プロバイダーがこれらのトップの1つである頻度は、上位5％が遅かれ早かれほとんどすべてです。 いくつかの特定の測定ペアに対するそれらのベストは7プロバイダーであり、最適なものも7です。これは、翻訳する必要がある言語のセットがあり、最大または最適な品質を確保する場合、1つのプロバイダーが必要であることを意味します十分ではありません。これらのプロバイダーのポートフォリオを接続する必要があります。そうすれば、最高の品質、最高の費用効率などが得られます。 より良いプレーヤーは一人もいません。 複雑なタスクがあり、多くの異なるペアが必要な場合、異なるプロバイダーを直接使用する方法があります。これは、ペアを使用するよりも優れています。







市場は非常にダイナミックで、オファーの数は急速に成長しています。 17年の初めに測定を開始し、7月に新しいベンチマークが公開されました。 利用可能なサービスの数は増え続けており、その一部はまだプレビュー中です。公開価格表はありません。使用できるアルファまたはベータの種類がありますが、条件はあまり明確ではありません。







品質はよりゆっくりと成長しますが、成長もします。 主な関心は、特定の言語ペア内で発生します。







たとえば、英語とロシア語のペア内の状況は非常に動的です。 過去6か月間のYandexは、品質を大幅に改善しました。 アマゾンが現れた、それは右側の1つのドットで表され、Yandexのすぐ後ろにあります。 GTComプロバイダーは、中国のプロバイダーであり、中国語から英語とロシア語によく翻訳され、英語-ロシア語もうまく処理します。



すべての言語ペアでほぼ同様の状況が発生します。 どこでも何かが変化し、新しいプレーヤーが常に登場し、その質は変化し、モデルは再訓練されています。 品質が変わらない安定したプロバイダーがあります。 この場合、品質が多少改善されている他の不安定なものがあるため、安定したものは死んでいる可能性が高くなります。 これは良い話です。彼らはほぼ絶えず改善しています。







価格品質に関するより複雑なメトリックを検討する場合、安定した改善があります。 つまり、高品質の機械翻訳のコストは毎月、毎年減少し続けており、より多くの高品質の機械翻訳がより少ない費用で利用できるようになっています。 これはいいです。

_{^{スライドからのリンク}}

価格と品質に加えて、特定のプロバイダーを選択する際にも重要な問題の巨大な層があります。 これらは、あらゆる種類の製品機能、html、xmlサポート、トリッキーであまりフォーマットではない、バルクモード、言語の自動検出-人気のトピック、用語集のサポート、カスタマイズ、サービスの信頼性です。 そして、私たちが開発者の幸福と呼ぶものも、リンクから私たちの意味を読むことができます。







これは、車の災害を引き起こすことです。 DX , , , HTTP, , API, , , . , API, . , , API , - . .



, . , , SDK, , , . . .



, , API NDA. . . , - .



, . , , , . - , , .



— , . , , .







- . , , . , - , Google, Microsoft, IBM, - , , , .







? , , , . — , . 10 . 1 . 2 . , 2 . . 50 .



hLEPOR, , , , , , . , . — . , . , , - , . , . , , , . .







, . Microsoft, 3 API. , , , Microsoft . . , , . , , 10 . Microsoft . , . , , .







IBM, , . , . 2% — .







Google AutoML , , 10 100 . .







, Microsoft, Google, - — , Deepl, Amazon, Google, Microsoft. , . ? , - , - . , Google Deepl, , , . . , . これは素晴らしい。



, , , , . . , , . , , . . , . , .



?







. . , , .



, . , - . それは起こります。 , , , -. , , , . , , , - , , . — .



- , , . -, . , , . , , , . . — , , .

_{^{: , , , ,}}

? 多くの人に。 , . , , , . , .



, , . API . , , . SDK NodeJS, .NET, CLI. , API, . . , , . , , , — .



web tools . , , , API. . , , .



, . -, , . そうではありません。 , . . , , , , . , , , , . Deepl? , Google .



, , , , . , , , , , . ありがとう