ブラウザと人工知能の未来。 Yandex.BrowserのZen

将来的には、人気のあるブラウザはすべて、Webページを開くためのプログラムを超えて、それらを使用する人々をよりよく理解するようになると思われます。 今日は、Windows、Android、iOSのユーザーが利用できるYandex Browserの個人的なZenフィードの例として、この未来をどのように考えているかを説明します。







見かけのシンプルさにもかかわらず、Zenはかなり洗練された技術に基づいています。 これがどのように実装されているか、従来の機械学習を使用した場所と理由、およびニューラルネットワークと人工知能について少し説明します。このアプローチについてのあなたの意見に感謝します。



推奨事項は、ネットワークを積極的に使用するすべての人によく知られています。 オンラインストアは同様の製品を提供しています。 オンライン映画館は映画を推薦します。 音楽、書籍、ゲーム、アプリケーション-あらゆるニッチで、そのようなソリューションの例を見つけることができます。 情報量が指数関数的に増加している今日の世界では、推奨事項は人々が新しい何か面白いものを見つけるのに役立ちます。



Yandexは常に検索に特化しています。 広義の言葉で。 質問への回答を検索します。 最適なルートを検索してください。 そして、あなたの近くで無料のタクシーを見つけます。 約2年前、別のアイデアを得ました。 特定の人にとって興味深いコンテンツをネットワークで検索するようにマシンに教えること。 クエリが単語ではなく、関心事であるパー​​ソナライズ検索。 このアイデアから、推奨されるZenコンテンツのテープが作成されました。

禅

禅は、特定の人の興味に基づいて形成されるコンテンツの無限のストリームです。 ユーザーが興味深いコンテンツを見つけ、出版社-ターゲットを絞ったトラフィックを支援したい（推奨事項をクリックすると、ソースサイトの素材が開きます）。 通常、新製品に関するストーリーはイデオロギーと製品戦略の説明から始まります。ここでは、YandexブログのRoman kukutz Ivanovの投稿を読むことをお勧めします。 さらに、これらはYandex.BrowserのZenを他のブラウザー（だけでなく）アナログと区別するものです。







ところで、熱心な読者は、Zenの最初の実験が2015年にzen.yandex.ruページで実行されたことを思い出すかもしれません。 推奨フィードがブラウザの一部になったのはなぜですか？ 今回は少し後で質問に答えます。



Zenの基礎は、Yandexで開発された推奨テクノロジーであるDiscoであり、Yandex.MusicおよびYandex.Marketで既にアプリケーションを使用しています。 「ディスコ」という言葉は、「新しいものの発見」を意味する英語の発見と一致しており、テクノロジーの本質をよく説明しています。



Zenの場合のディスコの簡略化されたロジックは次のようになります。







最初のデータから始めましょう。初期データはまだ何らかの形で要因になっています。

推奨事項はどこから始まりますか？

人に助言する前に、彼の興味と好みを理解しなければなりません。 このためZenは、ユーザーがアクセスするサイトに関するYandexの知識を使用します。 この知識のおかげで、多くの新しいZenユーザーは、何も構成しなくても、すぐにパーソナライズされた推奨フィードを見ることができます。 しかし、時には十分ではありません。 普通の人向けのテープを使用して、この問題を解決することができます。 しかし、私たちはそのような人が現実に存在しないことを知っています（アメリカ空軍の例でよく示されていました ）。 したがって、私たちは他の方法で行って、人々が自分の利益を独立して制限するよう提案しました。 これらの設定には独自の名前はありませんが、内部では「オンボーディング」と呼びます。







オンボーディングは初期設定の必須段階ではなく、間違いなく提供するものがないユーザーのためのバックアップオプションにすぎないことを理解することが重要です。 オンボーディングを通過した直後の推奨フィードは、数週間のZenの積極的な使用後に形成されたコレクションとはまったく異なる場合があります。 これらの設定は、AndroidおよびiPhoneのYandex.Browserユーザーが既に利用できます。 For Windowsは近日中に利用可能になります（ただし、現時点では一時的なソリューションを使用できます）。



人間の利益に関する知識は、必要な情報の半分にすぎません。 何かを推薦するためには、まず何かを見つける必要があります。 通常、推奨サービスはこの問題を原始的な方法で解決します-関心のあるRSSフィードの限定されたカタログを形成します。 Zenの場合、そのような制限はありません。 検索ロボットはあらゆる材料を探しています。 人気のあるブログからの著者の出版物、またはYouTubeからのフォーラムやビデオからの質の高いストーリーのいずれかです。 これを「ワイルドウェブ」と呼びます。 主なことは、サイトが放棄されておらず、ページに十分な量の有用なコンテンツが含まれていることです。



そのため、一方では、何百万人ものユーザーのお気に入りの出版物についての知識があり、他方では、Yandexグローバル検索インデックスの全機能があります。 最も単純なものが残ります。 推奨事項を作成するために車を教えます。

推奨システムの種類

レコメンダーテクノロジーの歴史では、コンテンツフィルタリングとコラボレーションフィルタリングの2つの主要タイプがよく知られています。 最初のものから始めましょう。これは、推奨オブジェクトの内容の比較に基づいています。 たとえば、私は映画を検討することを提案します。 2つの映画が同じジャンルに属していて、ユーザーがすでにそれらの1つを賞賛している場合、一定の確率で、彼と2番目の映画をアドバイスできます。 そしてここでは、オンライン映画Netflixを思い出すのは興味深いです。Netflixはジャンルを数百から数万に増やしました。その中には、「邪悪な子供を持つカルトホラー」もあります。 これらのジャンルのほとんどは、視聴者の目から隠されており、推奨事項を作成するためにのみ使用されます。







私たちの場合、ジャンルはありません。 Webページが人の利益になると結論付けるには、そのコンテンツを既知の例と比較する必要があります。 さらに、これは資料を読むだけでなく、その意味を理解する必要があるコンピューターによって行われるべきです。 そして、この問題を十分に正確に解決する唯一の方法は、人工知能の分野でYandexの経験を活用することです。

NLP + CV

人工知能に関しては、多くのユーザーがSkyNetが人類を奴隷にしたいと思っていることを想像しています。 幸いなことに、未来は前もって決められておらず、すべてが私たちの手にあります。 しかし真剣に、AIの開発はすでに複雑な問題の解決に役立っています。 意味を読み、見、そして最も重要なことには理解するマシンの能力は、大きな展望を開きます。



自然言語処理（NLP）とコンピュータービジョン （CV）は、禅で広く使用されている人工知能の2つの領域です。







推奨事項について話すとき、意味内容がユーザーのサンプルに非常に近い資料を意味します。 言い換えれば、機械は2つのテキストを読み、それらの意味が近いかどうかを結論付けなければなりません。 まさにこれが私たちが学ぶことです。 特別に訓練されたニューラルネットワークは、テキストを、テキストの意味を含むベクトルに変換します。 2つのテキストは、異なる単語を使用して、異なる言語でも作成できますが、1つの意味があります。 これらのベクトルを比較すると、特定の確率で、新しい素材に対する人間の関心を予測できます。 ちなみに、ベクトルがほぼ一致する場合、これはすでに意味の重複（同じイベントに関するテキストまたは別の記事の書き換え）について語っており、テープで戦っています。



Zenチームが取り組んでいるNLPへの別のアプローチは、テキストに自動的にラベルを付けることです。 Netflixの例と何万ものジャンルを考えてください。 ここにあります。 ラベルを使用した出版物の分類は、最終的な推奨事項の精度を向上させるのに役立ちます。



コンピュータービジョンの操作は、一般にNLPに似ています。 テキストを読む代わりに、機械は画像の意味を「見て」理解することを学びます。 推奨事項での直接適用に加えて、コンピュータービジョンにはZenの他のタスクがあります。 たとえば、画像のサムネイルは必ずしも便利にスケーリングされるわけではなく、トリミングする必要があります。また、コンピュータービジョンは写真の中の人を見つけやすくし、ゲームオブスローンズのネッドスタークの運命から救います。



コンピュータービジョンは、画像内のテキストを見つけるためにも使用されます。 一部のサイトは、タイトルを画像として複製することを好みます。 テープでは、これはそれほど美しく見えません。したがって、そのような写真は表示され、サムネイルとして使用されません。 絵の「品質」のような概念を説明するのはまだ難しいです。 マシンは、人々が最も好む画像をサイト上で選択することを学習し、それらをすべて同じサムネイルとして使用します。

SVD

上記で、オブジェクトのコンテンツによるフィルタリングに基づいた推奨事項の構築へのアプローチについて説明しました。 次に、協調フィルタリングについて考えます。 このアプローチは、類似した人々が類似したオブジェクトを好むという考えに基づいています。 この場合、推奨オブジェクトのプロパティを知る必要はありません。ユーザーの関心にどのように対応するかに関する統計を収集するだけで十分です。 映画の例では、次のようになります。







よく知られている推定に基づいて、さまざまな人々の行動のパターンを特定し、新しい映画に対する反応を予測することができます。 数学的レベルでは、協調フィルタリングの適用のために、さまざまなアルゴリズムが発明されました。これは、同僚のミハイル・ロイズナーが、ハブレでかつてよく語っていたものです。



Zenの場合、協調フィルタリング（またはSVDアルゴリズム）を使用して、特定のサイト全体に対する個人の関心を予測します。 この情報は、人工知能（NLP + CV）を使用して個々の材料用に作成された推奨事項を補完します。 これにより、過剰なノイズを除去し、重要なパターンを特定できます（たとえば、HabrやPicabuのストーリーに興味がある人は、他の人よりも「N + 1」を読む頻度が高いことがわかります）。



まとめると。 サイトとユーザーに関するソースデータを使用して、自然言語、コンピュータービジョン、SVDアルゴリズムを処理する技術を使用して、特定のサイト/素材に対する個人の関心を特徴付けるさまざまな要素のセットを形成します。







最終的な推奨事項の正確性は、ソースデータの量と多様性に直接依存するため、他の多くの知識が要因として使用されます。 たとえば、特定のサイトまたはページに関するYandexの知識、人がZenをどのように使用しているかに関する情報、クリックの形でのフィードバック、「これ以上」および「これ未満」、場所、さらには時刻。 推奨システムに入れた個々の要因の総数は、数千単位で推定されています。 システムの複雑さは、アルゴリズムだけでは不十分なレベルに達します。 最終的なテープを作成するための理想的な式を計算する技術が必要です。 そしてここで、機械学習の分野でYandexの便利な経験ができました。

マトリックスネット

「機械学習」という用語は、50年代に登場しました。 人にとって簡単な問題を解決するためにコンピューターを教える試みを意味しますが、それらを解決する方法を形式化することは困難です。 機械学習の結果として、コンピューターは明示的に組み込まれていない動作を示す場合があります。



毎日、当社の検索エンジンは何百万ものクエリに応答しますが、その多くは繰り返し不可能です。 したがって、各要求が提供され、各要求に対して最良の答えがわかっているプログラムを作成することはできません。 検索システムは、独自に判断を下せる必要があります。つまり、何百万ものドキュメントからユーザーに最適なドキュメントを選択する必要があります。 これを行うには、学習するように彼女に教えてください。



2009年以来、Yandex Searchは独自のMatrixnet機械学習方法を使用しています。 これを使用して、多くの異なる要因とそれらの組み合わせを考慮した非常に長く複雑なランキング式を作成できます。 さらに、Matrixnet自体が、ランキングファクターの異なる値に対して異なる感度を決定します。 この技術は非常に普遍的であるため、後にYandexだけでなく、 欧州核研究センターでも応用されています。



数千の要因を考慮し、独自に最適なソリューションを探すコンピューターの能力は、それなしでは最新の推奨システムを構築することは不可能です。 それが、Matrixnetが独自のレコメンダーテクノロジーを作成する際の基礎として採用された理由です。



MatrixNetの作業の結果は、ユーザーがZenフィードで表示するものとまったく同じです。 開発者の側からは、「人がAを愛しているなら、Bをお勧めします」のようなルールはありません。 こうした規則性はすべて生まれ、MatrixNet内で絶えず変化しています。 そして、彼が持っているデータが多いほど、推奨事項はより正確になります。 そのため、ZenはYandex.Browserの一部であり、スタンドアロンのWebサービスまたはアプリケーションではありません。 別のアプリケーションが、2、3日後に起動を停止する可能性のあるユーザーの興味を理解することはさらに困難です。 Zenのマジックと機械学習を最大限に活用するには、それらを積極的に使用するか、少なくとも定期的に近くで使用する必要があります。 また、ブラウザは、インターネットへの単一アクセスポイントとして、これに最適です。 もちろん、どのユーザーでもブラウザでZenの使用を拒否できます。



この投稿では、Yandex.Browserで個人的な推奨フィードがどのように形成されるか、そしてZenが別の「ニュースフィード」ではなく、真面目な技術の成果である理由について説明しました。 人工知能の分野からの開発は、コンテンツと人間の興味の意味を機械が理解するのをすでに支援しています。 しかし、これはほんの始まりに過ぎません。 いつの日かコンピューターは私たち自身よりも私たちをよく理解するでしょうか？