自己中心的なランキング。 YandexがZen著者の関連オーディエンスを見つけることについて報告します

Yandex.Zenサービスの最も重要なことは、視聴者と著者をつなぐプラットフォームを開発および維持することです。 善良な作家にとって魅力的なプラットフォームであるためには、Zenは、最も狭いものを含むあらゆるトピックを書くチャンネルに関連する視聴者を見つけることができなければなりません。 著者幸福グループのボリス・シャルチレフの長は、著者にとって最も関連性の高いユーザーを選択する自己中心的なランキングについて話しました。 レポートから、このアプローチが関連アイテムの選択とどのように異なるかを確認できます-推奨システムでより一般的です。

ユーザー中心のランキングと自動中心のランキングのバランスを取ることにより、ユーザーの幸福と著者の幸福の適切なバランスを実現できます。

-同僚、皆さんこんにちは。 私の名前はボルヤです。 Zenで品質ランキングを行います。 これは最も興味深いYandexサービスの1つであり、非常に優れた機械学習を備えていると確信しています。今後17分間で、このことを納得させようとします。



禅とは？ 非常に単純な場合、Zenは個人的な推薦サービスです。 これらのユーザーの関心について知っていることに基づいて、ユーザーに関連するコンテンツをお勧めします。 私たちの高レベルの目標は、ユーザーがZenで時間を過ごすことです。 そして、非常に重要なことは、彼らが今回を後悔しないことです。



コンテンツ消費の基本的な形式は次のようになります。 これは無限の推奨事項です。 そして、ここでは、原則として、非常に異なるトピックに関する非常に多くの資料を推奨しようとしていることは明らかです。 さまざまなトピックがあります。ビジネスに関するもの、ユーモアに関するもの、ファンタジーに関するものです。 つまり、テープには、教育的な記事と教育的な記事の両方、さらに面白い記事があります。 そして、もちろん、パーソナライズ。 皆のためのZenフィードは、ユーザーが何に興味を持っているかによって異なります。 さらに、もちろん、少しの広告。







非常に重要なポイント。 当初、私たちが最初に登場したとき、私たちは実際、インターネットからのコンテンツのアグリゲーターでした。 つまり、既存のサイトを巡回し、そこからコンテンツを取得し、興味に応じてユーザーに表示しました。 今、状況は異なります。 現在、Zenは、有名なブロガーであろうと、何かを語る初心者の著者であろうと、誰もが独自のチャンネルを作成できる完全なブログプラットフォームです。 新しい著者は、サービスについて説明するこのような素晴らしいウェルカム画面を見ることができます。禅自身が聴衆を選択し、彼は良い資料を書くだけです。



現在、プラットフォームはZenの総トラフィックの半分以上を占めています。 そして、この数字は成長するだけです。 誰もが既存のコンテンツをランク付けできることを理解しています。 もちろん、最善を尽くします。 しかし、誰もがユニークなコンテンツを持っているわけではなく、これが私たちの競争上の優位性になると信じています。







禅はすでに非常に大きいことを理解することが重要です。 Yandex.Radarによると、昨年末には、1日あたり約1千万から1200万人、1日で約3500万人の読者がおり、Yandex.Radarからの報告によると、昨年も彼らは初めてYandex.Newsの聴衆を回った。 これは、インターネットを真剣に作成していることを意味します。非常に深刻なタスクがあり、多くのタスクがあります。皆様のご協力をお待ちしております。







これがどのように機能するかの詳細について話し、インターンで何ができるか、どのようにサービスを支援できるかについて話し合いましょう。



推奨事項の概要は次のように整理されています。 それはすべて、ドキュメントの大規模なデータベースから始まり、そこから推奨する資料を選択します。 数千万のドキュメントで構成されています。 さらに、このデータベースは絶えず補充されています-毎日約100万件の新しいドキュメントが届きます。 理想的には、機械学習マシン全体をこれらの数千万のドキュメントすべてに各ユーザーに個人的に適用し、ユーザーにとって最も関連性の高いものを選択したいと考えています。 しかし、残念なことに、Zenはリアルタイムで機能するサービスであるため、これは実際には機能しません。 どれだけ迅速に対応できるかについては非常に厳密な保証があります。そのため、実用上の理由から、最初の段階で数千万件のドキュメントのベースを数千の潜在的な推奨事項に絞り込むことを余儀なくされています。 わが国で数千万から数千にベースを絞り込むこの段階は、候補者の選択または簡単なランキングと呼ばれます。



このキットを入手したら、複雑な大規模機械学習モデルに適用します。これは、最上位レベルで勾配ブースティングです。 ここには驚くことはありませんが、非常に多様な要因があります-たとえば、特定のドメインがユーザー、ソース、訪問頻度、クリック、フィードバック、いいね、嫌いにどの程度関連しているかを特徴付ける単純なものからです。 たとえば、ニューラルネットワーク機能に基づくより複雑な要因もあります。 記事のテキストを処理し、写真やその他のデータソースを処理し、そのような複合機能も使用します。 このスキームはすべて非常に複雑です。詳細を説明する時間はありません。



2,000人の候補者をランク付けした後、その中からトップを選択します。 トップのサイズは、材料をどれだけ推奨する必要があるかによって異なります。 それは常に異なって定義されます。 そしてこのようにして、最終号を作成します。



これは、回路がどのように高レベルに見えるかです。 次に、プロセス全体のどのコンポーネントを改善することに関心があるかについて話しましょう。







ほぼすべてを行うことに興味があることがわかりました。 多くのタスクがあります。 ランキングのためのデータ配信の速度を上げたいと考えています。データが新しいほど、より適切な推奨事項を作成します。 サービスの稼働時間を短縮したい。仕事が早くなればなるほど、ユーザーエクスペリエンスが向上する。 サービスの信頼性を高めたい。



ランキングを改善することが重要です。 つまり、機械学習の新しいモデルを適用し、他の国で現在のモデルを改善する必要があります。 ロシアだけでなく、世界の他の多くの国でも推奨されています。



また、地域性を考慮して、地域に関連するコンテンツを推奨します。



そしてそれは非常に重要です-オーサリングプラットフォームを開発する必要があります。 これが私たちの未来です。それに投資する必要があります。 また、多くのタスクがあります。 特に、質の高いコンテンツを見つけて起動できる必要があります。 ゴミではなく、良い素材を見せることが重要です。 新しいコンテンツ形式をランク付けできる必要があります。 記事だけでなく、短い動画、ユーザーがフィードで直接見る投稿もあります。 これらの形式はすべて、ランク付けできる必要があります。



そして、技術的な詳細でもう少し詳しく説明したい非常に重要なポイントです。かなりニッチな著者やトピックについて話している場合でも、各著者が彼に関連する聴衆を見つけることができることが重要です。 ここで何が問題なのか、どのように解決するのかを詳しく話しましょう。



例を見てみましょう。







ユーザーに見せたい2枚のカードから選択するとします。



これが世界の仕組みと人々の働き方であり、平均的なものがあり、クリックの確率は平均20％であり、科学や宇宙に関する記事など、よりニッチなものがあります。



クリックの可能性に従って単純にカードをランク​​付けする場合、もちろん、クリック可能かつシンプルなコンテンツは非常に多くのインプレッションを収集し、科学に関する非常に優れた記事でも収集しません。 もちろん、これは望ましくありません。 ニッチなチャンネルでも興味のある視聴者を見つけたいです。







なぜこれをしたいのですか？ 実際、2つの理由があります。 最初は食料品です。 つまり、Zenをインターネットのある種のカットにしたいのです。 ユーザーが見つけることができるすべてのものと、彼が大きなインターネットで興味を持っているものはすべてZenで表示されます。 そして、彼は彼に興味深いものを受け取ります。



科学チャンネルには独自の視聴者がいます。 しかし、そのようなニュアンスがあります。 科学愛好家が科学や人気のあるコンテンツを表示する場合、科学よりもクリックする可能性が高くなります。 ただし、科学のみを表示すると、科学もクリックされ、後悔すらしません。 問題は、そのような人々をどのように見つけ、コンテンツをどのように表示するかであり、ユーザーではなく作者に焦点を当てています。







これを行う方法は？ クリックの可能性を予測する通常のランキング式は、ここでは役に立ちません。なぜなら、平均してより多くのニッチな記事が失われるからです。 しかし、他の方法で行くことができます-クォータを割り当て、その中で著者にほぼ均等に印象を与え、彼らに一種の最小限の保証を与えます。 これを行うことができ、これにより作成者は少し幸せになりますが、残念ながら、これによりユーザーの満足度が低下します。 ユーザーはクリックを少なくし、動揺して去ります。 確かにこれは望ましくありません。



ここにいる方法は？







長い間考えて、新しいコンセプトを思いつきました。 著者の自己中心的なランキングまたはインプレッションと呼びます。



ユーザー中心と呼ばれる定期的なランキングの目標は何ですか？ ユーザーに最も関連する資料を見つけます。 ユーザーに何を表示するかという質問に答えます。



自己中心的なランキングでは、問題の記述を覆し、この著者を表示したいと言います。質問は、誰に誰を表示し、誰に最も関連性があるかです。 したがって、メトリックの違い。 最初のケースでは、カスタム指標、つまり積分クリック、Zenでの積分時間などに興味があります。 2番目のケースでは、いわゆる著者メトリックに興味があります。 たとえば、著者の下位10％など、Zenの生存率を測定します。 彼らが十分に生きていれば、他のみんなも幸せです。







これをどうやってやるの？ 通常のランキング式があるとします。 簡単にするために、ユーザーが特定のカードの特定のアイテムをクリックする可能性を予測するとします。 私たちは何をしますか？ 各記事で修正し、この記事のモデルを、理想的には-実際にはすべてのユーザーに-ある種のユーザーサンプルに適用してみましょう。 そして、ユーザーの記事ごとに、スコアの分布、つまり記事をクリックする確率の推定値を作成します。 さて、各記事について、チャート上にそのような分布があります（上記のスライド-およそEd。）。 その後、ユーザーの記事をランク付けし、クリックの可能性だけでなく、このユーザーがこの記事に分類されるパーセンタイルによってトップを選択します。 つまり、クリックの確率を推定し、ユーザーがこの分布のどこに該当するかを確認し、この値で整理します。







ここには同じ2枚のカードがあり、そのうちの1つはクリック可能性が高く、20％、もう1つは1％未満です。 ここで、特定のユーザーを選択した場合、人気の低いカードよりも人気のあるカード（10％対3％）をクリックする可能性があります。 しかし、人気のあるカードのクリックの平均確率は20％であり、ユーザーは10％であるため、平均してZenユーザーよりもこの出版物との関連性は低くなります。 そして別の状況では、逆に、クリックの可能性は3％ですが、平均的な記事では1％です。 したがって、他のZenユーザーよりも記事に関連性の高い平均的なユーザーです。 したがって、ここでの重要な洞察は、記事をクリックする確率が低くても、そのようなフレームワークの助けを借りて、ユーザーがこの出版物の最も信頼できるコアにいる場合、人気の低い記事を表示する機会があるということです。







ユーザーが多かれ少なかれ均等に来た場合、ランク付けされた特定のスコア、つまり各ユーザーが分類されるパーセンタイルは、ユーザー間で均等に分散されます。 これは、すべての記事がこのようにランク付けされている場合、すべての記事がほぼ同じ数のインプレッションを収集することを意味します。 一部の関連性の低いカードの10インプレッションと比較して、数千万インプレッションの排出はありません。 したがって、ユーザー中心のランキングとオートセントリックなランキングのバランスをとることにより、ユーザーの幸福度と著者が正しいと考える幸福度の比率を達成できます。







これを本番環境に実装する方法について少し説明します。 ログを見て、そこから各記事の分布を計算する必要があります。 重要な制限：ストリーミングモードで、これを最初に、すばやく、次に実行できる必要があります。 つまり、理想的には、新しいデータの分布推定値を更新するには、以前のすべてのデータではなく、現在の推定値のみをメモリに格納する必要があります。 そのようなシステムはスケーラブルであり、そのようなスキームは機能します。 理想的には、小さなデータでこれを行える必要があります。 記事の表示回数が300回しかない場合、そのような多数の観測値の分布を適切に推定できる必要があります。



実験を行ったところ、このようなスコア分布は驚くほど対数正規分布に近いことがわかりました。 つまり、これは経験的な観察です。 その場合、分布のヒストグラム全体をノンパラメトリックに推定する代わりに、この分布の2つのパラメーターのみを評価できます。 そして、現在のパラメーター推定と新しい観測のみを使用して、ストリームでこれを行うことができます。 このようなスキームは非常に高速で非常にうまく機能します。 現在、彼女は私たちと一緒に生産しています。







結果も良好です。 Zenで無視された優れた著者の幸福度を大幅に高め、一般的なユーザーメトリックを無駄にしません。 つまり、ビジネスタスクは完全に達成されます。



これで、対処できるタスクの例の1つを示しました。 もちろん、これらのタスクの多くがあり、それらのそれぞれであなたの助けが必要です。 私たちはあなたが私たちと一緒に働きたいと本当に願っています。 最後に、インターンに期待することと、インターンに期待しないことについて、いくつかの言葉を述べます。 研修生には、最も重要なこと、つまりコードを書く能力が必要です。 サービスには純粋な科学者はいません。 私たちは全員MLエンジニアです。彼らはタスクの全サイクルを実行できなければなりません。 彼らは、実稼働環境でソリューションを実装および実装でき、MLを適用する必要があります。 つまり、基本レベルでコードを記述し、アプローチを理解し、アルゴリズム、データ構造、機械学習の基礎を理解できることを期待しています。



インターンに期待しないことは何ですか？ まず第一に、言語やフレームワークに関する深い知識は必要ありません。 つまり、Pythonでコルーチンがどのように機能するかわからない場合は、大丈夫です。すべてをお教えします。 そして、私たちはあなたから多くの経験を期待していません。 私たちはあなたの知識、仕事への欲求を待っています。 経験が無ければ大丈夫です 私たちはすべてを教え、すべてがうまくいくでしょう。 よろしくお願いします！