Netflixテクノロジーブログから



長年にわたり、Netflixの個人推薦システムの主な目標は、適切な映画を選択し、時間通りにユーザーに提供することでした。 カタログには数千の映画があり、何億ものアカウントで多目的な顧客の好みがあるため、それぞれに正確な映画を推奨することが重要です。 しかし、推薦システムの仕事はこれで終わりではありません。 あなたの興味をそそる新しい、馴染みのない映画について、あなたは何を言うことができますか？ 彼が見る価値があるとあなたに納得させるには？ これらの質問に答えて、新しいコンテンツ、特になじみのない映画を見つけやすくすることが重要です。



この問題を解決する1つの方法は、写真や映画の表紙を考慮することです。 絵が説得力があるように見える場合、それは映画が見る価値があるという刺激と一種の視覚的な「証拠」として機能します。 それはあなたが知っている俳優、カーチェイスのような刺激的な瞬間、または映画やシリーズの本質を伝えるドラマチックなシーンを描くことができます。 ホームページに完璧な映画のカバーを表示する場合（彼らが言うように、写真は千の言葉に値する）、多分、ちょうど多分、あなたはこの映画を選ぶことにします。 これは、Netflixが従来のメディアと異なるもう1つのことです。1つの製品ではなく、1億を超える製品があり、各ユーザーがパーソナライズされた推奨事項とパーソナライズされたカバーを受け取ります 。





カバーのないNetflixフロントページ。 歴史的に、私たちの推奨アルゴリズムはページを見てきました



前の 作品では、 すべてのユーザーの映画ごとに1つの完璧なカバーを見つける方法について説明しました。 多腕バンディットアルゴリズムの助けを借りて、特定の映画やシリーズ（Stranger Thingsなど）に最適なカバーを検索しました。 この写真は、ユーザーの最大数から最大ビュー数を提供しました。 しかし、好みと好みの信じられないほど多様性を考えると、 彼にとって特に重要な映画の側面を強調するために、視聴者のそれぞれに最適な画像を選択する方が良いでしょうか？





SFシリーズ「非常に奇妙なもの」の表紙。それぞれのパーソナライズアルゴリズムが5％以上のインプレッションに対して選択しています。 さまざまな写真がシリーズのテーマの幅広さを示しており、1つの表紙で表示できるものを超えています。



インスピレーションを得るために、カバーをパーソナライズすることが理にかなっているオプションを見てみましょう。 次の例を考えてみましょう。ユーザーごとに、視聴した映画の履歴が異なります。 左側には、ある人が過去に見た3つの映画があります。 矢印の右側には、彼に勧めるカバーがあります。



映画「Good Will Hunting」の個人的な写真を選択してみましょう。 ここでは、ユーザーがさまざまなジャンルやテーマを好む度合いに基づいてソリューションを導き出すことができます。 人がロマンチックな映画をたくさん見た場合、「グッドウィルハンティング」はマットデイモンとミニードライバーの写真で注目を集めることができます。 人が多くのコメディを見た場合、有名なコメディアンのロビー・ウィリアムズの画像を見た後、彼はこの映画に興味があるかもしれません。







別のケースでは、キャストに関するさまざまな好みがパルプフィクションの表紙のパーソナライズにどのように影響するか想像してください。 ユーザーがUma Thurmanで多くの映画を見た場合、彼はUmaの「パルプフィクション」の表紙に積極的に反応する可能性が高くなります。 同時に、ジョントラボルタのファンは、表紙でジョンを見た場合、映画を見ることに興味を持つかもしれません。







もちろん、すべてのカバーパーソナライズタスクがそれほど単純なわけではありません。 したがって、手動で規定されたルールに依存するのではなく、データからの信号に依存します。 一般的に、カバーのパーソナライズの助けを借りて、個々の画像が各ユーザーへの最適な道を切り開くことを支援し、それによりサービスの品質を改善します。

問題

Netflix では、メインページの シリーズ 、 これらのシリーズの映画 、展示ギャラリー、メッセージなど、サイトの多くの側面をユーザーごとにアルゴリズム的に適応させています。 私たちがパーソナライズするそれぞれの新しい側面は、新しい課題を提示します。 カバーのパーソナライズも例外ではありません;ここにはユニークな問題があります。



問題の1つは、ユーザーに表示するために画像の1つのインスタンスしか使用できないことです。 対照的に、一般的な推奨設定では、ユーザーはさまざまなオプションを示すことができるため、選択に基づいて自分の好みを徐々に調べることができます。 これは、写真を選択することは、閉ループの鶏と卵の問題であることを意味します。人は、私たちが彼のために選んだ写真だけで映画を選択します。 私たちが理解しようとしているのは、特定の表紙を見せて人に映画を見るように （またはしないように） 促した とき 、および人が表紙に関係なく映画を見る（またはしない）ときです。 したがって、カバーのパーソナライズは、異なるアルゴリズムを組み合わせます。 もちろん、カバーを適切にパーソナライズするには、特定のユーザーにとってカバーの特定のコピーが他のコピーよりも重要な利点を持っているというシグナルを見つけるために、 大量のデータを収集する必要があります。



別の問題は、さまざまなセッションでユーザーに表示するカバー変更の影響を理解することです。 カバーを変更すると、たとえばユーザーが以前映画に興味があったがまだ視聴していない場合など、映画の認識が低下し、視覚的な検索が複雑になりますか？ または、カバーの変更は、画像選択の改善により、決定の変更に貢献しますか？ 明らかに、この人物に最適なカバーが見つかった場合は、それを使用する必要があります。 しかし、絶え間ない変更はユーザーを混乱させる可能性があります。 どのカバーがユーザーから映画への関心を生み出したかが不明になるため、画像を変更すると帰属の問題が発生します。



さらに、カバーが1ページまたは1セッションでどのように相互作用するかを理解するという問題があります。 主人公の大胆なクローズアップは、ページの他の表紙から際立っているため、映画にとって効果的かもしれません。 しかし、すべての表紙が同様の特性を持っている場合、ページ全体の魅力は失われます。 各カバーを個別に検討するだけでは不十分な場合があり、ページ上またはセッション中にさまざまなカバーを選択することを検討する必要があります。 隣接するカバーに加えて、特定の各カバーの有効性は、この映画で示した他の事実やリソース（概要、予告編など）によっても異なります。 各オブジェクトが映画の追加の側面を強調するさまざまな組み合わせが表示され、視聴者にプラスの影響を与える可能性が高くなります。



効果的なパーソナライゼーションを行うには、各映画に適切なカバーセットが必要です。 これは、クリックベイトを回避するために、魅力的で有益であり、映画を示すさまざまなリソースが必要であることを意味します。 また、映画の画像セットは、コンテンツのさまざまな側面に関心を持つ幅広い潜在的な視聴者をカバーするのに十分なほど多様でなければなりません。 最終的に、特定のカバーがどれだけ魅力的で有益かは、それを見る個人によって異なります。 したがって、映画のさまざまなテーマだけでなく、さまざまな美学も強調するアートワークが必要です。 アーティストとデザイナーのグループは、あらゆる点で多様な写真を作成するために、できる限り努力しています。 作成の創造的なプロセスの間に写真を選択するパーソナライズアルゴリズムを考慮します。



最後に、エンジニアにとっての課題は、大規模にカバーをパーソナライズすることです。 このサイトは画像を積極的に使用しているため、多くの写真があります。 したがって、各リソースのパーソナライズとは、わずかな遅延で1秒あたり2,000万件を超える要求のピーク時に処理することを意味します。 このようなシステムは信頼できるものでなければなりません。UIでのカバーの不適切なレンダリングは、サイトの印象を著しく悪化させます。 パーソナライゼーションエンジンは、新しい映画にも迅速に対応する必要があります。つまり、コールドスタートの状況でパーソナライゼーションをすばやくマスターする必要があります。 その後、発売後、カバーの有効性は時間とともに変化する可能性があるため、アルゴリズムは継続的に適応する必要があります。これは映画のライフサイクルと視聴者の嗜好の変化に依存します。

コンテキストバンディットアプローチ

Netflixの推奨エンジンは、主に機械学習アルゴリズムで機能します。 従来、ユーザーによるサービスの使用に関する多くのデータを収集していました。 次に、このデータパケットで新しい機械学習アルゴリズムを起動します。 次に、ユーザーのランダムサンプルでのA / Bテストを通じて、実稼働環境でテストします。 このようなテストにより、新しいアルゴリズムが実稼働中の現在のシステムよりも優れていることが確認されます。 グループAのユーザーには本番の現在のシステムが与えられ、グループBのユーザーは新しいアルゴリズムの結果です。 グループBがNetflixサービスの作業により深く関与していることを示している場合は、聴衆全体に新しいアルゴリズムを展開しています。 残念ながら、このアプローチでは、下の図に示すように、多くのユーザーは長い間新しいシステムを使用できません。







新しいサービスが利用できなくなる期間を減らすために、オンライン方式を優先してバッチ方式の機械学習を廃止しました。 カバーをパーソナライズするために、特定の機械学習フレームワーク- コンテキストバンディットを使用します。 完全なデータパケットが収集されるのを待つのではなく、モデルが学習するのを待ってから、A / Bテストが完了するのを待つのではなく、コンテキストバンディットが各ユーザーとコンテキストに最適なフィルムカバーの選択をすばやく決定します。 要するに、コンテキストバンディットは、各ユーザーのコンテキストでトレーニング済みモデルを使用する利点を備えた、偏りのないモデルの継続的なトレーニングに必要なトレーニングデータの収集コストを相殺するオンライン機械学習アルゴリズムのクラスです。 パーソナライズなしで最適なカバーを選択する以前の作業では、コンテキストに関係なく最適なカバーを見つけた非コンテキストの盗賊が使用されました。 パーソナライズの場合、特定のユーザーのコンテキストが考慮されます。これは、各ユーザーが各イメージを異なる方法で認識するためです。



文脈上の盗賊の重要な特性は、サービスにアクセスできない期間を減らすことです。 高レベルでは、文脈依存バンディットトレーニングのデータは、トレーニング済みモデルの予測に制御されたランダム化を導入することで得られます。 ランダム化スキームの複雑さはさまざまです。ランダム性が均一に分布している単純なイプシロン貪欲アルゴリズムから、モデルパラメーターの不確実性の関数であるランダム化の程度を適応的に変更する閉ループスキームまでです。 このプロセスをデータ探索と広く呼びます。 検討する戦略の選択は、利用可能な候補者カバーの数と、システムが展開されているユーザーの数によって異なります。 このデータの調査では、各カバー選択のランダム化に関する情報をジャーナルに記録する必要があります。 このジャーナルを使用すると、選択からのゆがんだ逸脱を修正できるため、以下で説明するように、モデルの自律的な評価を公平に実行できます。



ユーザーセッション中にある程度の確率でカバーを選択すると、そのセッションの最適な予測カバーと一致しない可能性があるため、コンテキストバンディットを使用したデータの調査には通常、代償が伴います。 そのようなランダム化は、サイトでの作業の印象にどのように影響しますか（したがってメトリックも）。 1億人以上のユーザーに基づいて、データ損失は通常非常に小さく、大規模なユーザーベースでは減価償却されます。これは、各ユーザーがカタログのごく一部の表紙にフィードバックを暗黙的に提供するためです。 これにより、ユーザーごとのデータを調査するため、損失はわずかになります。これは、ユーザーとサイトとの対話の重要な側面について文脈上の盗賊を選択する際に考慮することが重要です。 コンテキストの盗賊によるデータのランダム化と調査は、損失が大きい場合には魅力的ではありません。



オンライン学習スキームでは、トレーニングデータセットを取得します。トレーニングデータセットでは、関連データセット（ユーザー、映画、カバー）の各要素について、この選択が映画を見るかどうかを決定したかどうかが示されます。 さらに、カバーの選択が頻繁に変更されないように、調査プロセスを制御できます。 これにより、特定の表紙の魅力がユーザーに明確に帰属します。 また、パフォーマンスを注意深く監視し、特定のカバーを推奨するようモデルに教える際にクリックベイトを回避します。その結果、ユーザーは映画を視聴し始めますが、最終的には不満のままです。

モデルトレーニング

このオンライン学習の設定では、コンテキストに応じて各ユーザーに最適なカバーを選択するようにコンテキストギャングモデルをトレーニングします。 通常、各映画には数十の候補カバーがあります。 モデルをトレーニングするために、カバーをランク付けすることで問題を単純化できます。 このように簡略化しても、各候補カバーは1人のユーザーに好かれ、他のユーザーには好まれないため、ユーザーの好みに関する情報が得られます。 これらの設定は、各トライアド（ユーザー、映画、カバー）の有効性を予測するために使用されます。 学習データを使用した最適な予測は、教師を含む教育モデ​​ルまたはThompson Sampling、LinUCB、またはBayesianの評価方法を使用したコンテキストバンディットのバランスが最適です。

潜在的な信号

コンテキストモデルでは、コンテキストは通常​​、モデルへの入力として使用される特徴ベクトルとして表されます。 多くの信号は標識の役割に適しています。 特に、これらは多くのユーザー属性です：視聴された映画、映画のジャンル、特定の映画とのユーザーの相互作用、彼の国、言語、使用されたデバイス、時刻と曜日。 アルゴリズムは映画の推奨エンジンと一緒にカバーを選択するため、カバーに関係なく、さまざまな推奨アルゴリズムが名前を考える信号を使用することもできます。



重要な考慮事項は、いくつかの画像が明らかに、候補プール内の他の画像よりも明らかに優れていることです。 データ調査のすべての画像の合計撮影速度に注意してください。 これらの比率は、単に質の高いビューの数をインプレッション数で割ったものを表しています。 パーソナライズなしでカバーを選択する以前の作業では、観客全体の全体的なパフォーマンス係数に従って画像が選択されました。 新しいコンテキストパーソナライゼーションモデルでは、全体的な係数が依然として重要であり、特定のユーザーのカバーを選択するときに考慮されます。

画像選択

上記のモデルトレーニングの後、各コンテキストで画像をランク付けするために使用されます。 モデルは、特定のユーザーコンテキストで特定のカバーの映画を視聴する可能性を予測します。 これらの確率に基づいて、候補カバーのセットをソートし、最大の確率を与えるものを選択します。 特定のユーザーに表示します。

性能評価

オフライン

コンテキストバンディットアルゴリズムは、オンラインで展開する前に、リプレイと呼ばれる技術を使用してオフラインで最初に評価されます[1]。 この方法では、データ調査ログのエントリに基づいて仮想的な質問に答えることができます（図1）。 言い換えれば、公平な方法で異なるアルゴリズムを使用する場合、異なるシナリオの履歴セッションで発生することをオフラインで比較できます。





図 1.ログのデータに基づいてリプレイメトリックを計算する簡単な例。 各ユーザーにはランダムな画像（一番上の行）が割り当てられます。 システムは、カバー表示と、ユーザーが再生するムービーを起動した（緑の円）かどうか（赤）かを記録します。 新しいモデルのメトリックは、ランダムな割り当てとモデルの割り当てが同じプロファイル（黒い四角）を比較し、このサブセットで成功した起動の割合を計算する（割合を取る）ことによって計算されます。



再生メトリックは、新しいアルゴリズムを使用すると、現在実稼働で使用されているアルゴリズムと比較して、映画を実行するユーザーの割合がどれだけ変化するかを示します。 カバーについては、上記の打ち上げ成功の割合など、いくつかの指標に関心があります。 図 図2は、ランダム選択または非コンテキストバンディットと比較して、コンテキストバンディットがディレクトリ内の開始の割合を増やすのにどのように役立つかを示しています。





図 2：画像データログからのリプレイメトリックに基づくさまざまなアルゴリズムの起動の平均シェア（大きいほど良い）。 ルールランダム（緑）は、1つの画像をランダムに選択します。 単純なBanditアルゴリズム（黄色）は、開始点のシェアが最大の画像を選択します。 コンテキストギャングアルゴリズム（青とピンク）は、コンテキストを使用して、ユーザーごとに異なる画像を選択します。

プロファイルの種類	画像評価A	画像評価B
コメディ	5.7	6.3
ロマンチックな	7.2	6.5

図 3：プロファイルのタイプに応じたコンテキスト画像選択の例。 「コメディ」は、主にコメディに見えるプロファイルに対応しています。 同様に、「ロマンチックな」プロファイルは、ほとんどがロマンチックな映画を視聴します。 コンテクストギャングは、コメディー傾向のあるプロファイル用に有名なコメディアンのロビンウィリアムズの画像を選択すると同時に、ロマンスになりやすいプロファイル用のキスカップルの画像を選択します。

オンライン

多くの異なるモデルでのオフライン実験の後、リプレイメトリックの大幅な増加を示したものを特定し、最終的にA / Bテストを開始して、最も有望なパーソナライズコンテキストバンディットとパーソナライズなしのバンディットを比較しました。 予想どおり、パーソナライゼーションが機能し、主要な指標が大幅に増加しました。 また、オフラインリプレイメトリックスとオンラインメトリックスの間には合理的な相関関係が見られました。 オンラインの結果からも興味深い洞察が得られました。 たとえば、ユーザーが以前に映画に出会ったことがない場合、パーソナライズは大きな効果を示しました。 これは理にかなっています：映画にあまり詳しくない人にとっては表紙がより重要であると考えるのは理にかなっています。

おわりに

このアプローチを使用して、推奨事項およびサイトでカバーの選択をパーソナライズするための最初のステップを取りました。 その結果、ユーザーが新しいコンテンツを見つける方法が大幅に改善されました...だから私たちは皆のためにシステムを展開しました！ この例は、パーソナライズの最初の例であり、ユーザーに推奨するものだけでなく、推奨方法も示しています。 しかし、初期アプローチを拡大および改善する多くの機会があります。 これには、たとえばコンピュータビジョン技術を使用して、新しいカバーと新しいフィルムのパーソナライズが可能な限り迅速に実行されるコールドスタート用のアルゴリズムの開発が含まれます。 別の可能性としては、パーソナライズアプローチを、使用されている他のタイプのカバーや、映画の説明の他の情報フラグメント（あらすじ、メタデータ、予告編）に拡張することがあります。 さらに広い問題があります。アーティストやデザイナーがセットに追加する新しいカバーを決定し、さまざまなタイプの視聴者にとって映画をさらに魅力的にするためです。

参照資料

[1] L. Li、W。Chu、J。Langford、X。Wang、「 第4回Web検索およびデータマイニングに関するACM国際会議 」の議事録の 「文脈バンディットベースのニュース記事推奨アルゴリズムの公平なオフライン評価」、ニューヨーク、ニューヨーク、アメリカ、2011、297-306。