このストーリーの目的は、 imhonet.ru推奨サービスの開発時に作成者が取り組んだ問題を解決する方法を共有することです。 この問題は純粋に科学的および技術的なものではなく、むしろ技術とビジネスの交差点にあり、通常の技術レポートよりも幅広い読者に役立つ可能性があるため、この形式を選択して作品を発表しました。 ストーリーの最初の部分は、レコメンダーシステムのアルゴリズムの品質を正しく測定する方法のかなり詳細な正当化に当てられています。 そして最後に、特定の問題を解決するためにこれらの測定を実行したいくつかの例を実例で示します。

推奨されるメトリックの問題

推奨システムは、特定のビジネス上の問題の解決に役立ちます。 そして、結果はビジネスタスクに理解できる方法で測定されます-訪問者の数、売上、CTRなど。 ただし、この方法での推奨アルゴリズムの品質は測定するのが難しすぎます-膨大な数の条件に依存し、その中で推奨アルゴリズム自体が10番目のものであることがわかります。









推奨アルゴリズムの正式な数値基準は、ビジネスタスクとは別に開発者が考案する必要があることがわかりました。 その結果、レコメンダーシステムでの作業は、さまざまな有用な数値メトリックでいっぱいになりますが、解決されるタスクに関しては非常に洗練されている場合があります。



以下で説明する最適なアプローチは、ビジネスタスクのメトリックを直接構築することです。 これは言うよりも簡単であることが明らかなので、議論は特定の例に焦点を当てます。これはimhonet.ru映画アドバイザリーサービスでどのように行われるかです。 このアプローチは映画で具体的にテストしましたが、かなり抽象的であり、次のストーリー全体で映画という言葉を別のものに置き換えることで見ることができます。

サービス製品とユーザーのフィードバック

サービス製品-推奨映画のパーソナライズされたリスト。 フィードバックは非常に正確であり、したがって価値があります-これらの映画の直接評価：









このような良いフィードバックを最大限に活用するのは理にかなっています。 評価は、用語の便宜上、「満足のシグナル」と呼ばれることがあります。



問題のタスクは、特に1つの要素ではなく、推奨事項のリストに特化したのはなぜですか？ そのため、検索エンジンがリンクのリストを発行する理由：リクエストの完全なコンテキストを知りません。 完全なコンテキスト（たとえば、ユーザーの頭の内容）を知っていれば、おそらく唯一の結果が意味をなすはずです。そうでなければ、作業の一部がリクエストの作成者に残ったままになります。

推奨事項と評価

ユーザーのフィードバック-評価と、推奨される要素のリストを比較します。









次の状況を考慮する必要があります。

• ヒット -映画が推奨され、肯定的な評価がある
• ミス -映画は推奨されましたが、評価はマイナスです
• 推奨されているが評価されていない -映画は推奨されたが、評価されていない
• 評価されているが推奨されていない -映画の評価はプラスですが、推奨されませんでした

それらを順番に見ていきましょう。



ヒット







映画が人に推薦され、彼からの肯定的な信号があれば、私達は確かにそれを得た。 私たちが興味を持っているのはまさにそのような場合です。したがって、それらを成功と呼び、その数を最大化します。



ミスした







推奨され、負の信号を受け取った映画は、避けるべきケースの一例です。 そのようなケースを回避することは、成功ケースの数を最大化するよりも重要である可能性さえあります。



これは少し予想外ですが、実際には、そのような場合は単に無視できることが示されています-ネガティブシグナルが、ある健全な推奨システムによって与えられた推奨リストの要素と一致する確率は、メトリックの値に大きく影響するには小さすぎることが判明しました。 したがって、このケースを特に考慮する必要はありません。 これは、メトリックが負の評価の影響を受けないことを意味します。 より正確には、負の評価は、単にユーザーからの評価がないことと同等になります（これは少し後で完全に明らかになります）。



推奨されているが評価されていない







映画が推奨されたが、肯定的なシグナルがない場合、これは何の意味もないようです。 なぜそれが起こったのか誰が知っている-人は映画を見たり評価したりできなかった。 しかし、観客全体、つまり信号の全体の観点から、これらは何らかの理由で映画が人にとって高い評価に値しない可能性が明らかな成功の場合よりも明らかに高い場合です。 したがって、この場合も否定的と見なされますが、この確率がどれほど高いかを評価することは非常に困難です。 つまり、否定性の程度を確立することはできません。 結果として、何も起こらなかったと仮定し、ケースを明示的に考慮しないのは理にかなっています。 実際には、これらのケースのほとんどは-最初に、私たちは常にいくらかの過剰を助言する必要があります（つまり、 N _recの値にマージンをとる）、そして第二に、ほとんどの人は、原則として、見られた各映画に推定値を付けません（t .e。、彼らの評価の一部しか見られません）。



定格ですが推奨されません

逆の場合-映画は推奨されませんでしたが、肯定的なシグナルがあります。つまり、推奨者は成功数を増やす機会を逃しました。 そのような機会が発生する限り、結果を改善できます。









推奨事項にすべての正の信号が含まれている場合、システムの精度は最大になります-改善するものはこれ以上ありません。









したがって、このスキームでは、推奨事項の品質を改善すると成功数が増加することがわかります 推奨リスト（サイズ、 N _recは固定）。

精密メトリック

成功回数だけではなく、精度（p）の値、つまり 割る -N _recによる成功の数、本質的には何も変わりません：成功の数の代わりに、定数で割ることによってのみ異なる値を最大化します：









しかし、後で見るように、この区分により、メトリックの問題の非常に重要な側面、つまりリスト内の推奨の順序に対するメトリックの依存性を考慮することができます。 さらに、値pには、確率論的言語で記述できる明確なロジックがあります。 人が私たちの製品を消費する、つまり、推奨リストのすべての要素を調べると仮定します。 次に、 pは、このリストで適切な要素を見つける確率を意味します-将来的に彼を満足させる要素です。 ユーザーuの 精度をp _uとして示します。









この式を、ユーザー（ Users ）のオーディエンス全体（または測定サンプル）に一般化するのが適切です。









誰もが自分のリストを見て必要なものを選択し、 P _Nrecはすべてのケースの成功の平均確率を示します。 価値 右側は、サンプル全体の成功の総数です。

割引き

これまで、要素のリストを全体として評価しましたが、その始まりが尾よりも重要であることをよく知っています。 とにかく、リストが短すぎない場合。 これを考慮し、したがってリスト内のアイテムの順序に依存するメトリックは、割引と呼ばれます。 リストの先頭は、ユーザーの注意が不均等に分布しているため、テールよりも重要です。ほとんどの場合、最初の要素を見る人が多く、1番目と2番目の人を見る頻度は低いなど これは、適切な割引を行うために、何らかの行動モデルが必要であることを意味します。 そして、このモデル（トレーニング）をサポートできるデータ。



最初の要素から順番に要素を表示し、特定の瞬間にこれをやめる平均的なユーザーを想像します。









特定のユーザーを特定することはできません。 同じ人が2つのアイテムのリストを表示したい場合もあれば、20のリストを表示したい場合もあります。



各要素から次の要素への遷移の平均確率を取得できればいいのですが、十分なデータがあり、少し簡単です。



任意の人が任意の妥当な_Nの長いN個の要素のリストを調べる機会があると仮定します。その後、完全な確率式を使用してP _Nの値を平均できます。つまり、 P _Nはオーディエンスのその部分の成功確率の平均値を意味します長さNのリストをスキャンしました。 用語では、次のようになります。









精度とは異なり、 AUC値は、より現実的な条件での個人的な推奨リストの成功の平均確率を推定します-注目が不均一に分散している生きている人々によってリストが表示される場合。 AUC値を取得するために、 N _rec （推奨リストのサイズ）に対するP _Nrec （ precision ）値の依存性を使用したことに注意してください。これは少し前に修正しました。

AUCとは何ですか？

AUCという用語は、 リコール積分による精度 も指します。これは、分類子の品質指標として使用されることもあります。



私たちが行った合計は、ある意味でそのようなメトリックの類似物です_。Nrecの異なる値を使用して、 Recallの異なる値をモデル化します。







これは、ROC曲線を精密リコール座標でプロットする（すでに古典的な）例です。

重みwNの値をすばやく評価する方法は？

w _Nの値を推定するための単純で広範なモデルがあり、遷移の確率分布全体を処理することはできませんが、 w _Nの値の質的に正しい動作を提供します。









Qモデルの唯一のパラメーターは、任意のユーザーがリストの次のページに移動する確率です（ページネーションWebログから簡単に取得できます）。 ページにそれぞれm個の要素が含まれており、同じ確率pを持つユーザーが次の要素に移動する、つまり各要素に（1-p）の確率を残すと仮定します。 pは 、関係Q = p ^mから簡単に得られます。 （最初の要素が確率1で表示されると仮定した場合）次に、人がN個の要素を見てから離れる確率w _Nが必要です。計算は簡単です。









実験では、ページは50個の要素で構成され、 Q値は0.1でした。 _Nに対するw _Nの依存関係は次のようになります。

評価の価値と「満足」

これまでのところ、正の信号の事実のみを使用し、その大きさがあるという事実を無視しました。 明らかに、この情報を無視することは不公平です。 グレーディングスケールが適切に選択されている場合、信号の大きさは、平均して、人の満足度に比例する必要があります。









このロジックに従って、現在のメトリックで置き換えます：









...成功カウンター （より有益な）肯定的なポイントの量：









S _Nrec-多くの成功した評価、つまり、 。 スケールのプラス部分は6ポイントで始まるため、（便宜上）すべてのrレーティングから5を引きます。



なぜこれを行うことができますか？ メトリックにおけるプラスのポイントの役割を少し異なる方法で想像することができるためです。









これは、 N _recの長いリストを表示する視聴者の平均正のスコアです。 また、長さの異なるリストがほぼ同じ人によって表示されると想定したため、メトリックの増加は、すべてのユーザーのボトムが原因でリストのトップの平均スコアを増加させるアルゴリズムの能力にのみ依存します。



成功の確率と成功の場合の平均スコアの積は、推奨アルゴリズムが達成できる満足度の合計と呼ぶことができます。 つまり、メトリックは純粋に確率論的な解釈を失いますが、現在の目標にはより適しています。 （ AUC ^rの数値は任意であることに注意してください。実際、これはフィードバックのポジティブポイントの特定の数であり、サンプルのサイズ、視聴者のアクティビティ、選択したユーザーの行動モデルなどに依存します。）



2つの推奨アルゴリズムが、要素の順序がわずかに異なるトップリストを生成したとします。 最初のケースでは、実際のユーザー評価は次のように配布されました。









そして、次のように、









アカウンティングおよび評価の値と割引を同時に使用することで、 AUC ^rはそれらを合理的かつ定量的に区別できます。

長い尾と短い頭

映画は、他のメディア製品と同様に面白い特徴を持っています：人気による要素の分布は非常に不均一であり、多くの人々に知られ評価されている映画はほとんどありません-これは短い頭であり、大多数は比較的少ないことが知られています-これは長い尾です。



たとえば、imhonet評価の分布は次のようになります。









この分布は短いヘッドの点で非常に急峻であるため、信号の合計では、そこからのフィルムが支配的であり、メトリックへの寄与の80％以上を与えます。 これにより、数値が不安定になります。 短い頭から数個のオブジェクトのみが上位に表示されるようになると、メトリックの値が劇的に変化します。



あなたの好奇心に先立ち、グラフの短頭部分の特徴は対数座標で修正できることに注意してください：







このような座標は、たとえば、自然言語の単語の頻度分布を記述するために使用されます。



推奨システムの目標は効果的な個人化であることを思い出してください。 彼女は確かにスキルに関連付けられています

ロングテールからアイテムを選択します。 ショートヘッドの要素は一般に誰にでも知られています。つまり、推奨事項に含める必要はほとんどありません。





したがって、堅牢なソリューションは、メトリック内の短いヘッドの重量を単純に減らすことです。 正しく行う方法は？ 実際には、メトリックの問題から始まります。数値の不安定性は必然的に感度の低下につながります。 メトリックが区別し、その中で最大の感度を達成する必要があるテストケースをシミュレートします。 基準点として、サンプルからユーザーについて何も知らない状況を取り上げます。 その場合、推奨事項の個人リストはすべて同じになり、映画の評価に対応します。 この映画の評価を作成するために、評価全体に基づいて計算された映画が高く評価される単純な確率を使用します。 たとえば、映画の任意のレーティングが5ポイントを超える可能性があります。









（計算については、もちろん、ラプラスルールに従ってこの確率を修正します。そして、推定値を考慮することができます。）



幸いなことに、評価に加えて、サンプルでは、​​性別、年齢、好きなファンタジー、またはその逆など、アンケートで示すさまざまな追加情報をユーザーについて知っています。 たとえば、性別はわかっています。 次に、1つの一般的な2つの異なる推奨リストの代わりにビルドできます。 ベイズ確率式を使用してこれを行います。









ここでは、基準点P（r> 5）の確率が先験的に機能します。 2つの異なる推奨リストが1つよりも優れているため、メトリックの値の増加を期待する権利があります。







相対的な増加を評価する方が便利です。









ムービーの設定に不可欠なユーザーに関する他の情報を使用する場合も、メトリックの増加が発生するはずです。 ゲインが大きいほど、この情報に対する感度が高くなります。 セックスに関する特定のケースに関心がないため、再トレーニングしないように、視聴者を分割するさまざまな方法でAUCの増加を平均します。 この実験では、アンケートのユーザーの回答を40の異なる質問に使用しました。



次に、最適化タスクがどのようなものかを書きましょう。これにより、必要なメトリックが見つかり、最適な感度が得られます。 基本的な考え方は短い頭からのアイテムの重量を減らすことであることを思い出してください。 要素の短頭ペナルティの原因となる関数はσで示されます。 最大の感度を提供する関数σが必要です。









ここで、 Gはオーディエンスセグメンテーションメソッドのセットであり、セグメントに対応する推奨計算があります。



効果的であることが判明した単純な実験では、 σとしてステップ関数（シグモイドの近似）を使用しました。これは、 短い頭の重みを単純にゼロにします。





これは、最適化の問題：









単一のパラメーターσについて解く必要があります。このパラメーターは、評価の数でソートされたフィルムのリスト内のステップの位置を決定します。 たとえば、最適化中に起こったことは次のとおりです。





左側-要素が多すぎます。 右側-誰も罰金を科されません。 最適な位置（40枚のフィルムに微調整）で、メトリックの感度は〜20％向上します。

要約：計算式

上記のすべてのロジックを考慮したメトリックの最終形式を示します。 AUC ^rメトリック：

• 推奨が成功する可能性（ 精度 ）として、事後的に行われたユーザー評価に基づいて、個人の推奨リストの品質を測定します。
• リスト内の要素の順序に敏感であるか、より正確には、単純な行動モデルに従って割引されます-ユーザーによる推奨事項を上から下へ順番に表示します。
• 肯定的な評価の値を考慮に入れるため、 成功の集中だけでなく満足度も測定できます。
• ショートヘッド/ロングテールの問題を正しく処理する-感度を最適化するような方法でショートヘッド要素を微調整します。

次のように記述できます。

• N _rec-推奨リストの長さ
  
  
• zは、 精度値を合計するための制約です。 長いリストの場合、 精度値は因子WN _recと同様に非常に小さいため、十分に大きいzはメトリックに影響を与えず、それを選択するのは簡単です。
• |ユーザー| -サンプル内のユーザー数、
• WN _rec-ランダムなユーザーが正確にN _rec長いリストを見る確率の推定値。
  
  
• S _Nrec-推奨事項のリストの長さがN _recの場合、多くの成功した評価、
• σ（i）は、要素iのペナルティ関数（ short-head ）の値です。
• r _uiは、要素iがユーザーuから受け取ったスコアです。

ここで別の興味深い点に注意します。 評価のあるすべてのユーザーは、 AUC ^rの式を等式で入力します。 ただし、評価尺度をさまざまな方法で使用できる場合もあります。多くの人が高い点を付けたり、逆の場合もありますが、高い点を与えることはめったにありません。 これは、メトリックでr推定値の直接値を使用すると、2番目のユーザーからの寄与が減少するため、最初のユーザーからの寄与が高くなることを意味します。 方法は、さまざまなタイプのユーザーが行った評価が比較可能な正規化されたスケールを導入することです。 しかし、実際には、大きなサンプルで作業する場合、この効果は無視できることが判明しました。 主な理由は、スケールの使用タイプが個人の嗜好と相関しないため、 AUC ^rの計算時に発生する聴衆全体の平均化は、正規化スケールの使用と同じ効果があるためです。

いくつかのケーススタディ

メトリックを使用した実用的な例を次に示します。 imhonet.ru推奨システムの機械学習モデルを使用しました。アプリケーションの詳細はここでは省略します。ターゲットメトリックがAUC ^rである問題を解決した結果を単に示します。 推奨システムの特定の問題は、コールドスタートの問題です。 次の2つのタイプがあります。

• 初心者。 すぐに彼を正確な推奨事項と考え始める必要があります。
• ノベルティ アイテムをユーザーに正確に推奨することをすぐに開始する必要があります。

評価を与える人が多いほど、彼の推奨事項のリストはより正確になります。 この依存性（赤い線）を、全体的な評価を与えるメトリック値（ AUC ₀ 、黒い線）と、 性別と年齢のみを使用して推奨事項を与えるときのレベル（オレンジ色の線） と比較します。







性別と年齢に関する情報は、5つの評価とほぼ同じです。



アンケート。 普通の人が要素の評価の形で好みをすぐに定式化することは必ずしも容易ではないので、初心者には「アニメが好きですか？」、「アクションが好きですか？」などの簡単な質問に答えることをお勧めします。 この目的のために、私たちはそのような質問を数百件提起しました。 それらの使用が何をもたらすかを見てみましょう：







質問はそれほど有益ではありませんが、数値による評価をするよりも答える方がはるかに簡単なので、まだ有益です。たとえば、10の評価は25の答えに相当します。



別のセクションからの推奨プロファイル。人は、別のセクションの要素の評価からプロファイルをすでに編集していることがあります。異なるセクションの設定に関連がある場合は、それを使用してみることができます。この例では、アートブックの評価のプロファイルについて、映画の推奨事項を示しています。







質問を使用するよりも悪い結果になりますが、特定の効果を修正できます。



ノベルティ。ユーザーが製品の評価を開始する前に、新しい製品の推奨を開始できるようにするためには、非常に必要です。これは、映画に関する発信データに基づいてのみ実行できることは明らかです。推奨システムでは、推奨に重要な影響を与える映画の特性は次のとおりです。

• ジャンル
• 取締役
• 俳優
• 脚本家

このメタデータにより、「良い」ユーザー（初心者ではない）が既に27の評価を与えているかのように映画の推奨を開始できます。







これは悪くありません。



ご清聴ありがとうございました！