レコメンダーシステム：アドバイスすることはできません（できません）

6か月以上前、見たいものを探して、私はトップの作品に目を通しました。 このレッスンはすでに何度も繰り返されており、退屈することができました。見たくないものは常にスキップしなければなりませんでした。 私は以前imkhonetiを使用していませんでしたし、希望する作品の詳細のためにそれらを信頼しませんでした。 私が検索したサイトでは、視聴した作品のリストを作成し、評価を付けることができました。他のユーザーの評価も利用できました。 それから、私は素晴らしいアイデアを思いつきました。それは後で些細なことが判明したので、他のユーザーの評価を使用して推奨を作成しました。 このアクティビティは協調フィルタリングと呼ばれ、それを実装するプログラムはリコメンダーシステム（RS）と呼ばれます。 振り返ってみると、このトピックでは情報不足とそのアクセス不能のために多くの間違いを犯したことを理解しています。最も重要なことは、MSを非常に過大評価していることです。 この投稿では、MSの主なタイプとアルゴリズムの概要を説明し、私の知識と経験の一部を伝えようとします。



レコメンダーシステムは、ユーザー（ユーザー）とアイテム（アイテム）に関するデータに基づいて、レコメンデーションを提供するプログラムです。

このようなシステムには、情報の取得からユーザーへの表示までのプロセス全体が含まれます。

すべての段階が重要です。 どのアルゴリズムを適用できるかを収集する情報に依存します。 優れたアルゴリズムは、優れた有用な推奨事項を提供します。 結果を評価する基準により、最適なアルゴリズムを選択できます。 そして、ユーザーに適切に提示され説明されない限り機能しません。 アルゴリズムについて説明しますが、システムの残りの部分については忘れないでください。



最初は、タスクは非常に単純に見えますが、このようなアプローチでは、優れたシステムを作成することは困難です。 システムの構築に慎重に取り組む必要があります。 最良のアルゴリズムでも非常に良い結果は得られず、クラスタリングアルゴリズムを適用したり、精度を低下させたりすると、まったく機能しない場合があります。 この分野での経験がない場合-長い研究の準備をするか、まあ、またはSVDを使用してください）

試験データ

データを取得したサイトでは、10ポ​​イントのグレーディングシステム、約100万人のユーザー、3万のアイテムがありました。

もちろん、私と同じように始めることができます。アルゴリズムを使用して実行するだけですが、すぐにこれが悪い考えであることに気付くでしょう。 いくつかのタイプのシステムの実装後、どのタイプを選択するか、何を達成し、改善できるかという疑問が生じます。 これらの質問に答えるには、いくつかの基準に従って結果を評価する必要があります。

すべてのアルゴリズムに対して同等の条件を作成する必要があります。アルゴリズムが予測を行うためにデータを修正し、取得した予測を比較できる参照結果を見つけるために必要です。



さまざまなオプションを使用して多くのアルゴリズムをテストする必要があり、このプロセスを可能な限り高速化することをお勧めします。 すでにアルゴリズムを選択している場合、すべてのデータを使用できますが、その前に、実験を加速するために、それらの一部のみを取得する必要があります。 これはサンプリングと呼ばれる科学でもあります。

私の場合、すべてがシンプルでした-すでに多くのユーザー評価があり、結果が示すように、データの100％、25％、および10％を使用した場合、結果は実質的に変更されなかったため、すべての実験を10％で費やしました。 5つ以上の評価を持つ20万人のユーザー（3万人の評価）のうち、3万人のユーザー（3万人の評価）をランダムに選択しました。 次のアルゴリズムに従って各ユーザーのグレードを2つのセットに分割しました.10を超えるグレードがある場合は、最初の6グレード（時間内に作成）をトレーニングセットに転送し、最後の6グレードをテストセット（参照）に入れ、10未満の場合はテストセットに入れますサンプルの評価は少なくなりました。

性能

調査を実施するには、パラメータを変更して何百回もアルゴリズムを再起動する必要がある場合があり、1つの計算に数時間かかる場合はどうなりますか？ そうです-Terrariaの非常に強いキャラクターですが、それは私の主な目標ではありませんでした。

私はこの言語を最もよく知っているので、最初はすべてのアルゴリズムがPythonで書かれていましたが、Javaで多くを書き直さなければなりませんでしたが、Javaを最大20倍高速に動作させ、OPを大幅に削減しました（主にプリミティブ型と配列による）。 Javaが選択されたのは、知識の点でJavaが2番目にランクされているためです。 おそらく私の問題の解決策は最善ではありません（numpyとscipyでは多くのものがネイティブに実装され、多くの専門的なフレームワークと言語があります）が、私はすべてを自分でやることにもっと興味がありました。

データストレージにはまだ問題がありました-シリアル化は適切ではありませんでした。PythonからJavaへ、またはその逆にデータを転送することが必要な場合があり、SQLは便利ではなかったため、MongoDBに出会いました。 彼女は私にとって完璧でした。 繰り返しますが、これは最良の解決策ではない可能性が高く、おそらく何らかのHadoopを使用する必要があります。

最終的に全データのJavaでのSVDの計算には約10分かかり、2GBのメモリを消費します。 ただし、SVD ++の場合は、すでに約1時間待機する必要があります。

MS評価基準

MSの種類を検討する前に、結果を評価するための基準について話す必要があります。

推奨システムを評価できるさまざまな基準があります-正確性、新規性、驚きの能力、攻撃への抵抗、コールドスタートへの依存、説得力などがありますが、精度は最も重要なものの1つです。 予測が参照結果にどれだけ近いかを示しています。 精度を測定するには多くの方法がありますが、多くはこれに依存するため、慎重に選択することをお勧めします。 最も一般的な方法の1つである平均二乗誤差（RMSE）を計算しました。 アルゴリズムがテストデータに基づいて予測を行った後、次の式を使用してエラーを計算できます。



u-ユーザー

i-アイテム

r-スコア

pは予測推定値です

T-テストスコアの総数

少ないほど良い



将来的には、rmseでアルゴリズムの精度を示します。

実践が示しているように、rmseが少ないことは、常により良いアルゴリズムを意味するわけではありません。 timeSVD ++-1.29アルゴリズムで、知識ベースの推奨システム1.41（ユーザー自身が依存関係を示した）で、最高のrmse結果を達成することができました。 2番目のシステムは主観的に、最初のシステムでは見つけられなかった非常に良いアドバイスをくれました。



基準の詳細については、文献セクションで示した「Recommendation System Handbook」を参照してください。



私の研究の出発点として、予測された評価を各被験者の平均評価として採用した場合に判明する結果を採用しました。その場合、rmseは1.53に等しくなります。 これは、この評価を取得するために実質的に何もする必要がないために行われたものであり、非常に多くの場合、すでにそれを持っています。 この結果をどれだけ超えることができるか見てみましょう。

PCの種類

推奨システムには、主に4つのタイプがあります。

• コンテンツベース
• コラボレーション
• 知識ベース（ナレッジベース）
• ハイブリッド

コンテンツベースのPC

このシステムの主な手順：オブジェクトのコンテンツを分析し、その基準（ジャンル、タグ、単語）のセットを作成し、ユーザーが好きな基準を見つけ、これらのデータを比較し、推奨を取得します。 基準は、ユーザーとオブジェクトを単一の座標系で結合します。ここではすべてが単純です。ユーザーとオブジェクトのポイントが近くにあれば、ユーザーはおそらくオブジェクトを好きになるでしょう。

このシステムの最も単純なタイプの1つはジャンルシステムです。ここでは、基準がジャンルです。

私のジャンルRSは1.48の結果を示しました。これは、平均的な評価を行うよりもわずかに優れています。 しかし、すべてがそれほど悪いわけではありません-ハイブリッドシステムの平均評価と組み合わせたジャンルシステムは、1.40の結果を示しました。 このようなシステムは非常に簡単に作成できます。



このPCの別のタイプは、主題を説明する言葉を使用します。 私が情報を取得したサイトには、主題の説明を含むセクションがあります。 このデータを取得し、1.46の結果として、tf-idfアルゴリズム（2つのテキストの類似性を判断できるようにする）を実行しました。



ご覧のように、基本的なアルゴリズムを使用する場合、このタイプのRSはそれほど正確ではありませんが、他の利点があります。高性能、ウォームコールドスタート、推奨を取得するにはユーザーとアイテムのデータのみが必要です。

多くの場合、これらのシステムは、ユーザーの評価がまだ十分でない場合に、協調フィルタリングの前に使用されます。

また、このタイプのPCについては、Recommendation System HandbookまたはHabrで読むことをお勧めします。

コラボレーティブRS

これらは、他のユーザーからの評価に基づいてユーザーの推奨が計算されるシステムです。 ここには多くのアルゴリズムがありますが、最も人気のあるものは、ユーザー/ユーザー（推定により隣人を探します）、アイテム/アイテム（ユーザーの評価によるオブジェクトの類似性を探します）、およびSVD（自己学習アルゴリズム）です。 それらはすべて、 ユーザー/ユーザー＆アイテム/アイテム 、 SVD 、およびRecommendation System Handbookに記載されています。 コラボレーションPCを作成する場合は、SVDアルゴリズムを参照することをお勧めします。SVDアルゴリズムは、最高の精度、高性能、低メモリ消費を備えています。



ユーザー/ユーザーまたはアイテム/アイテムを選択する場合、ユーザーまたはアイテムのどちらがより重要かを考慮する必要があります。 より多くのユーザーがいる場合、アイテム/アイテムが優先され、逆の場合はユーザー/ユーザーが優先されます。

これらのアルゴリズムの本質は、最近傍を見つけることです。 2人のユーザーまたはアイテムの近接度は、類似性メトリックによって決定されます。

最も一般的に使用されるコサインメトリックまたはピアソン相関。 私のデータでは、両方の方法で同様の結果が得られました。



彼らに会う前に、私は類似性の指標を思いつきました：

sim = cross_count / euclid

sim-結果

cross_count-交差点の数

euclid-ユークリッド距離



私のテストデータでは、ピアソンとコサインよりも優れたパフォーマンスを示しました。 これは、交差点の数の重要性を明確に示しています。 警告します！ 使用できるスカイネットの種類は不明なので、使用する前に、他のメトリックを使用してテストしてください。 将来的には、このメトリックを考慮せずに結果を示します。



ユーザー/ユーザーにとって、私が達成できた最良の結果はピアソン相関を使用することであり、1.49に等しくなりました。 これは、コンテンツシステムよりもさらに悪いです。 主に、ユーザー/ユーザーアルゴリズムはユーザーとの交差点の数を十分に考慮せず、いくつかの推定値に基づいて推奨事項を提示するという事実により、これは交差点の最小数に制限を導入することで対処できます。



アイテム/アイテムの場合、最良の結果はピアソンでも得られました-1.35、これはユーザー/ユーザーよりもはるかに優れています。 その理由は、オブジェクトがはるかに少ないため、2つのオブジェクトの類似度を計算するときに、交差点の評価が多くなるためです。



SVDを初めて実装したとき、その作業に満足し、モデルをトレーニングするときにエラーがどのように減少するかを賞賛して見ました。 私は誰でもそれを実装することに慣れることをお勧めします。

SVD、SVD ++、およびtimeSVD ++の3種類のSVDを試しました。 私の結果は次のとおりです。

SVD-1.30

SVD ++-1.29

timeSVD ++-1.29



ご覧のとおり、これらのアルゴリズムにより最高の精度を実現できます。 これら3つのうち、最も生産性の高いシンプルなSVDを使用することをお勧めします。 他のアルゴリズムでは実行時間が大幅に長くなり、精度はそれほど向上しません。

知識ベースのRS

基本的に、これらは何らかの方法で得られた知識を使用して推奨事項を取得するシステムであり、ほとんどの場合、この知識は手動で追加されます。

私が情報を取得したサイトで、ユーザーは他の同様のオブジェクトをサブジェクトに示すことができました。 このデータに基づいて、アイテム/アイテムのように推奨事項を作成しました。 結果は1.41です。 前に指摘したように、このシステムに気に入った推奨事項の多くは、協調的なアルゴリズムを見つけることができませんでした。



これらのPCの詳細については、Recommendation System Handbookをご覧ください。

ハイブリッドRS

これらのシステムは、上記のアルゴリズムのいくつかを1つに組み合わせます。 それらにはいくつかのタイプがありますが、私は深く掘り下げることはせず、重み付きの単純な式を使用しました。

res = w1 * a + w2 * b

w1-アルゴリズムaの重み

w2-アルゴリズムbの重み

ここで、重みは常に一定ですが、w = f（x）の形式、つまり一部のパラメーターに依存することが望ましいです。

平均グレードとジャンルアルゴリズムの小さな例を次に示します。

w1 w2-rmse

0.2 0.8-1.4330

0.3 0.7-1.4173

0.4 0.6-1.4092

0.45 0.55-1.4083

0.5 0.5-1.4095

0.6 0.4-1.4180

0.7 0.3-1.4347



ご覧のとおり、1.5の精度を持つ2つのアルゴリズムにより、1.40の精度を得ることができました。



ハイブリッドシステムw1 *（アイテム/アイテム）+ w2 *（SVD）で最良の結果を得ることができました。ここで、w1 = 0.5およびw2 = 0.5です。 RMSEは0.01減少しました。 この結果は、NetFlixコンテストの勝者-BellKorが受け取ったものと矛盾しません。 勝つために、彼らは27個のアルゴリズムのハイブリッドを使用しました。 これにより、0.86の精度を達成することができ、1つのSVDの使用は0.88でした（5ポイントシステムがあるため、エラーは私の2倍少ないので、10ポイントあります）。 彼らの場合、それは必要でした、私の意見では、それは完全に正当化されませんでした、生産性が低下して、複雑さが増して、結果の改善は重要でないからです。

最高のハイブリッドを使用できます。これにより、システムが大幅に複雑になることはありませんが、精度がわずかに向上します。



ハイブリッドシステムの詳細については、Recommender Systems Handbookをご覧ください。

文献と参考文献

MSについて3冊の本があります。

集団知能のプログラミング

Netflix賞の前に書かれたため、すでに時代遅れです。 Pythonには例があります。



レコメンダーシステム

中程度の難易度、MS全般についての詳細。 次の本よりも詳細に書かれているものもあります。 アルゴリズムの説明があります。 コード例はありません。



レコメンダーシステムハンドブック

MSに関する最高の本、すべてがここにあります。 アルゴリズムはよく説明されていますが、実装例はありません-側で探す必要があります。



インターネット上の情報：

ハブにはSurfingbirdというブログがあり、PCについてよく書いています



BellKorの共同フィルタリングコンテンツを強くお勧めします。

BellKor-この情報の一部は、Recommender Systems Handbookに掲載されています



協調フィルタリング用のオープンソースライブラリ、C＃がまだあります。

MyMediaLiteレコメンダーシステムライブラリ

おわりに

これらの実験の後、SVDに基づいたシステムを実装しましたが、その助けを借りて受け取った推奨事項には多くの不満があり、しばしば見逃しています。



MSについて少し読んだ後、最初は「以前はこれなしでどうやって生きていたのか？」と思いましたが、後になって、最も先進的な方法でさえ結果が弱く、選択を完全に委ねる方法がないことがわかりました。 広範な研究を行った後、私は頻繁に使用されるシステムを作成することができず、最も重要なことは信頼できるシステムを作成できなかったため、研究を続けます。



この分野はまだ20年前ではありません。活発に開発されており、自分で証明できる多くのタスクがあります。

これは非常に興味深い問題です。その後、データマイニングに興味を持ち、いくつかの機械学習コースに登録しました。何が起こるか見てみましょう。