推奨システムに精通している

こんにちは、Habr！



定期的に触れている機械学習とニューラルネットワークのトピックに戻りましょう。 今日は、推奨システムの主なタイプ、その利点と欠点についてお話します。 Under the cut-Toby DeigleによるPythonコードに関する興味深い記事、



猫の上-Arthur KadurinおよびEkaterina Arkhangelskayaと共同執筆した著書「 ディープラーニング、ニューラルネットワークの世界への没入 」の素晴らしい作家、セルゲイニコレンコの素晴らしいプレゼンテーションへのリンクです。 プレゼンテーションでは、推奨システムの主なタイプとその作業の原則について説明します。



読んでコメント！

多くの人がアドバイスを受けますが、それを使用できるのは賢明な人だけです。 -ハーパー・リー

推奨システムは、思考を読んでいるかのように、多くの魔法のアーティファクトのように見えます。 少なくともNetflixの推奨エンジンが新しい映画を教えてくれるか、Amazonサービスが私たちにあなたが好むかもしれない製品を提供していると考えてください。 開始以来、そのようなツールは改善され、研ぎ澄まされ、それらを使用するのがより便利になりました。 しかし、推奨エンジンの多くは非常に複雑なシステムですが、基本的にその設計は非常に簡単です。



推奨システムとは何ですか？



レコメンダーエンジンは、ユーザーに興味のある要素をユーザーに提供するコンテンツフィルタリングシステムのサブファミリーです。 推奨事項は、設定とユーザーの行動に基づいて選択されます。 システムは、この要素またはその要素に対するあなたの反応を予測し、あなたが好むかもしれない他の要素を提供する必要があります。



推奨システムを作成する方法は？



推奨システムをプログラミングする場合、多くの方法が使用されますが、最も頻繁に使用される3つの最も簡単な方法について説明します。 コラボレーションフィルタリング、コンテンツベースのフィルタリング、そして最後にエキスパートシステム（知識ベースのシステム）について説明します。 各システムについて、その弱点、潜在的な落とし穴、およびそれらを回避する方法について説明します。 最後に、最後の記事では、推奨エンジンの本格的な実装を紹介します。



協調フィルタリング







これらの方法の最初のコラボレーションフィルタリングは、最もシンプルで効果的な方法の1つです。 この3ステップのプロセスは、ユーザー情報の収集から始まります。 次に、関連付けを計算するためのマトリックスが構築され、最後に、非常に信頼性の高い推奨事項が作成されます。 この方法には、主に2つの種類があります。検索に関与するユーザーに基づくものと、このカテゴリまたはそのカテゴリを構成する要素に基づくものです。



カスタム協調フィルタリング



この方法の基になっている考え方は、ターゲットユーザーの好みに似た好みを持つユーザーを探すことです。 以前のジャン=ピエールとジェイソンがいくつかの映画に同様の評価を与えた場合、彼らの好みは似ていると信じており、ジャン=ピエールが付けた特定の映画の評価によれば、ジェイソンの未知の評価を推測することができます。 たとえば、ジャン=ピエールが映画「 ジェダイの帰還 」と「 帝国の逆襲 」を気に入っており、ジェイソンが映画「 ジェダイの帰還 」を気に入っているなら、間違いなくジェイソンと映画「 帝国の逆襲 」を伝えるべきです。 原則として、Jasonの興味を予測するには、似たような好みを持つ複数のユーザーを見つける必要があります。







各行がユーザーに対応し、各列が映画に対応する表では、マトリックス内の行間の類似性を見つけるだけで、共通の関心を持つユーザーを探します。



ただし、このような実装には多くの問題が伴います。

• ユーザー設定は時間とともに変化します。 その結果、システムは多くの無関係な推奨事項を生成できます。
• ユーザー数が多いほど、推奨事項の生成に時間がかかります
• ユーザーフィルタリングは、攻撃者がシステムをだまし、一部の製品の評価を他の製品と比較して偏って増加させる場合、 不正行為に対して脆弱です。

アイテムによる共同フィルタリング



プロセスは簡単です。 2つの要素の類似性は、ユーザーが設定した評価によって計算されます。 ジャン=ピエールとジェイソンの例に戻りましょう-私たちが覚えているように、どちらも映画「 ジェダイの帰還 」と「 帝国の逆襲 」が好きでした。 最初の映画を高く評価したほとんどのユーザーは、2番目の映画を好むと結論付けることができます。 したがって、映画「 ジェダイの帰還 」が好きだったラリーによる映画「帝国の逆襲」を提案することは重要です。



したがって、類似性は行ではなく列によって計算されます（上記のユーザーと映画のマトリックスから明らかです）。 多くの場合、カスタムフィルタリングに固有のすべての欠点がないため、要素による協調フィルタリングが好まれます。 まず、システムの要素（ここでは映画）は時間とともに変化しないため、推奨事項の関連性が高まります。 また、通常、要素はユーザーよりもはるかに少ないため、このフィルタリングを使用したデータ処理は高速です。 最終的に、そのようなシステムはだましにくいです。



コンテンツ推薦システム







コンテンツ推奨システムでは、各要素に割り当てられた属性に基づいて推奨が策定されます。 「コンテンツ」という用語は、特にこれらの説明を指します。 たとえば、ソフィーの音楽的興味の歴史を勉強すると、彼女は田舎のジャンルが好きであることに気付くでしょう。 したがって、システムは彼女のカントリースタイルの作曲だけでなく、同様のジャンルの作曲を推奨できます。 より複雑なシステムでは、複数の属性間の関係を識別し、より適切な推奨事項を提供できます。 そのため、 Music Genome Projectの Webサイトでは、データベース内の各曲は450の異なる属性で分類されています。 このエンジンに基づいて、 Pandora Webサイトの音楽推奨システムが機能します。



専門家推薦システム



エキスパートレコメンダーシステムは、住宅、車、金融資産、高価な高級品など、あまり購入されないアイテムを扱うのに特に適しています。 このような場合、商品の評価の欠如により、推奨プロセスは複雑になります。 エキスパートシステムでは、推奨は評価に基づいて提供されるのではなく、ユーザーの要件と製品の説明の類似性に基づいて、またはユーザーが目的の製品を指定するときに設定した制限に基づいて提供されます。 したがって、このタイプのシステムは、クライアントが必要なものを明示的に示すことができるため、一意であることがわかります。 制限については、一般に適用される場合、通常、そのような制限は最初から知られており、この主題分野の専門家によって実装されています。 たとえば、この価格カテゴリで不動産を探していることをユーザーが明示的に示している場合、システムはオプションを選択するときにこの仕様に焦点を当てる必要があります。



推奨システムのコールドスタートの問題



推奨システムに関連する最も重要な問題の1つは、通常、利用可能な評価の初期数が少ないことです。 新しいユーザーがまだ映画を評価していない場合、または新しい映画がシステムに追加された場合はどうすればよいですか？ このような場合、従来の協調フィルタリングモデルを適用することは困難です。 コンテンツメソッドとエキスパートシステムは、コラボレーティブモデルよりもコールドスタートの問題に自信を持って対処しますが、常に利用できるとは限りません。 そのため、そのような場合には、たとえばハイブリッドシステムなど、多くの代替ソリューションが開発されました。



ハイブリッドレコメンダーシステム



そのため、上記のさまざまな推奨システムにはすべて長所と短所があり、これらのシステムが提供するオプションは異なるソースデータに基づいています。 一部の推奨エンジン、特にエキスパートシステムは、使用可能なデータ量が限られている状況で最も効果的です。 協調フィルタリングなどの他のシステムは、大量のデータがある環境で最適に機能します。 多くの場合、データが多様化すると、異なる方法を使用して同じ問題を解決できる柔軟性があります。 したがって、いくつかの方法で得られた推奨事項を組み合わせて、システム全体の品質を向上させることができます。 以下を含む多くの組み合わせ技術が調査されました。

• 重み付け：異なる方法で取得された推奨には異なる重みが割り当てられます。つまり、一部の推奨は他の推奨よりも好ましいと見なされます。
• 混合：1つまたは別のクラスを明示的に優先することなく、一般的な推奨セット
• 拡張：あるシステムからの推奨事項が次のシステムへの入力として使用され、以下同様にチェーンで使用されます。
• スイッチ：ランダムメソッド選択

最も有名なハイブリッドエンジンの1つは、 Netflix賞コンテストで知られるようになり、2006年から2009年まで実行されたシステムです。 プロジェクトの目標は、ユーザーに新しい映画を提供するNetflix Cinematch推奨エンジンを改善することであり、目標はヒットの精度を少なくとも10％高めることでした。 Bellkor Pragmatix Chaosチームは、107種類のアルゴリズムを組み合わせたソリューションで100万ドルの賞を受賞しました。 彼らのプログラムはCinematchの精度を10.06％向上させました。 参考：精度とは、映画の現在の評価がそれに与えられたその後の評価と一致する度合いです。



AIはどうですか？



紹介システムは、人工知能のコンテキストでよく使用されます。 ヒントを与えたり、イベントを予測したり、相関を強調したりする機能は、すべてAIを使用した結果です。 一方、レコメンダーシステムの実装では、機械学習手法がよく使用されます。 たとえば、Arcbeesは、ニューラルネットワークとIMdBから取得したデータに基づいた効率的な推奨エンジンを作成しました。 ニューラルネットワークを使用すると、複雑な問題をすばやく解決し、ビッグデータを簡単に操作できます。 フィルムのリストを入力として取得し、出力をユーザーの評価と比較することにより、ネットワークはルールを学習し、ルールに基づいてガイドされ、特定のユーザーが追加できる評価を予測できます。



専門家のアドバイス



このトピックに関する資料を読んでいると、専門家からの2つの優れたヒントが見つかりました。 第一に、推奨エンジンの操作の基本資料は、ユーザーが喜んで支払うような要素でなければなりません。 この場合、ユーザーからの評価が非常に正確で関連性があることを確認できます。 第二に、単一のアルゴリズムではなく、アルゴリズムのセットに依存する方が常に良いです。 その好例がNetflix賞です。



要素の選択に基づく推奨システムの実装



次のコードは、協調フィルタリングを使用する推奨エンジンを簡単かつ迅速に実装できることを示しています。 コードはPythonで書かれており 、ここではPandasライブラリとNumpyライブラリが使用されています。このセグメントで最も人気のあるライブラリの1つです。 映画の評価がデータセットとして使用され、多くのデータがMovieLensで利用可能です。



ステージ1：類似の映画を見つける



データを読む

import pandas as pd ratings_cols = ['user_id', 'movie_id', 'rating'] ratings = pd.read_csv('u.data', sep='\t', names=ratings_cols, usecols=range(3)) movies_cols = ['movie_id', 'title'] movies = pd.read_csv('u.item', sep='|', names=movies_cols, usecols=range(2)) ratings = pd.merge(ratings, movies)      X movieRatings = ratings.pivot_table(index=['user_id'],columns=['title'],values='rating')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

映画を選択し、この映画と他の全員との類似性（相関）のインデックスを生成します

 starWarsRatings = movieRatings['Star Wars (1977)'] similarMovies = movieRatings.corrwith(starWarsRatings) similarMovies = similarMovies.dropna() df = pd.DataFrame(similarMovies)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

人気のない映画を削除して、システムが不適切な推奨をしないようにします

 ratingsCount = 100 movieStats = ratings.groupby('title').agg({'rating': [np.size, np.mean]}) popularMovies = movieStats['rating']['size'] >= ratingsCount movieStats[popularMovies].sort_values([('rating', 'mean')], ascending=False)[:15]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ターゲットに似た人気映画を取得する

 df = movieStats[popularMovies].join(pd.DataFrame(similarMovies, columns=['similarity'])) df.sort_values(['similarity'], ascending=False)[:15]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステージ2：評価に応じてユーザーの推奨を提供します



フィルムの各ペアで類似性インデックスを生成し、人気のあるもののみを残します

 userRatings = ratings.pivot_table(index=['user_id'],columns=['title'],values='rating') corrMatrix = userRatings.corr(method='pearson', min_periods=100)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ユーザーが表示および評価した映画ごとに推奨事項を生成します（ここではユーザー0のデータ）

 myRatings = userRatings.loc[0].dropna() simCandidates = pd.Series() for i in range(0, len(myRatings.index)): #  ,     sims = corrMatrix[myRatings.index[i]].dropna() #        ,        sims = sims.map(lambda x: x * myRatings[i]) #       simCandidates = simCandidates.append(sims) simCandidates.sort_values(inplace = True, ascending = False)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

同一のフィルムの性能を要約する

 simCandidates = simCandidates.groupby(simCandidates.index).sum() simCandidates.sort_values(inplace = True, ascending = False)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ユーザーがまだ視聴していない映画のみを残す

 filteredSims = simCandidates.drop(myRatings.index)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次は？



上記のケースでは、通常のプロセッサでPandasライブラリを使用して多くのMovieLensデータを処理できました。 ただし、より大きなデータセットの処理には時間がかかる場合があります。 そのような場合、より強力なソリューションが役立ちます-たとえば、 SparkまたはMapReduce 。