オートエンコーダーを使用して推奨システムを構築する

多くの推奨システムと同様に、製品、ユーザー、およびユーザーが製品に（明示的または暗黙的に）与える評価があります。 私たちのタスクは、ユーザーがまだ評価していない製品の評価を予測することです。これにより、ユーザーが高く評価できる製品、またはユーザーが興味を持つ製品を予測します。 （推奨システムの機能は、ユーザーが関心を持つ可能性のある製品を見つけることです。）



次のような推奨システムを開発する必要がありました。

1. モデルのトレーニング後、速度の点で最適でした。
2. 新しい受信データの処理コストは最小限で済みます。 つまり 推奨システムが新しいデータを受信した後に完全な再トレーニングまたは再トレーニングを必要としないように、またはこの種の操作が最小限になるようにします（おそらく作業の質を失いますが、モデルの再構築に大きなコストを必要としません）。

解決策

提案されたソリューションの基本概念

従来の推奨システムと同様に、製品、ユーザー、および製品のユーザー評価があります。



製品とユーザーごとに、N次元のベクトルを定義します。 つまり すべての製品とすべてのユーザーは、N次元空間のポイントとして表されます。 2つのスペースを使用します。 1つはユーザー用、もう1つは製品用です。 （ベクターのユーザーと製品の識別子。）



また、モデルを構築するとき、およびユーザーの製品評価の結果を受け取るときに、ユーザー、製品、評価に関するデータを使用します。



たとえば、MovieLens 1Mデータセットの場合、次を使用します。

• ユーザーの性別や年齢などのユーザーデータ（2要素のベクターサイズ）;
• または、映画（製品）の場合、映画が作成された年（単位長のベクトル）を使用します。
• そして、評価のために、それが何曜日に設定されたか（単位長さベクトル）。

（ デモのソースコードを参照してください。）ユーザー識別子と製品識別子のベクトル（サイズN）がまだ使用されていることにも留意してください。



このようなデータは、ユーザーに対してより正確な製品評価を発見的に可能にします。 このデータはベクトルに変換されます：

• ユーザーデータ;
• 製品データ;
• 評価データ;
• 評価自体または複数の評価。

オートエンコーダーを使用する

各製品/ユーザーのN次元ベクトルを取得するには、オートエンコーダーを使用して次のスキームを使用します。



オートエンコーダーは、入力に送信されたデータの圧縮を学習し、入力データを圧縮形式で提示することを思い出させてください。



2つのオートエンコーダーを使用します。 入力（およびターゲット値）で、M（5〜7に等しい数）レコードのリストを送信します。各レコードは次のとおりです。

1. ユーザー評価から学習するオートエンコーダーでは 、次の値を使用します。1）ユーザーIDベクトル。 2）この製品を評価したユーザーに関するデータ（ベクターユーザーデータ）; 3）ユーザーがこの製品に設定した評価データ（評価データのベクトル）。 4）自己評価（評価値のベクトル）。さらに、特定のオートエンコーダーでは、この製品のユーザーのさまざまな評価（システムにある）に対して、すべての値が1つの製品（1つのトレーニングサイクル）に設定されます。 （MovieLens1Mデータの場合、次の形式のMレコードを指定します。1）N値のベクトル-ユーザー識別子ベクトル; 2）2値のベクトル-ユーザーデータ。 3）1つの値のベクトル-評価の曜日。 4）1つの値からのベクトル-推定自体。 つまり 合計で、MovieLens1Mの場合、M *（N + 2 + 1 + 1）の値をオートエンコーダーの入力に設定します。
   
   
   
   
2. 製品評価のデータでトレーニングされたオートエンコーダーでは 、次の値を使用します。1）製品識別子ベクトル（N要素のベクトル）。 2）このユーザーが評価した製品データ（製品データベクトル）。 3）製品のユーザー評価データ（評価データベクトル）; 4）推定値（推定値/推定値のベクトル）。 この場合、すべての値は1人のユーザーと、このユーザーによって評価されたさまざまな製品に対して設定されます。

したがって、学習プロセス（各学習ステップ）で、オートエンコーダーの入力（およびターゲット値）からM評価のリストを取得します。

1. 1つの製品-この製品を評価したMユーザー評価（最初のオートエンコーダーで）。
   
   
   
   
2. 1人のユーザー-このユーザーによって評価されたM製品評価（2番目のオートエンコーダー内）。

また、 最初のオートエンコーダーは製品識別子ベクトルをエンコードし、2番目はユーザー識別子ベクトルをエンコードします 。



最小限の場合、ユーザーIDと評価のベクトルのみを（最初のオートエンコーダーに対して）設定できます。 2番目のオートエンコーダーについては、製品の識別子と評価のベクトルのみ。 つまり ユーザー、製品、および評価データを省略します。 図1に示すように。





図 1.最小限のトレーニングデータ（ユーザー識別子のベクトル、製品識別子と評価のベクトルのみ）を使用する場合のオートエンコーダトレーニングスキーム。 オートエンコーダーによるエンコード時に識別子ベクトルを取得するためのスキームも同様です。

ベクターのユーザーIDと製品IDを取得する方法

それらは次のように取得されます。 オートエンコーダーのトレーニングを数サイクル（100..1000のオーダー）した後、1人のユーザーの製品評価の値を2番目のオートエンコーダーに設定します（ユーザーごとにK個の異なるオプション（注文番号24..64）または1つの製品のユーザー評価を設定します）最初のautroencoder。



1人のユーザーに対して、（ランダムな）製品評価（2番目のオートエンコーダー）のK個のバリエーションを設定するとします。 オートエンコーダ用にK個の異なる入力を形成しました。 同時に、自動エンコーダー操作中に取得されたK個の異なる圧縮値を取得しました。 （つまり、部分的なユーザー識別子のK個のベクトルを取得しました）（N個の要素で構成される中間層を持つ、つまりユーザー/製品識別子のベクトルのサイズに等しいオートエンコーダーを構築する必要があることは明らかです）これらのK値の平均を求めます。 これは、ユーザーIDベクトルの新しい値になり、ユーザーIDベクトルの現在の値から移動します。 そのため、一定数（L1）のユーザーに対して行い、L1平均を取得します。



同様に、ユーザー評価（または製品IDのエンコード）でトレーニングされた圧縮および自動エンコーダーのL2平均値を取得します。



最初にユーザー識別子と製品識別子のベクトルのランダム値を使用する場合、初期値から平均圧縮値L1およびL2（中程度の圧縮値で、新しいターゲット識別子ベクトルになります）に移動できます。



ヒューリスティックを使用して、ターゲット識別子の値に向かってスムーズに移動します。 ユーザー識別子と製品識別子のベクトルを、取得したユーザー識別子と製品識別子のベクトルのターゲット値に徐々に変更しています。



ユーザー識別子と製品識別子のベクトルに満足のいく値を得るには、オートエンコーダーの作業のもう1つの側面を考慮する必要があります。これは、エンコードされた値の「呼吸」または特定の制限内の値のグループスイミングです。 オートエンコーダのエンコードされた値を「呼吸」すると、トレーニング中にすべての受信値がバイアスによってシフトされます。 その結果、補正なしでエンコードされた値を使用する場合、識別子ベクトルは収束するのが困難になります。 この問題は簡単に解決できます。 これがどのように行われるかについては詳しく説明しません。 この点は、ユーザー/製品識別子ベクトルの以前の値に対する新しい受信ユーザー/製品識別子ベクトルの平均変位を見つけることで解決されます。 そして、平均ミキシングを考慮せずに、識別子ベクトルの以前の値が修正されます（詳細については、デモのソースコードを参照してください）。

ユーザーの製品評価を取得する

識別子がある場合、それらはユーザーまたは製品のN次元空間で順序付けられているように見えます。 近い製品/ユーザー（ユーザー評価に基づく）は、近距離にあります（ユークリッドメトリック）。 さらに、ニューラルネットワークを使用して、次の方法で予測関数を取得できます。1）製品識別子ベクトル。 2）製品データ; 3）製品の評価の可能性に関するデータ（評価自体ではなく、これは、たとえば、ユーザーが映画を見たい/既に見た時間/曜日）; 4）ベクターユーザーID。 5）ユーザー情報。 このすべてのデータを使用して、ニューラルネットワークをトレーニングして、ユーザーが特定の条件下で特定の製品に与えることができる評価（評価）を予測します。

モデル構築

製品のユーザー評価関数を近似するために、オートエンコーダーとニューラルネットワークのトレーニングを繰り返します。 ランダムな初期値からオートエンコーダーを学習するコールドスタートには微妙な違いがあります。 これらの問題を解決するための提案されたヒューリスティックは、記事の提案されたソースコードに記載されています。



トレーニングの後、ニューラルネットワークからユーザー識別子と製品で構成されるモデルを取得します。2つのオートエンコーダーと推定を予測するためのニューラルネットワークです。

モデルを受け取った後にシステムを操作する

システムをトレーニングした後、ユーザーが評価していない製品の評価を予測できます。 しかし重要な点は、次のことができる可能性です。

1. 新しい評価を追加し、ユーザーと製品の識別子のベクトルを調整します。
2. 新しい製品と新しいユーザーを追加します。 つまり 新しいユーザーと製品の識別子ベクトルを計算します。

新しい識別子のベクトルを計算するには、結果のモデルからオートエンコーダーを使用します。 同時に、モデルをトレーニングするときに識別子ベクトルを取得するプロセスと同じプロセスを使用します。ただし、新しいデータでエンコーダーをトレーニングせず、識別子のみを計算します。



識別子を計算するプロセスは、新しい評価が表示されるときにも使用できます。 この場合、識別子を調整できます。 既に訓練されたモデルのフレームワーク、すなわち 再びオートトレーニングを再トレーニング/再トレーニングしません。



識別子を計算/調整する場合、処理速度を上げるために、もちろん、ニューラルネットワークで指定されたモデルの一部を調整しません。 しかし、新しいデータはモデルを変更/拡張する可能性があるため、このような変更/拡張はユーザー/製品識別子のベクトルの計算のみで表現できないため、特定の時間間隔（1日/週/月/四半期に1回）でモデルを再トレーニングすることができます） このような追加のトレーニングは、評価の予測、新製品の追加、ユーザー、新しい評価の追加の一環として、システムの通常の操作と並行して実行できます。

提案されたアプローチを与えるもの

問題ステートメントで提起された問題を解決することに加えて、このアプローチは機械学習システムにメモリを導入することも可能にします。 ここでは、メモリによって、計算された識別子の値を直接理解できます。 これらは、モデルのフレームワーク内で、システムの観点から外部世界のオブジェクトの説明（これらのオブジェクトに対するシステムの推定値）を伝えて、外部世界のオブジェクトを表すことができます。 このようなメモリは、オブジェクトを記述するために使用できます。



さらに、このアプローチにより、ユーザーおよび製品識別子のベクトルを決定する多数のパラメーター、および評価パラメーターを設定できます。 （おそらくこの場合、学習プロセスに対する特定のデータの影響度を設定するために、ヒューリスティックを使用するのが理にかなっています。）



» このアプローチのレコメンダーシステムを示すソースコード