女性のネットワーク：誰が私たちを選択しますか？

機械学習への関心の高まりは、主に、複雑なシステムの動作の予測に関連する分野でモデルが利益の明確な増加をもたらすことができるという事実によるものです。 特に、行動が利益を予測できる複雑なシステムは人です。 詐欺を早期に検出し、顧客の流出傾向を明らかにするために-これらのタスクは定期的に発生し、すでにデータサイエンスの古典となっています。 もちろん、特定の専門家の好みやビジネスの要件に応じて、さまざまな方法で解決できます。



ニューラルネットワークを使用して人々の行動を予測する問題を解決する機会があり、スコープの特異性は美容業界に関連していました。 「実験」の主な対象者は女性でした。 私たちは本質的に疑問に思いつきました。人工神経回路網は、その人自身でさえその行動をまだ理解していない地域の（人の）実際の神経回路網を理解できるのでしょうか。 この質問にどのように回答し、結果として得られたものについては、詳細をご覧ください。









英国のマーケティング代理店は、美容業界のいくつかのブランドのマーケティングコミュニケーションを最適化するように私たちのチームを招待しました。 この問題を解決するために、私たちはさまざまな角度からバイヤーを襲撃しなければなりませんでした。 その結果、各バイヤーへの個別のアプローチを見つけるのに役立つ多くの予測および推奨モデルを構築しました。 その過程で、いくつかの重要なビジネスモーメントを決定し、彼の主要なKPIが成長しました。

広告による大規模な爆撃の代わりに、ターゲットを絞ったパーソナライズされたオファーを使用します

小売業者は売り上げを増やしたいと考えています。 これを行うには、顧客が最も最適な通信チャネルを使用して購入する可能性が最も高い商品を提供し、適切なタイミングでそれを行う必要があります。 したがって、まずストアには、チャネルといくつかの予測モデルの体系的なオーケストレーションに加えて、推奨システムが必要です。 このAIタスクは、Beauty Brainsが委託したCleverDATAによって行われました。









ブランドの宝庫には、顧客の購入履歴、サイトを訪問した顧客の履歴、および各受取人からの郵便物および郵便物への反応に関する情報がありました。 したがって、クライアントがどのメールを受信したか、どのメールを開いたのか、どのリンクに行ったのか、そして何につながったのかを確認できました。



まず、マトリックス分解、協調フィルタリング、連想ルールなどの古典的な方法を使用してレコメンダーシステムを作成しました。次に、特定のケースでより効率的に実行できるかどうかを実験することを決定し、ニューラルネットワークのレコメンダーシステムに到達しました。



新しい実験システムの利点は、第一に、テキスト記述から製品に関する追加情報が使用され、第二に、顧客の購入シーケンスが考慮されたことでした。



さらに、さまざまな通信チャネルの接続を開始しました。まず、最も安価なチャネルの1つであるメーリングリストです。 さらに、Adwordsを介したFacebookメッセージと広告が受信者に配信されるようになりました。



その結果、顧客のマーケティング担当者に自動運転ソリューションを用意しました。これは、高度にパーソナライズされたメールの毎日のセットです。 当然、キャンペーンの数は大幅に増加し、それぞれの受信者の数は劇的に減少しました。 つまり、マーケティング担当者に一連の「マイクロキャンペーン」を手段として提供しました。特定の各バイヤーは、個々の条件で最も関連性の高い製品のオファーを受け取ります（バイヤーが関心を持っている場合は、個人割引、ギフト、プローブなど）。



さらに、多数の美容ブログを分析して得た知識を自由に活用できました。 Habréのこの軍団の分析結果については、すでに詳細に書いています 。



もちろん、ニュースレターでは、LTV予測、流出予測、ロイヤリティ計算、適切な割引の予測、および贈り物や調査に対する顧客の感受性の予測を使用します。 顧客がすぐに購入する可能性が高いほど、受け取る割引は低くなります。 そして、長い間購入がなかった場合、人は、ブランドが失うリスクがある顧客のグループに分類され、それに対する割引が増加します。



2017年9月から12月にシステムテストが実施され、その結果、プロジェクトは成功したと認められました。 次に、プロジェクトのフレームワークで解決しなければならなかった特定のケースを検討します。

私たちは人々を理解するためにネットワークを教えます。 どのツールを選択しますか？

出所



ニュースレターを購読している人の数は通常、顧客の数よりもはるかに多くなっています。 当然、最初の購入の確率が増加する受信者のグループもあります。 追加の広告キャンペーンをこれらの人々に向けることができますが、追加の予算が必要なため、連絡先全体で追加のキャンペーンを開始することはできません。



つまり 人々の行動を予測し、狭いターゲットオーディエンスのみでキャンペーンを実行する必要があります。 これらの潜在的な顧客に関する追加情報はありません。ブランドは、彼らがどのように手紙を開き、どのリンクをクリックしたかを知っているだけです。 そのため、私たちは人間の行動を理解するために機械を教える仕事に来ました。



この問題は多くの方法で解決できます。 ニューラルネットワークの方向に進みました。



したがって、メーリング受信者の一連のアクションを処理します。

リカレントニューラルネットワーク（ワードプロセッシングによく使用される）は、一連のイベントの処理に適しています。 このファミリについては、すでにHabréで繰り返し記述されています（たとえば、 hereまたはhere ）。 古典的な実装における再帰的ニューラルネットワークには、たとえばすぐに忘れてしまうなど、多くの特徴的な問題があります。 本で古典的なリカレントニューラルネットワークをトレーニングすると、章の途中までに、彼女はこの章の始まりを忘れてしまいます。



今日、LSTMニューラルネットワークは広く使用されており、従来のニューラルネットワークの問題の多くを克服することができました。 LSTMニューラルネットワークにはメモリがあります。それらは、情報を記憶、再生、および忘れることができるセルで動作します。 さらに、LTSMネットワークは、イベントが不明確な期間と境界を持つタイムラグで区切られている場合に適しています。







出所



原則として、メーリングリストの受信者のアクションに基づいてLSTMニューラルネットワークをトレーニングすることは可能ですが、そのようなモデルは1種類の動作のみでうまく機能します。 future：特定のターゲットアクションでモデルをトレーニングする場合、このモデルには未来に関する情報が必要です-人が将来ターゲットアクションを実行するかどうか、モデルはトレーニングオブジェクトのトレーニングセットで認識します。



モデルの作業の結果を他のモデルで使用する予定がある場合は、将来に関する情報がモデルの予測とともに伝わらないことを注意深く監視する必要があります。 将来に関する情報の流れが誤って発生した場合、新しいモデルは再トレーニングされます。 したがって、その後の使用では、結果を知らずにイベントをトレーニングし、イベントのシーケンスを他の予測モデルで使用できるサインに減らすことがより便利になります。 そして、これで自動エンコーダ、または自動エンコーダを支援できます。



Habréのオートエンコーダーについては、たとえばhereおよびhereも参照できます 。 これらは、入力と出力で同じ次元を持つように構築されており、中央の次元ははるかに小さくなっています。 この制限により、ニューラルネットワークはイベントのシーケンスで一般化と相関を検索するように強制されるため、オートコーダーは受信データを何らかの方法で一般化する必要があります。



そのようなネットワークのトレーニングでは、教師とのトレーニングのように、エラーの逆伝播の原理が使用されますが、ネットワークの入力の信号と出力の信号ができるだけ近いことを要求できます。 結果として、一連のアクションがもたらした結果に関する情報を使用せずにトレーニングします。 教師なしでトレーニングを受けます。







出所 自動エンコーダは、機能空間の次元を効果的に削減できます。「ボトルネック」の次元が小さいほど、圧縮は強くなりますが、情報の損失は大きくなります。



ニューラルネットワークの一般的な構造は明確です。LSTMセルを使用する自動エンコーダーです。 潜在的な購入者の一連の行動をどのようにエンコードするかを決定することは残っています。 1つのオプションはone-hot-encodingです。アクションは1つによってエンコードされ、アクションのその他の代替はnullです。









ここで発生する最初の問題は、人々がマーケティングニュースレターを受け取ってからサイトで購入するまでの経路であり、長さは異なります。 対処は簡単です。ベクトルのシーケンスの固定長を取得し、超過分を破棄し、不足分をゼロで埋めます。 ネットワークは、一連のイベントの開始時に余分なゼロに注意を払う必要がないことをすぐに理解します。









そして今、手紙を受け取り、リンクをたどり、購入するのに異なる人が異なる時間を必要とすることを考慮する価値があります。 時間は人間の行動を理解する上で重要な役割を果たします。 クライアントの一連のアクションで時間を考慮する方法 受信者のアクションをエンコードするベクターの追加要素として、イベント間に一時的な違いを追加しました。









イベント間の差が秒単位の場合、場合によっては、ベクトルの時間成分の値が10 ³ -10 ^6に達し、ネットワークのトレーニングに悪影響を及ぼします。 より良い解決策は、イベント間の時間差の対数を使用することです。 ニューラルネットワークのトレーニングを成功させるには、0から1の範囲の数値で作業することをお勧めします。したがって、時間差の対数を正規化し、受信者のアクションベクトルの別の要素として追加することをお勧めします。 最後のイベントの時間差は、最後のイベントと現在の時間の差とみなすことができます。



ブランドの1つで、約200,000人に配布された数千の企業からデータセットを受け取りました。 したがって、トレーニングサンプルは、メーリング受信者の一連のアクションをエンコードする約200,000個のベクトルで構成されていました。

理論から実践へ

エンコーダの最初に、一連のイベントをシーケンス全体に関する情報を含むベクトルに変換するLSTMセルのレイヤーを配置します。 一連のLSTMレイヤーを連続して作成し、徐々にそのサイズを小さくすることができます。 表現をベクトルから一連のイベントに返すには、このベクトルをデコーダーのLSTMレイヤーの入力に適用する前にn回繰り返します。 ケラでのそのようなオートコーダーの一般的なスキームは、文字通り数行を占有し、以下に与えられます。 デコーダーLSTMレイヤーは、ベクターではなくシーケンスを返す必要があります。これは、パラメーターreturn_sequences = Trueで示されます。

from keras.layers import Input, LSTM, RepeatVector from keras.models import Model inputs = Input(shape=(timesteps, input_dim)) encoded = LSTM(latent_dim)(inputs) decoded = RepeatVector(timesteps)(encoded) decoded = LSTM(input_dim, return_sequences=True)(decoded) sequence_autoencoder = Model(inputs, decoded) encoder = Model(inputs, encoded)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テンソルの次元と混同されない場合、ネットワークはトレーニングします。 さらに、モデルの品質を向上させるために、エンコーダとデコーダの両方にいくつかの追加のLSTMレイヤーを追加し、自然に「ボトルネック」としてニューロンのいくつかの通常の完全に接続されたレイヤーを使用し、ドロップアウト、バッチ正規化、およびトレーニングのための他のトリックを忘れませんでしたニューラルネットワーク。



比較のために、同じデータセットで畳み込みニューラルネットワーク（Convolution Neural Networks、CNN）でアクチュエータをトレーニングしようとしました。 畳み込み層は、オブジェクトの動作のパターンを確立し、モデルパラメーターの数を減らすのに役立ち、学習を大幅に高速化します。 畳み込みニューラルネットワークについては、Habréに関する記事（ ここ 、 ここ 、たとえばここ ）もあります。したがって、それらについては詳しく説明しません。 概略的に、畳み込みニューラルネットワークの自動エンコーダのアーキテクチャは次のとおりです。

 from keras.layers import Input, Dense, Conv2D, MaxPooling2D, UpSampling2D from keras.models import Model input_tensor = Input(shape=input_dim) x = Conv2D(16, (3, 3), activation='relu', padding='same')(input_tensor) x = MaxPooling2D((2, 2), padding='same')(x) x = Conv2D(8, (3, 3), activation='relu', padding='same')(x) x = MaxPooling2D((2, 2), padding='same')(x) x = Conv2D(8, (3, 3), activation='relu', padding='same')(x) encoded = MaxPooling2D((2, 2), padding='same')(x) x = Conv2D(8, (3, 3), activation='relu', padding='same')(encoded) x = UpSampling2D((2, 2))(x) x = Conv2D(8, (3, 3), activation='relu', padding='same')(x) x = UpSampling2D((2, 2))(x) x = Conv2D(16, (3, 3), activation='relu')(x) x = UpSampling2D((2, 2))(x) decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x) autoencoder = Model(input_tensor, decoded)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

なぜなら テンソル要素は0〜1の範囲の値をとるので、バイナリクロスエントロピー損失関数を使用できます。



CNCの自動エンコーダーを品質メトリックの観点からトレーニングした結果は、LSTMの自動エンコーダーよりもさらに高く、学習時間は著しく高速です。



さらに、CNNとLSTMで自動エンコーダーを作成することもできます。まず、いくつかの畳み込み層、次にLSTMに基づく自動エンコーダー、畳み込み層に基づくデコーダーで終わります。 このような自動エンコーダーは、両方のアプローチの利点を組み合わせます。 私たちの経験では、このような自動エンコーダーはCNN自動エンコーダーよりもわずかに優れており、検証サンプルの品質メトリックに関してはLSTM自動エンコーダーよりもかなり優れています。



トレーニング後、エンコーダーは各受信者のアクションのシーケンスを特徴ベクトルに変換します。したがって、一連のイベントに対してword2vecの類似物を取得します。 結果のベクトルは、他の予測モデル、クラスタリング、行動に近い人々の検索、および異常の検索に使用できます。





自動エンコーダー（t-SNE）を使用して受信した文字の受信者の行動ベクトルの2次元空間への投影。 赤い点-近い将来に購入した受信者、青い点-購入しなかった受信者。 不活性なレシピエントが優勢な領域があり、将来のバイヤーが集中している領域があることがわかります。



この場合、受信者が手紙を購入する可能性を予測するモデルを構築しました。 多くの基本的な特徴に関するモデルはroc-auc 0.74-0.77を与え、人間の行動に関与するベクトルを追加すると、roc-aucは0.84-0.88に達しました。







最も重要な機能のリストでは、LSTMとCNNに基づく2つの自動エンコーダーの機能が主要な位置を占めています。



このタスクにCNNベースの自動エンコーダーを使用するとより良い結果が得られることを認めなければなりませんが、LSTMベースの自動エンコーダーは低次元のベクトルを提供し、少し余分なプルアップroc-aucを許可しました。 CNN + LSTMオートコーダーに基づいた機能を使用する場合、roc-aucは0.82〜0.87の範囲で取得されます。







2つのモデルのROC曲線の比較：主な機能0.74-0.77に基づくroc-aucモデル、主な機能に基づくroc-aucモデル、および自動エンコーダー0.84-0.88に署名します。

結論

私たちの経験により、人間の行動はニューラルネットワークの自動コーディングを使用してエンコードできるという事実が確認されました。この場合、メーリング受信者の一連の行動はLSTMおよびCNNアーキテクチャの自動コーディングを使用してエンコードされました。 このアプローチの適用は、レターの送信に限定されません。オブジェクトのエンコードされた動作は、人間の動作を処理する必要がある他のタスクで使用できます：不正行為の検索、流出の予測、異常の検索など。



提案されたアプローチは、人間の行動をモデル化する必要がある場合、変分オートコーダーに向けて開発できます。



CNNベースの自動エンコーダーは、考慮されたタスクにLSTMよりもうまく対処するという事実により、行動パターンにより、イベント間の時間的関係に基づく兆候よりも、このタスクのより有益な兆候を抽出できると想定することができます。 それにもかかわらず、準備されたデータセットでは、両方のアプローチを使用することが可能であり、両方のオートエンコーダーの機能を組み合わせて使用​​することの合計効果により、roc-aucが0.01-0.02増加します。



したがって、ニューラルネットワークは、おそらく自分自身がこれを実現する前であっても、購入する傾向があることを個人の行動から理解することができます。 私たちの世界のフラクタル性の驚くべき例：人間のニューロンは、他の人のニューロンの結果を予測するためにニューラルネットワークのトレーニングを整理するのに役立ちます。