Datawiz.ioのタスクは 、小売ロイヤルティプログラムの顧客をクラスター化することです。
クラスタリングは、パターンを検索する方法であり、オブジェクトのセットを同種のグループ（クラスター）に分割するか、データ内の既存の構造を検索するように設計されています。
クラスタリングの目標は、 新しい知識を獲得することです。 「自分の地下室で宝物を見つける」ようなものです。
なぜ企業にこれが必要なのですか？ あなたの顧客をよりよく知るために 。 各クライアントへの個別のアプローチを見つけ、全員と同じようにはたらかないこと。
多くの企業がロイヤルティプログラムを使用し、膨大なデータを持っているという事実にもかかわらず、アナリストは最初に購入者の身元を特定し、その後に行動を分析します。
解決策 ：機械学習を使用すると、個人的な好みから人に至るまで、反対の方向から進むことができます。 Datawiz.ioでは、顧客の行動（購入、銀行取引、信用履歴）に従って顧客をグループ化する方法としてクラスタリングを使用します。
データ配列（チェック、ロイヤリティプログラムのデータ）をクラスター化するには、 K-meansアルゴリズムを使用します。 拡張性が高く、 Hadoop向けに最適化されています。
別の方法として、 Affinity Propagationアルゴリズムを使用できます。 もちろん、それには多くの重大な欠点があります。それは遅いし、うまくスケールしません。 ただし、特別な場合には、希望する空き時間がある場合は、短い間隔でクラスタリングに使用できます。
だから、一歩一歩。
1.クリーンデート。
マトリックスを形成する前に、必ず情報を消去します 。 バイヤーの行動に影響を与えない情報ノイズを削除します。 たとえば、小売業者の場合、販売促進アイテム、発行済みの割引カード、スクラッチカード、コンテナおよびパッケージを興行で購入したものを除外できます。 データがクリアされた後、マトリックスの形成に進みます。
2.入力データで行列を形成します。
重要 ：クラスタリングの結果は、それが実施される期間に大きく依存します。 短い期間を選択すると、現在の傾向が表示されます 。
たとえば、新年の前にクラスタリングを行うと、長期間表示されないクラスターが表示されます。 （言う、クラスター「恋人」オリヴィエ「と毛皮コートの下のニシン」）。 長期にわたるクラスタリングにより、全体像、つまり、安定した行動（「ライフスタイル」）を持つ顧客を見ることができます。 「学生」、「主婦」、「高齢者」など
たとえば、小売業者は、ロイヤルティプログラムの下で6か月間クラスタリングを実行したいと考えています。
店にはVasyaの小切手があり、6か月間、パン1個、牛乳2個、パン1個を購入しました。 とOlyaの小切手-彼女は半年間、3個のパン、5個の牛乳、2個のパンを購入しました。
したがって、この小売業者のマトリックスは次のようになります。
平均的な小売業者の場合、 機能 = 15,000 SKU、 サンプル = 6万の顧客です。
たとえば、Vasyaが6か月間すべてのチェックを行った場合など、各クライアントを個別に取ります。 すべての小切手のすべての商品のエントリ数に応じて、Vasya（およびその他）をチャートに配置します。
車軸の数=アイテムの数（ 機能 ）、
ポイント数=ロイヤリティプログラムに参加している顧客の数。
視覚的な（そして非常に大ざっぱな:)画像：
しかし、k-meansアルゴリズムによるクラスタリングの結果は次のようになります。
さまざまなレベルの製品分類（ 機能削減 ）でクラスター化することもできます。その場合、マトリックスは次のようになります。
マトリックスが形成されたら、クラスター数の選択に進むことができます。
3.最適なクラスター数を選択します。
経験に基づいて、実験的に選択したクラスターの数。 少数のクラスターは効果がなく、有益ではありません。この場合、1つまたは2つの「メガクラスター」を取得します。これには、98％の顧客といくつかの役に立たない小さなクラスターが含まれます。
多数のクラスターを使用すると、少数のグループが多くなりすぎます。 さらに、5,000個の個々の小さなクラスターを分析する必要はありません。 個々のケースごとに、個別のアプローチが必要です。
長期間および多数のクラスターでは、K-meansを使用します。
4.クラスタリングを実行します。
K-meansアルゴリズム（またはAffinity Propagation）を選択し、 scikit-learn Pythonライブラリを使用して、結果の行列を入力として与え、クラスタリングを開始します。
5.クラスタリングの結果を分析します。
アルゴリズムの結果は、行動/購入に応じて、ロイヤルティプログラムのすべての顧客のラベル付けになります。 同じ動作特性を持つクライアントは1つのクラスターに分類されます。
作業期間全体にわたってクラスタリングを実行すると、ロイヤルティプログラムのすべての顧客がクラスタリングに参加します。 特定の期間（年、月）の場合、特定の期間に購入した顧客のみがクラスタリングに参加します。
そこで、小売店のロイヤルティプログラムに従ってクラスターを75のクラスター数で6か月間実行しました。顧客がクラスター間でどのように分散されているか、特定のクラスターでどの製品が好まれるかを考えてみましょう。
-この期間の「クラスター1」には、顧客の45％が含まれていました。 ここでの商品販売のリーダーは、バター、バナナ、卵、牛乳、パン、サワークリームです。
-「クラスター2」では、顧客の12％でした。 ここでは、いくつかのタイプのパンとサワークリーム、バナナ、および非食品がすでに他のものよりも人気があります。
-後続の5つのクラスターは既にそれほど大きくなく、各クラスターには顧客の2〜3％しか含まれていません。 （合計で、選択した期間の顧客の12％がこれらのクラスターに分類されました）。 ここで、顧客の好みは非常に興味深いものです。例えば、乳製品+果物、クッキー+ヨーグルト\チーズ、ヨーグルト\デザート+シリアル、チキン+ビール+キャットフード。
-残りの31％の購入者は68のクラスターに散在しています。 これには顧客の0.1〜2％が含まれます。 また、クラスターは非常に小さく、1〜2人で構成されます。 そのようなクラスターにとって興味深いものは何でしょうか？ 記事の最後にあるケースを読んでください。
クラスタリング中に、アルゴリズムは非標準のクライアントの動作を検出します 。 個々のクラスターの個々の「機能」（特性と機能）の分析は、そのような動作を識別するのに役立ちます。
6.各クラスターの特性を分析します。
- クラスターの名前。 各クラスター内の行動特性に応じて、単純にクラスターに番号を付けるか、名前を付けることができます-「主婦」、「学士」、「ビジネスマン」から「猫好きのクラブ」まで:)
- クラスター回転率。 最も収益を上げているクラスターを特定できます。
- 売上高のクラスター共有。 選択した期間の総クラスタリング回転率に対する割合。
- クラスター内のクライアントの数。
- クラスター内の新規顧客の数。 （選択したクラスタリング期間に初めて割引カードを使用しました）。
- クラスター内の男性と女性の割合（パーセント）。 明白なことに加えて、典型的な男性と典型的な女性の購入を識別することができます。
- クラスター内のチェックの総数。
- クラスター内のクライアントごとのチェック数。 選択したクラスタリング期間にクライアントが返された回数を追跡できます。
- チェック内のアイテムの平均数。
- 小切手の平均費用。 どのクラスターで最も高価な製品が販売されているかを判別できます。
各クラスターの特性を分析し、それらを使用してバイヤーのIDを判別した後、パーソナライズされた郵送に進むことができます。
7.各クラスターに対してパーソナライズされたメールを実行します。
クライアントクラスタリングを使用すると、どの製品、どのクライアント、いつ提供するかなど、スタッフ向けの明確な推奨システムを取得できます。
企業は何をどのグループに提供するかを知っているため、SMSや電子メールニュースレターによる「カーペット砲撃」方式を回避できます。 顧客に必要な商品のみを提供することで（関連商品を忘れずに）、より大きなレスポンスと購入への変換を実現できます。
Datawiz.ioのいくつかのケースを考えてみましょう。
クラスタリングを使用したプロモーションメーリングの効率の改善。
チェーンストアの1つで顧客をクラスタリングした結果、75のクラスターができました。 たとえば、「若い家族」、「生徒」、「高齢者」の3つを考えてみましょう。
-「若い家族」クラスターの顧客は、おむつ、離乳食、果物、牛乳を購入する申し出に最も敏感でした。
-「学生」には、ファーストフードとビール製品の割引が提供されました。
-そして、穀物と野菜の「年金受給者」に。
このニュースレターの結果、購入へのコンバージョンが14.5％増加しました。
新製品のプロモーション。
オプション1。新製品に興味を持つ人を見つけるために、ロイヤルティプログラムのすべての顧客向けにニュースレターを作成しました。 回答の結果によると、彼らは新製品を販売する必要がある買い手の人を認識しました。 次に、クラスターで必要なバイヤーを追跡しました。 関心のあるクラスターのみに既に送信しています。
オプション2。データベースが非常に広範囲に及ぶため、会社はすべての顧客に配布したくありませんでした。 したがって、どの顧客クラスターがこの製品に関心があるかを仮定しました。 関心のあるすべてのクラスターのうち、1％の顧客をランダムに取得し、テストメールを送信しました。 テストメール送信後に購入するコンバージョンが最も高く、将来的に機能し、クラスター全体に新しい製品を提供するクラスターを使用しました。
カスタムの顧客行動。
チェーンの1つにある店舗のクラスタリングを実施しました。 このアルゴリズムは、クライアントが2つしかないクラスターを作成しました。 しかし、このクラスターの短期間の売上高に注目が集まりました。 まあ、人々は多くのさまざまな製品や商品を買うようです。
別の興味深い詳細は、数分の差で多くのチェックが行われたことです。 これらの顧客がロイヤルティプログラムデータベースで追跡されると、店舗の従業員が2枚の割引カードの所有者であることが判明しました。
質問：このようにして従業員は顧客に購入を促すことができますか？ または自分で割引ポイントを獲得しましたか？ または製品を全額で販売し、その差額を充当した、つまりだまされましたか？
出力の代わりに。
クラスタリングを使用すると、企業は顧客との個人的な関係を構築し、新しい方法で顧客と連携できます。 各クライアントへの個別のアプローチは、顧客ロイヤルティを高め、間違いなく利益の増加につながります。