分類子：サイト訪問者のアクティビティの分析

1.はじめに

このノートでは、サイト訪問者のアクティビティを分析するためのシステムでの分類子の実用的なアプリケーションのいくつかの側面について説明します。 機械学習タスクのコード例を示します。これは、インターネット上の統計のグローバルな分析と、大規模なポータルでの行動要因の分類に関するローカルな問題の両方に積極的に使用されています。

2.確率論のいくつかの方法

主な問題は、確率的プロセス（サイト訪問者のアクティビティ）では、事前にランダム変数の値を決定することができないという事実です。 ただし、各値の確率を推定できます。 さらに、機械学習の方法を使用すると、この変数またはそのランダム変数が意味を持つ理由を理解することができます。

非常に鋭く表現された規則性を持つ確率的プロセスがあります。たとえば、オブザーバーは数千の試行を記録しました。 観測の長い期間全体にわたって、ランダム変数が等しい分布を持つ4つの可能な値しか取らないことが明らかになったとします。 これらの値の1つの量がすべての数の約4倍になると仮定することは論理的です。 逆もまた同様です。1つのグループの値の数に4を掛けると、すべてのオブジェクトのおおよその数が得られます。

同様に、（モンテカルロ法に従って）複雑な図形の近似領域を特定できます。その点のヒット数、ランダムな点の総数、および複雑な図形が内接する空間の領域がわかっている場合。 複雑な図のヒット数をポイントの総数で除算すると、これは空間内の図が占めるおおよその部分になると直感的に感じられます。 さらに、ポイントがこの複雑な数字に陥る可能性もあります。

簡単な例を考えてみましょう。 巨大なニュースポータルに4つの主要なトピックがあります。 一部のユーザーは、サイトにアクセスして、トピックのうちの1つだけを厳密に見ています。 それらの間の分布は等しい、つまり クラスターの1つのトピックが表示される確率。 しかし、新しいポイントの正確な位置は事前にわかっておらず、これらのクラスターの1つに表示されることがわかっているだけです（重心は大きな緑色の点として表示されます）。

存在しないトピックを表示することは不可能です（存在しないトピックを表示するにはどうすればよいですか）。 その確率はゼロです。 どのポイントもこのスペースにのみ属します。 特定のクラスターに入る確率は1/4です。 少なくとも1つのクラスターに該当する確率は1（すべてのイベントの確率の合計）に等しくなります。これは、ポイントが必然的にそれらのいずれかに該当するためです。 ポイントが連続して1つのクラスターに数回入る確率は、これらのイベントの確率の積に等しくなります。 これは、実験的および正式に次のように記述されています。

しかし、正規分布の場合、わずかに異なる予測戦術が使用されます。 平均値を特定する必要があります。 それが最も可能性が高いこと。 以下は、等確率分布と正規分布の2つの視覚表示です。

広がりの強さを理解するには、分散（または標準偏差と呼ばれ、ギリシャ文字シグマで示される平方根）を識別する必要があります。 離散確率変数の値を予測するには、これは非常に重要な指標です。これは、ほとんどの値（正規分布の場合）がシグマ内にあるためです。

言い換えると、正規分布の下で算術平均が期待される場合（数学的な期待に等しい）、許容誤差（不正確または誤差）が少なくとも約1シグマになる場合、ほとんどの場合（約68％）に正常に推測されます。 分散のレベルが異なるランダム変数を視覚的に表示します。最初は分散が小さく、その後明らかに増加します。 視覚の利便性のために、数学的期待も増加します。

離散確率変数について話しているので、数学的期待値式の代わりに算術平均値の式を使用することは許容されます。 上記の理由により、以下に示す式を使用して、2乗値とその確率の積を計算しないようにしてから、これらの積の合計から2乗数学的期待値を減算できます。 正規分布関数とそれに必要な変数（それらの計算式）を示します。

しかし、すべてが常に予測できるとは限りません。 当然、ランダム変数の確率はさまざまです。 すべてのプロセスがガウス分布または等確率分布になるわけではありません。 多くの場合、時間の経過に伴う確率の変化を記録することが可能です。 一部のメトリクスは予測不可能な方法で値を変更できますが、これは明らかに確率に影響します。 2つのメトリックが不均等に成長し、成長後に元の値に戻った場合の値の変化の例：

その結果、多くのプロセスで、結果（ポイントの外観）が均等に分散されない場合があります。 明らかに、次の例では、クラウドを空間に均一に分散して呼び出すことはできません。 明確にするために、その輪郭も引用します。

分布が異なる大量のデータの分析では、機械学習が役立ちます。 各観測には大きな特徴ベクトルがあります。 たとえば、急性呼吸器ウイルス感染症の診断では、体温などの指標がよく使用されます。 適切な機器で客観的に測定することは非常に簡単です。 明らかに、2つのグループの人々（健康および急性呼吸器ウイルス感染症）の体温の記述統計を見れば、この指標の違いを理解するのは非常に簡単です。 もちろん、他の多くの疾患では発熱の症状が発生する（または存在しない）可能性があるため、測定基準だけでは十分ではありません。 したがって、指標の膨大なリスト（予測子のベクトル）を客観的に測定する必要があります。 各ベクターには、健康または病気のラベルが必要です。 これは、これから説明する機械学習方法のデータ準備の一般的な原則です。

3.予備調査

分析の準備段階では、データセンター内のサーバーの関与が必ずしも必要ではないため、ローカルコンピューターで実行されます。 最も一般的なデータ分析ツールの1つは、RおよびPythonプログラミング言語（Jupyter、Pandas、NumPy、およびSciPyと組み合わせたもの）です。 すでに実装されている豊富な数学関数のセットと、情報を視覚化するツールがあります。

予備調査の段階で、分類に必要な情報を収集する必要があります。 これは常に特徴ベクトルです。 数値（通常はDoubleデータ型）。 この段階では、値を取得することが不可能な場合に収集およびアクションの方法が選択されます（欠損値を算術平均または中央値に置き換えることが許容される場合があります）。

メトリック（予測子）は、現象のこの部分の本質を客観的に反映する数値でなければなりません。 このような測定基準は測定可能であり、測定値自体は再現可能です（動作中の測定デバイスを使用すれば誰でも実験を繰り返し、同じ指標を取得できます）。 直感的には、異なるグループのメトリックの値の差が大きいほど、分類が容易になると予想されます。 最も理想的なケースでは、それらは交差しません（一方の最大値が他方の最小値より明らかに小さい）。

この時点で追加のチェックも必要になる場合があります。 非常に多くのサードパーティのライブラリとソフトウェア製品を使用して実装されています。 インポートされたモジュールの数、特に一目で異なる宛先（MystemやSeleniumなど）を見るのが楽しい場合があります。 仮説を確認または反論するさまざまな実験を実行できることは論理的です。 グループに分けて条件を注意深く監視し、それに応じてメトリックが変化することを期待します。

行動要因を分析するためのシステムの詳細について話す場合、それらの作業のロジックは、収集されたデータがすでにクリーン化および検証されていることを意味します。 理想的には、アプリケーション自体がデータ収集の品質を担当する必要があります。 マークするためだけに残ります（各ベクトルは、それが属するクラスをマークします）。 アプリケーションがすでにデータをマークアップしている可能性があります（たとえば、データベースにレコードになるレコードが既にあります：製品を購入したかどうか）。 もちろん、これは、このイベントの可能性をさらに予測したり、最も重要な予測因子を特定したりするために必要です。

多くの場合、データはCSVまたはlibsvm形式の通常のテキストファイルに保存されます。 これにより、RとPython（Pandas、NumPy）を使用してそれらを簡単に処理できます。 場合によっては、データベースに配置する必要があります。 また、場合によっては、分散コンピューティングが必要になることがあります。 巨大なポータルやグローバルな統計システムでは、非常に大きなマトリックスが取得されます。 これにより、非常に広いテーブル（多数の属性を持つ多数のタプル）に膨大な数のオブザベーションを保存するシステムを選択する問題が生じます。

恐らく、処理速度が非常に速い特殊な分析ソリューションに注意を払うことは理にかなっています。 ClickHouse（分析データベース管理システム）などのテクノロジーを使用すると、いくつかの重要な指標を事前に分析し、データ自体を準備できます。 そして今、私たちは高いパフォーマンスだけでなく、統計を操作するための多くの便利な機能だけでなく、追加機能、たとえばデータエクスポート形式（JSONとXMLを含む）またはget-request（ http： // localhost：8123 /？query = Q ）、Qの代わりに次のSQLステートメントがあります。

SELECT page, COUNT() AS views, uniqCombined(uuid) AS users FROM example.page_views GROUP BY page FORMAT CSVWithNames;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

データの準備と検証は非常に深刻なプロセスであり、彼らはそれに非常に注意を払っています。 いくつかの調査を行った後、機械学習アルゴリズムの選択と、上記のツールの選択に関するより詳細な分析が始まります。 最適な分類アルゴリズムを選択する段階でも、初期データの検証と新しい予測変数を見つける試みは継続されます。 いずれにせよ、多くの「分類の驚異」は、いくつかの見逃したまたはノイズの多い予測子によって簡単に説明されます。 場合によっては、分類子の配列を作成し、対応するパラメーターを使用して各分類子の正しい操作を分析することもできます。

 import pylab import pandas as pd import numpy as np import xgboost as xgb import matplotlib.pyplot as plt from sklearn.cluster import KMeans from mpl_toolkits.mplot3d import Axes3D from sklearn.linear_model import SGDClassifier from sklearn.neural_network import MLPClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.ensemble import GradientBoostingClassifier from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.svm import SVC from sklearn.metrics import accuracy_score from IPython.core.display import display, HTML # #   # classifiers = [ LogisticRegression(max_iter=200, penalty="l2"), SGDClassifier(loss="hinge", penalty="l2"), MLPClassifier(solver='lbfgs', alpha=1e-5, hidden_layer_sizes=(3, 4)), RandomForestClassifier(n_estimators=60, max_depth=5), GradientBoostingClassifier(n_estimators=180, learning_rate=1.0, max_depth=4), DecisionTreeClassifier(), SVC(), ] # #     # result = [] for classifier in classifiers: classifier.fit(features, classes) report = accuracy_score(testClasses, classifier.predict(testFeatures)) result.append({'class' : classifier.__class__.__name__, 'accuracy' : report}) display(HTML('<h2>Result</h2>')) display(pd.DataFrame(result)) # #     # model = xgb.XGBClassifier() model.fit(features, classes) pylab.rcParams['figure.figsize'] = 3, 3 plt.style.use('ggplot') pd.Series(model.feature_importances_).plot(kind='bar') plt.title('Feature Importances') plt.show()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ご覧のとおり、基本的な分類アルゴリズムは人気のあるライブラリに既に実装されているため、ほんの数行のコードで非常に簡単かつ迅速に使用できます。 さらに、一部のモデルでは、適切な分類子（RandomForestClassifier、GradientBoostingClassifier、XGBClassifierなど）を使用して予測子の有意水準のチャートを見ると非常に便利です。 クラスター分析など、他のタイプのデータ分析と視覚化を実行すると非常に便利です。

 import pylab import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.cluster import KMeans from mpl_toolkits.mplot3d import Axes3D centroids = KMeans(n_clusters=4, random_state=0).fit(features).cluster_centers_ ax = Axes3D(pylab.figure()) ax.scatter(features[:, 0], features[:, 1], features[:, 2], c='blue', marker='p', s=8) ax.scatter(centroids[:, 0], centroids[:, 1], centroids[:, 2], c='g', marker='o', s=80) plt.show()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

4.完成したモデルの作成

必要なパラメーターを備えた適切なアルゴリズムがローカルシステムで選択された後、分散コンピューティングの準備が開始されます。そのタスクは、イベントのクラスを事前に予測することです。 これは、バイナリ分類（イベントが発生するかどうか）だけでなく、マルチクラス分類にもなります。 Apache Sparkは、そのような分散コンピューティングタスクによく使用されます（バージョン2.0.2のScalaに例を示します）。 もちろん、最初のテスト実行では、新しいデータで選択したソリューションの非常に徹底的なチェックも必要です。

 import org.apache.spark.ml.classification.MultilayerPerceptronClassifier import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator val train = spark.read.format("libsvm").load(file) val test = spark.read.format("libsvm").load(fileTest) val trainer = new MultilayerPerceptronClassifier().setLayers(Array[Int](3, 5, 4, 4)).setBlockSize(128).setSeed(1234L).setMaxIter(100) val result = trainer.fit(train).transform(test) val predictionAndLabels = result.select("prediction", "label") val evaluator = new MulticlassClassificationEvaluator() evaluator.setMetricName("accuracy").evaluate(predictionAndLabels)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

検証および調整プロセスの最後に、機械学習アルゴリズムの最終バージョンが作業を開始します。 膨大な量のデータをマークし、ユーザーフレンドリーなインターフェースで結果を表示します。 視覚化は別のアプリケーションが担当します（多くの場合、これはWebアプリケーションまたはポータルの一部です）。 原則として、アプリケーションは分析システムについて何も知らず、データベースへのインポートまたはAPIを介してのみ接続されます。 私の個人的な経験では、バックエンド用の有名なテクノロジースタック（PHP7、Yii 2、Laravel、MySQL、Redis、Memcached、RabbitMQ）と、視覚的なプレゼンテーション用のライブラリセット（たとえば、Chart.jsなど）は通常、別の表示アプリケーションに使用されます。

このように、行動因子の分析システムを作成する基本的なステップを見ました。 他のデータセットを分類するシステムは、同様の原理で機能します。 最も基本的な手順は、適切なメトリクスを適切な形式で収集し（「ベクターにデプロイする」と呼ばれる）、適切なパラメーターを使用して適切なアルゴリズムを選択することです。 もちろん、分類器の正しい動作を検証することは重要です。

私はこの機会に（今日の日付で）、来年の新年を前もって親愛なる読者に祝福し、人生のあらゆる分野で幸せと成功をお祈りします。