異常なプレイボーイモデル、またはScikit-learnを使用したデータの異常値の検出について

形状と高さによってプレイボーイモデルの重量を予測することに関するBubaVVの記事に動機付けられ、著者は、 もしあなたが私が意味することを知っていて、同じデータ、つまりその形で他の人から際立っている巨乳モデルを見つける場合 、研究の主題をより深く掘り下げることに決めました、身長または体重。 このウォームアップの背景に対して、同時にユーモアの感情は、Scikit-learnライブラリのOne-class Support Vector Machineの実装における異常値検出と異常検出データについて、初心者に少しだけ教えます。 Pythonで。

ダウンロードおよび初期データ分析

したがって、データのソースとそれらに取り組んだ人を正直に参照し、 girls.csvデータを含むCSVファイルを開いて、そこに何があるかを確認します。 1953年12月から2009年1月までの604人のプレイボーイガールのパラメーターを見る：胸囲（バスト、cm）、腰囲（ウエスト、cm）、腰囲（ヒップ、cm）、身長（高さ、cm） 。）および重量（重量、kg）。



お気に入りのPythonプログラミング環境（私の場合はEclipse + PyDev）を開き、Pandasライブラリを使用してデータをロードしましょう。 この記事では、Pandas、NumPy、SciPy、sklearn、matplotlibライブラリがインストールされていることを前提としています。 そうでない場合、Windowsユーザーはここからプリコンパイルされたライブラリを喜んでインストールできます 。

まあ、nyxとpoppies（および著者）のユーザーは少し苦しむ必要がありますが、記事はそれについてではありません。



まず、必要なモジュールをインポートします。 利用可能になったときの役割についてお話しします。

import pandas import numpy as np import matplotlib.pyplot as plt import matplotlib.font_manager from scipy import stats from sklearn.preprocessing import scale from sklearn import svm from sklearn.decomposition import PCA
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

girls.csvファイルからデータを読み取ることにより、Pandas DataFrameデータ構造のgirlsインスタンスを作成します（このpyファイルの隣にあります。そうでない場合は、フルパスを指定する必要があります）。 headerパラメーターは、属性の名前が最初の行（つまり、プログラマーとして数えられる場合はゼロ）にあることを示しています。

 girls = pandas.read_csv('girls.csv', header=0)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ちなみに、Pandasはpythonに慣れている人にとっては素晴らしいオプションですが、Rでのデータ解析の速度が大好きです。PandasがRから継承した主なものは、便利なDataFrameデータ構造です。

著者は、Titanic：Machine Learning from DisasterのトライアルコンペティションでKaggle チュートリアルでPandasに会いました。 Kaggleを初めて使用する人にとって、これは最終的にこれを行うための大きな言い訳です。



私たちの女の子の一般的な統計を見てみましょう：

 print girls.info()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

604人の女の子が自由に利用できることが通知されます。各女の子には、7つの兆候（Month（type object）、Year（type int64）、さらに5個のint64の兆候）があります。

次に、女の子についてさらに学びます。

 print girls.describe()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ああ、人生のすべてがとてもシンプルだったら！

通訳者は、女の子の兆候の主な統計的特徴、平均値、最小値、最大値をリストします。 もう悪くない。 このことから、プレイボーイモデルの平均的な形状は89-60-88（予想）、平均の高さ-168 cm、重量-52 kgであると結論付けられます。

ここで、成長は小さいようです。 どうやら、これは、20世紀半ばからの歴史的データが、現在、180 cmの高さがモデルの標準であると考えられているように見えるという事実によるものです。

少女の胸の範囲は81〜104 cm、ウエスト-46〜89、ヒップ-61〜99、身長-150 cm〜188 cm、体重-42 kg〜68 kgです。

うわー、あなたはすでにエラーがデータに忍び込んでいると疑うことができます。 ウエストが89cmのモデルはどのようなビール樽ですか？ そして、ヒップはどのように61 cmになることができますか？



これらのユニークなものが何であるか見てみましょう：

 print girls[['Month','Year']][girls['Waist'] == 89]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらは、それぞれ1998年12月と2005年1月のプレイボーイの女の子です。 ここで簡単に見つけることができます 。 これらは、ニコール、エリカ、ジャクリンの3人組であり、非話者の姓は Dam（ Dahm ）です。3つすべてが「1つのアカウントの下」とDestiny Davis（ Destiny Davis ）です。 トリプレットウエストは25インチ（64 cm）で、89ではなく、Destiniのヒップは86 cmで、61ではありません。



美容のために、女の子のパラメーターの分布のヒストグラムを作成することもできます（変更のために、Rで作成されます）。









そのため、データを簡単に手伝って見てみると、もちろんデータがあまりなく、兆候が何らかの形で人が理解できる方法で解釈できる場合は、データにいくつかの奇妙な点を見つけることができます。

データの前処理

モデルをトレーニングするために、年を除き、数値パラメーターのみを残します。 これらをNumPy girl_params配列に書き込み、同時にfloat64型に変換します。 すべての属性が-1〜1の範囲になるようにデータをスケーリングします。これは、多くの主要な学習アルゴリズムにとって重要です。 詳細を説明することなく、スケーリングにより、変化の範囲が広いという理由だけでサインがより多くの重みを受けるという事実を回避します。 たとえば、「年齢」と「収入」という記号に従ってユークリッド距離を考慮すると、メトリックへの寄与は、たとえば数千、数十の年齢で測定されるため、はるかに高くなります。

 girl_params = np.array(girls.values[:,2:], dtype="float64") girl_params = scale(girl_params)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、データ内の2つの主要コンポーネントを選択して、表示できるようにします。 ここでは、Scikit-learn Principal Component Analysis（ PCA ）ライブラリが役に立ちました。 また、それは私たちの女の子の数を保つために私たちを傷つけることはありません。 さらに、データ内の排出量の1％を探していると言います。つまり、6〜7人の「奇妙な」女の子に制限します。 （大文字で記述されたPythonの変数は定数を表し、通常はモジュールを接続した後、ファイルの先頭に書き込まれます）。

 X = PCA(n_components=2).fit_transform(girl_params) girls_num = X.shape[0] OUTLIER_FRACTION = 0.01
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

モデルトレーニング

データ内の「外れ値」を検出するには、サポートベクターマシンの単一クラスモデルを使用します。 SVMのこのバリエーションに関する理論的研究は、アレクセイ・ヤコブレヴィッチ・チェルヴォンキスによって始められました。 Yandexによると 、現在、この問題を解決する方法の開発は、機械学習の理論の開発で最初に行われています。

ここではSVMとコアについては説明しません。たとえば、 Habré （よりシンプル）やmachinelearning.ru （より複雑）には、SVMとコアについて多くのことが書かれています。 名前が示すように、1クラスのSVMが同じクラスのオブジェクトを区別するために呼び出すことに注意してください。 データの異常を検出することは、この考え方のささやかなアプリケーションです。 現在、深層学習の時代では、1クラス分類のアルゴリズムを使用して、たとえば子供が他のすべてのオブジェクトと犬を区別するなど、オブジェクトの「表現を作成する」ようにコンピューターに教えようとしています。



しかし、Scikit-learnサイトで十分に文書化されているOne-class SVMのScikit実装に戻ります。

ガウスカーネルを使用して分類子のインスタンスを作成し、それにデータを「フィード」します。

 clf = svm.OneClassSVM(kernel="rbf") clf.fit(X)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

エミッション検索

トレーニングセットXのオブジェクトから構築された分割面までの距離を格納する配列dist_to_borderを作成し、しきい値を選択した後、オブジェクトが外れ値ではなくこのクラスの代表であるインジケーターの配列（TrueまたはFalse）を作成します。 さらに、オブジェクトが構築された分割面で囲まれた領域の「内側」にある場合（つまり、クラスの代表である場合）、距離は正になり、そうでない場合は負になります。 しきい値は、分割面までの距離など、統計的に決定され、OUTLIER_FRACTION（この場合は1つ）のサンプルの割合が大きくなります（つまり、この場合、 しきい値は分割面までの距離の配列の1％パーセンタイルです）。

 dist_to_border = clf.decision_function(X).ravel() threshold = stats.scoreatpercentile(dist_to_border, 100 * OUTLIER_FRACTION) is_inlier = dist_to_border > threshold
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

結果の表示と解釈

最後に、何が起こったのかを視覚化します。 この時点で私はやめません。希望する人は自分でmatplotlibを扱うことができます。 これは、Scikit-learnの「いくつかの方法による異常値検出」の例から再設計されたコードです。

 xx, yy = np.meshgrid(np.linspace(-7, 7, 500), np.linspace(-7, 7, 500)) n_inliers = int((1. - OUTLIER_FRACTION) * girls_num) n_outliers = int(OUTLIER_FRACTION * girls_num) Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()]) Z = Z.reshape(xx.shape) plt.title("Outlier detection") plt.contourf(xx, yy, Z, levels=np.linspace(Z.min(), threshold, 7), cmap=plt.cm.Blues_r) a = plt.contour(xx, yy, Z, levels=[threshold], linewidths=2, colors='red') plt.contourf(xx, yy, Z, levels=[threshold, Z.max()], colors='orange') b = plt.scatter(X[is_inlier == 0, 0], X[is_inlier == 0, 1], c='white') c = plt.scatter(X[is_inlier == 1, 0], X[is_inlier == 1, 1], c='black') plt.axis('tight') plt.legend([a.collections[0], b, c], ['learned decision function', 'outliers', 'inliers'], prop=matplotlib.font_manager.FontProperties(size=11)) plt.xlim((-7, 7)) plt.ylim((-7, 7)) plt.show()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次の図が表示されます。





7つの「放出」が表示されます。 この不快な「爆発」の下にどんな種類の女の子が隠れているかを理解するために、ソースデータでそれらを見てみましょう。

 print girls[is_inlier == 0]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

  Month Year Bust Waist Hips Height Weight 54 September 1962 91 46 86 152 45 67 October 1963 94 66 94 183 68 79 October 1964 104 64 97 168 66 173 September 1972 98 64 99 185 64 483 December 1998 86 89 86 173 52 507 December 2000 86 66 91 188 61 535 April 2003 86 61 69 173 54
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして今、最も面白い部分は、結果として生じる放出の解釈です。

Kunstkameraには7つの展示しかないことに気づきました（OUTLIER_FRACTIONしきい値を設定できたので）、それぞれの展示を確認できます。

1. ミッキーウィンターズ 。 1962年9月。91-46-86、高さ152、重量45。
   
   
   
   もちろん、ウエスト46はクールです！ 彼らはこの胸91でどうしていますか？
   
   
2. クリスティン・ウィリアムズ 1963年10月。94-66-94、高さ183、重量68。
   
   
   
   その年の少女ではありません。 これはミッキーウィンターズではありません。
   
   
3. ローズマリーヒルクレスト 。 1964年10月、104-64-97、身長168、体重66。
   
   
   
   すごいすごい！ 素晴らしい女性。
   
   
4. スーザン・ミラー 1972年9月。98-64-99、高さ185、体重64。
   
   
   
   
5. キューティーダムトリプレットダム 。 86-89（実際の64）-86、高さ173、重量52。
   
   
   
   データエラーの例。 彼らが3つすべてをどのように測定したかはあまり明確ではない。
   
   
6. カーラ・ミシェル 。 2000年12月。86-66-91、高さ188、体重61。
   
   
   
   成長188-この記事の著者の上。 このような「履歴」データの明示的な「外れ値」。
   
   
7. カルメラ・デ・チェザーレ 。 2003年4月。86-61-69、高さ173、重量54。
   
   
   
   おそらく腰のために。
   
   

ヒップが61 cmの女性は、他の女の子とは非常に異なり、他の点ではかなり正常であり、SVMが「外れ値」として定義されていなかったことは注目に値します。

おわりに

最後に、最初のデータ分析の重要性に注目し、「目だけで」、そしてもちろん、データの異常の検出は、より深刻なタスクにも使用されることに注意してください-信頼できない顧客を認識するための信用スコアリング、潜在的な「ボトルネック」を検出するセキュリティシステム、サイバー犯罪者などを検索するための銀行取引の分析。 また、興味のある読者は、データとそのアプリケーションの異常と異常値を検出するための他の多くのアルゴリズムを見つけるでしょう。