課題のためのPythonの予約：データサイエンスと機械学習

こんにちは、habrozhiteli！ この本は、集中的なデータ処理、研究、および高度な開発が考えられない限り、さまざまな計算手法および統計手法のガイドです。 すでにプログラミングの経験があり、データサイエンスの分野でPythonを効果的に使用したい読者は、この本のあらゆる種類の質問に対する答えを見つけるでしょう。たとえば、このデータ形式をスクリプトに読み込む方法は？ このデータを変換、消去、操作する方法は？ このタイプのデータを視覚化する方法は？ このデータを使用して状況を理解し、質問への回答を得、統計モデルを構築し、機械学習を実装する方法は？



以下は、書評と抜粋「ヒストグラム、間隔の内訳、および密度」です。

この本は誰のためですか？

「Pythonをどの程度正確に学習する必要がありますか？」さまざまな技術会議や会議で私（著者）によく寄せられる質問の1つです。 技術に興味のある学生、開発者、または研究者は、多くの場合、コードを記述し、計算ツールやデジタルツールを使用するかなりの経験があるため、それを求めます。 それらのほとんどは、Pythonプログラミング言語をその最も純粋な形で必要としません;彼らは、大量のデータを処理する計算を必要とする問題を解決するためのツールとしてそれを使用するためにそれを勉強したいと思います。



この本は、Python言語またはプログラミング全般の入門書ではありません。 読者は、関数の説明、変数の割り当て、オブジェクトメソッドの呼び出し、プログラムのフローの制御、その他の簡単なタスクの解決など、Python言語に精通していると思います。 PythonユーザーがPythonデータマイニングツールのスタック（IPython、NumPy、Pandas、Matplotlib、Scikit-Learn、および関連ツールなどのライブラリ）を使用してデータを効率的に保存、操作、および理解する方法を学習するのに役立つはずです。

本の一般的な構造

本の各章は、Pythonデータマイニングツールの重要な部分を形成する特定のパッケージまたはツールに焦点を当てています。

• IPythonとJupyter（第1章）-多くのPythonデータ研究者が働くコンピューティング環境を提供します。
• NumPy（第2章）-効率的なストレージのためのndarrayオブジェクトを提供し、Pythonで高密度のデータ配列を処理します。
• Pandas（第3章）-Pythonで名前付き/列データを効率的に保存および処理するためのDataFrameオブジェクトを提供します。
• Matplotlib（第4章）-Pythonの多用途で柔軟なデータ視覚化機能を提供します。
• Scikit-Learn（第5章）-最も重要で有名な機械学習アルゴリズムの効率的なPython実装を提供します。

PyDataの世界は提示されているパッケージよりもはるかに広く、日々成長しています。 これを念頭に置いて、私（著者）は本のあらゆる機会を利用して、Pythonでできることの限界を広げる他の興味深い作品、プロジェクト、パッケージを参照します。 ただし、今日、これらの5つのパッケージは、Pythonプログラミング言語をデータマイニングに適用するためにできることの多くの基本です。 周囲の生態系が成長しても、彼らはその価値を維持すると信じています。

抜粋 ヒストグラム、インターバルブレーク、および密度

単純なヒストグラムは、データセットの初期分析において非常に有益です。 先ほど、Matplotlibライブラリの関数（第2章の「比較、マスク、およびブール論理」セクションを参照）を使用して、通常のインポートがすべて完了した後、1行で単純なヒストグラムを作成する例を見てきました（図4.35）：

In[1]: %matplotlib inline import numpy as np import matplotlib.pyplot as plt plt.style.use('seaborn-white') data = np.random.randn(1000) In[2]: plt.hist(data);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

hist（）関数には、計算と表示の両方を調整するための多くのパラメーターがあります。 詳細なユーザー設定を含むヒストグラムの例を次に示します（図4.36）。

 In[3]: plt.hist(data, bins=30, normed=True, alpha=0.5, histtype='stepfilled', color='steelblue', edgecolor='none');
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

plt.hist関数のdocstringには、利用可能な他のカスタマイズオプションに関する詳細情報が含まれています。 histt​​ype = 'stepfilled'オプションと指定されたアルファ透明度の組み合わせは、いくつかの分布のヒストグラムを比較するのに非常に便利なようです（図4.37）。

 In[4]: x1 = np.random.normal(0, 0.8, 1000) x2 = np.random.normal(-2, 1, 1000) x3 = np.random.normal(3, 2, 1000) kwargs = dict(histtype='stepfilled', alpha=0.3, normed=True, bins=40) plt.hist(x1, **kwargs) plt.hist(x2, **kwargs) plt.hist(x3, **kwargs);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ヒストグラムを計算する（つまり、特定の間隔内のポイント数をカウントする）必要がなく、表示しない場合、np.histogram（）関数がサービスにあります。

 In[5]: counts, bin_edges = np.histogram(data, bins=5) print(counts) [ 12 190 468 301 29]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

二次元ヒストグラムと区間内訳

数値のシーケンスを間隔に分割する1次元ヒストグラムの作成方法と同様に、2次元ヒストグラムを作成して、2次元間隔でポイントを分布させることができます。 いくつかの実行方法を検討してください。 多次元ガウス分布から取得したデータ配列xおよびyの説明から始めましょう。

 In[6]: mean = [0, 0] cov = [[1, 1], [1, 2]] x, y = np.random.multivariate_normal(mean, cov, 10000).T
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Plt.hist2d関数：2次元ヒストグラム

2次元ヒストグラムを描画する最も簡単な方法の1つは、Matplotlibライブラリのplt.hist2d関数を使用することです（図4.38）。

 In[12]: plt.hist2d(x, y, bins=30, cmap='Blues') cb = plt.colorbar() cb.set_label('counts in bin') #   
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

plt.hist2d関数は、plt.hist関数と同様に、グラフを微調整し、間隔で除算するための追加パラメーターが多数あります。詳細については、そのdocstringで説明しています。 plt.hist関数がnp.histogramと同等であるように、plt.hist2d関数はnp.histogram2dと同等であり、次のように使用されます。

 In[8]: counts, xedges, yedges = np.histogram2d(x, y, bins=30)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

2を超える測定数によるヒストグラムの区間内訳を要約するには、np.histogramdd関数を参照してください。

Plt.hexbin関数：六角形の間隔

2次元ヒストグラムは、座標軸に沿った正方形のモザイク表現を作成します。 同様のモザイク表現の別の幾何学的図形は、正六角形です。 これらの目的のために、Matplotlibライブラリはplt.hexbin関数を提供します-六角形のグリッド上で間隔に分割された2次元データセット（図4.39）：

 In[9]: plt.hexbin(x, y, gridsize=30, cmap='Blues') cb = plt.colorbar(label='count in bin') #   
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

plt.hexbin関数には、各ポイントの重みを設定し、各間隔の表示値をNumPyライブラリのサマリーインジケーターに変更する機能（重みの平均値、重みの標準偏差など）など、多くの興味深いパラメーターがあります。

核密度推定

多次元空間の密度を推定するために一般的に使用されるもう1つの方法は、カーネル密度推定（KDE）です。 これについては、第5章の「詳しく見てみましょう：分布密度の核推定」セクションで詳しく調べますが、今のところ、KDEは空間の点を「塗り付けて」結果を追加して滑らかな関数を得る方法として表現できることに注意してください。 scipy.statsパッケージには、非常に高速で簡単なKDE実装があります。 上記のデータでKDEを使用する短い例を次に示します（図4.40）：

 In[10]: from scipy.stats import gaussian_kde #      [Ndim, Nsamples] data = np.vstack([x, y]) kde = gaussian_kde(data) #      xgrid = np.linspace(-3.5, 3.5, 40) ygrid = np.linspace(-6, 6, 40) Xgrid, Ygrid = np.meshgrid(xgrid, ygrid) Z = kde.evaluate(np.vstack([Xgrid.ravel(), Ygrid.ravel()])) #       plt.imshow(Z.reshape(Xgrid.shape), origin='lower', aspect='auto', extent=[-3.5, 3.5, -6, 6], cmap='Blues') cb = plt.colorbar() cb.set_label("density") # 
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

KDEメソッドのスムージングの長さにより、スムーズさとディテールの間のトレードオフを効果的に選択できます（変位と分散の間のユビキタスなトレードオフの一例）。 適切な平滑化の長さの選択に関する広範な文献があります。gaussian_kde関数は、経験則を使用して入力データの準最適な平滑化の長さを見つけます。



SciPyエコシステムには他にもKDEメソッドの実装があり、それぞれ独自の長所と短所があります。たとえば、sklearn.neighbors.KernelDensityおよびstatsmodels.nonparametric.kernel_density.KDEMultivariateメソッドです。 KDEベースの視覚化にMatplotlibライブラリを使用するには、冗長コードを記述する必要があります。 この章の「Seabornライブラリを使用した視覚化」セクションで説明するSeabornライブラリは、そのような視覚化を作成するためのはるかに簡潔な構文を持つAPIを提供します。

チャート上のカスタム凡例

グラフのさまざまな要素にラベルを設定することにより、グラフがより明確になります。 以前、単純な凡例を作成することを検討しましたが、ここではMatplotlibで凡例の場所と外観をカスタマイズする可能性を示します。

plt.legend（）コマンドを使用すると、マークされたグラフ要素の最も単純な凡例を自動的に作成できます（図4.41）。

 In[1]: import matplotlib.pyplot as plt plt.style.use('classic') In[2]: %matplotlib inline import numpy as np In[3]: x = np.linspace(0, 10, 1000) fig, ax = plt.subplots() ax.plot(x, np.sin(x), '-b', label='Sine') #  ax.plot(x, np.cos(x), '--r', label='Cosine') #  ax.axis('equal') leg = ax.legend();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このようなスケジュールには多くのカスタムオプションが必要になる場合があります。 たとえば、凡例の場所を設定し、フレームを無効にすることができます（図4.42）：

 In[4]: ax.legend(loc='upper left', frameon=False) fig
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ncolコマンドを使用して、凡例の列数を設定することもできます（図4.43）：

 In[5]: ax.legend(frameon=False, loc='lower center', ncol=2) fig
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

凡例に丸い長方形のフレーム（ファンシーボックス）を使用したり、影を追加したり、フレームまたはテキストの近くのフィールドの透明度（アルファファクター）を変更したりできます（図4.44）。

 In[6]: ax.legend(fancybox=True, framealpha=1, shadow=True, borderpad=1) fig
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

凡例の既存の設定の詳細については、plt.legend関数のdocstringを参照してください。

凡例の要素を選択する

デフォルトでは、凡例にはマークされたすべてのアイテムが含まれます。 これが不要な場合は、グラフ作成コマンドで返されるオブジェクトを使用して、凡例にどの要素とラベルを表示するかを指定できます。 plt.plot（）コマンドは、1回の呼び出しで複数の線を描画し、作成された線インスタンスのリストを返すことができます。 使用する要素を示すには、指定されたラベルとともにそれらのいずれかをplt.legend（）関数に渡すだけで十分です（図4.45）。

 In[7]: y = np.sin(x[:, np.newaxis] + np.pi * np.arange(0, 2, 0.5)) lines = plt.plot(x, y) # lines      plt.Line2D plt.legend(lines[:2], ['first', 'second']); # , 
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

通常、実際には最初の方法を使用して、凡例に表示する必要のある要素のラベルを直接示す方が便利です（図4.46）。

 In[8]: plt.plot(x, y[:, 0], label='first') plt.plot(x, y[:, 1], label='second') plt.plot(x, y[:, 2:]) plt.legend(framealpha=1, frameon=True);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デフォルトでは、ラベル属性が設定されていないすべての要素が凡例で無視されることに注意してください。

さまざまなサイズのポイントの凡例を定義する

デフォルトの凡例機能では、スケジュールが十分でない場合があります。 さまざまなサイズのドットを使用してデータの特定の兆候を視覚化し、これを反映する凡例を作成するとします。 ここに、ドットのサイズを使用してカリフォルニアの都市の人口を反映する例があります。 ポイントサイズスケールの凡例が必要です。ラベル自体を使用せずに、ラベル付きデータをグラフに表示して作成します（図4.47）。

 In[9]: import pandas as pd cities = pd.read_csv('data/california_cities.csv') #     lat, lon = cities['latd'], cities['longd'] population, area = cities['population_total'], cities['area_total_km2'] #     , #     ,    plt.scatter(lon, lat, label=None, c=np.log10(population), cmap='viridis', s=area, linewidth=0, alpha=0.5) plt.axis(aspect='equal') plt.xlabel('longitude') plt.ylabel('latitude') plt.colorbar(label='log$_{10}$(population)') plt.clim(3, 7) #  : #           for area in [100, 300, 500]: plt.scatter([], [], c='k', alpha=0.3, s=area, label=str(area) + ' km$^2$') plt.legend(scatterpoints=1, frameon=False, labelspacing=1, title='City Area') #  plt.title('California Cities: Area and Population'); #  :   
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

凡例は常にチャート上にあるオブジェクトを参照するため、特定のタイプのオブジェクトを表示する必要がある場合は、まずチャート上に描画する必要があります。 この場合、必要なオブジェクト（灰色の円）はチャート上にないため、トリックに進み、空のリストをチャートに表示します。 凡例には、ラベルが指定されているチャート要素のみがリストされていることに注意してください。



空のリストをプロットしてラベル付きオブジェクトを作成し、それを凡例にまとめます。 凡例は有用な情報を提供します。 この戦略を使用して、より複雑な視覚化を作成できます。



このような地理データの場合、州の境界線やその他の地図要素を表示すると、グラフがより明確になることに注意してください。 この目的に最適なツールは、Matplotlibライブラリ用のオプションのBasemapユーティリティセットです。これについては、この章の「ベースマップを使用した地理データの表示」セクションで説明します。

いくつかの凡例の表示

プロットするときに、同じ座標系に対していくつかの凡例を追加する必要がある場合があります。 残念ながら、Matplotlibライブラリはこのタスクを大幅に簡素化するものではありません。標準の凡例インターフェイスを使用すると、チャート全体に対して1つの凡例しか作成できません。 plt.legend（）およびax.legend（）関数を使用して2番目の凡例を作成しようとすると、単純に最初の凡例を上書きします。 この問題を解決するには、最初に凡例の新しいペインタ（アーティスト）を作成し、次に低レベルのax.add_artist（）メソッドを使用して2番目のペインタを手動でチャートに追加します（図4.48）：

 In[10]: fig, ax = plt.subplots() lines = [] styles = ['-', '--', '-.', ':'] x = np.linspace(0, 10, 1000) for i in range(4): lines += ax.plot(x, np.sin(x - i * np.pi / 2), styles[i], color='black') ax.axis('equal') #       ax.legend(lines[:2], ['line A', 'line B'], #  ,  B loc='upper right', frameon=False) #        from matplotlib.legend import Legend leg = Legend(ax, lines[2:], ['line C', 'line D'], #  ,  D loc='lower right', frameon=False) ax.add_artist(leg);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Matplotlibライブラリのチャートを構成する低レベルの描画オブジェクトを簡単に調べました。 ax.legend（）メソッドのソースコードを見ると（これは、legend ??コマンドを使用してIPythonシェルのメモ帳で実行できることを思い出してください）、この関数は、適切なLegendドロワーを作成するロジックから成り立っていることがわかります。 legend_およびグラフの描画時に図面に追加されます。

カスタムカラースケール設定

グラフの凡例は、離散点に対応する離散ラベルを表します。 ドット、線、または領域の色に基づいた連続ラベルには、カラースケールのようなツールが最適です。 Matplotlibライブラリでは、カラースケールは、チャート上の色の意味へのキーを提供する独立した座標系です。 この本は白黒で印刷されているため、このセクションでは、オリジナルのグラフィックをカラーで見ることができる追加のオンラインアプリケーションがあります（https://github.com/jakevdp/PythonDataScienceHandbook）。 まず、メモ帳をセットアップしてグラフを作成し、必要な機能をインポートします。

 In[1]: import matplotlib.pyplot as plt plt.style.use('classic') In[2]: %matplotlib inline import numpy as np
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最も単純なカラースケールは、plt.colorbar関数を使用して作成できます（図4.49）。

 In[3]: x = np.linspace(0, 10, 1000) I = np.sin(x) * np.cos(x[:, np.newaxis]) plt.imshow(I) plt.colorbar();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、カラースケールをカスタマイズし、さまざまな状況で効果的に使用するためのいくつかのアイデアを見ていきます。 視覚化作成関数のcmap引数を使用して、カラーマップを指定できます（図4.50）。

 In[4]: plt.imshow(I, cmap='gray');
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

使用可能なすべてのカラーマップは、plt.cm名前空間に含まれています。 IPythonシェルのTAB自動補完を使用して、組み込みオプションの完全なリストを取得できます。

 plt.cm.<TAB>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

しかし、カラーカードを選択する機能は最初のステップに過ぎず、使用可能なオプションの中から選択することが非常に重要です！ 選択は、予想よりもはるかに微妙です。

カラーカードの選択

視覚化における色の選択に関する包括的な議論は、この本の範囲を超えていますが、このテーマについては、記事「より良い数字のための10の簡単なルール」 （ 「パターンを改善するための10の簡単なルール」 ）を読んでください Matplotlibライブラリのオンラインドキュメントには、カラーマップの選択に関する興味深い情報も含まれています。



カラーカードには3つの異なるカテゴリがあることに注意してください。

• 連続した色のカード。 1つの連続した色のシーケンスで構成されます（たとえば、バイナリまたはビリディス）。
• 発散色カード。 通常は、平均からの正と負の偏差を反映する2つの異なる色（RdBuまたはPuOrなど）が含まれます。
• 高品質のカラーカード。 それらの色は明確な順序なしに混ざります（例：虹やジェット）。

バージョン2.0以前のMatplotlibライブラリでデフォルトで使用されているジェットカラーマップは、高品質のカラーマップの例です。 高品質のカラーマップは量的データを反映するのにはあまり適していないため、デフォルトのカラーマップとしての彼女の選択は非常に失敗しました。通常、スケールに沿って移動するときの輝度の均一な増加は反映されません。



これは、ジェットカラースケールを白黒表現に変換することで実証できます（図4.51）。

 In[5]: from matplotlib.colors import LinearSegmentedColormap def grayscale_cmap(cmap): """       """ cmap = plt.cm.get_cmap(cmap) colors = cmap(np.arange(cmap.N)) #  RGBA       # . http://alienryderflex.com/hsp.html RGB_weight = [0.299, 0.587, 0.114] luminance = np.sqrt(np.dot(colors[:, :3] ** 2, RGB_weight)) colors[:, :3] = luminance[:, np.newaxis] return LinearSegmentedColormap.from_list(cmap.name + "_gray", colors, cmap.N) def view_colormap(cmap): """      """ cmap = plt.cm.get_cmap(cmap) colors = cmap(np.arange(cmap.N)) cmap = grayscale_cmap(cmap) grayscale = cmap(np.arange(cmap.N)) fig, ax = plt.subplots(2, figsize=(6, 2), subplot_kw=dict(xticks=[], yticks=[])) ax[0].imshow([colors], extent=[0, 10, 0, 1]) ax[1].imshow([grayscale], extent=[0, 10, 0, 1]) In[6]: view_colormap('jet')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

無彩色画像の明るい縞に注意してください。 フルカラーであっても、この不均一な明るさは、色範囲の特定の部分が注目を集めることを意味し、潜在的に非本質的なアクセントにつながる可能性があります

データセットの一部。 特定の範囲で輝度を均一に変更するために特別に設計されたviridis（デフォルトで使用されるMatplotlibライブラリのバージョン2.0以降で使用）などのカラーマップを使用することをお勧めします。 したがって、それらは私たちの色知覚と一致しているだけでなく、グレーの濃淡で印刷目的のために変換されます（図4.52）：

 In[7]: view_colormap('viridis')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

レインボーカラースキームを好む場合、連続データにはキューブヘリックスカラーマップが適しています（図4.53）。

 In[8]: view_colormap('cubehelix')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

他の場合、たとえば、平均値からの正および負の偏差を表示するには、RdBu（赤-青-「赤-青」の略）などのカラースケールの2色マップが便利な場合があります。 ただし、図でわかるように。 4.54、グレーの濃淡に切り替えると、そのような情報は失われます！

 In[9]: view_colormap('RdBu')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、これらのカラーマップのいくつかの使用例を見ていきます。

Matplotlibライブラリには多くのカラーマップがあり、それらのリストを表示するには、IPythonシェルを使用してplt.cmサブモジュールの内容を表示できます。 Pythonで色を使用するためのより基本的なアプローチは、Seabornライブラリのツールとドキュメントにあります（この章の「Seabornライブラリを使用した視覚化」セクションを参照）。



»この書籍の詳細については、出版社のウェブサイトをご覧ください

» コンテンツ

» 抜粋



ホーカーの20％割引クーポン-Python