機械学習ハッカソン：さあ。 モデルをトレーニングします。 勝つために

ハッカソンの標準プラン ↓







今週の週末には、マイクロソフトが主催する機械学習ハッカソンが開催されます。 ハッカソンの参加者は、十分な睡眠を得ず、世界をより良い場所にするために、2日間を過ごすことになります。



この記事のナレーションは、私が信じているように、参加者の大多数にとってハッカソンが行われるのと同じ迅速な方法で行われます。 水なし（Azure MLに慣れていない場合は、「水」またはある種の入門資料を読むことをお勧めします）、長い定義、このような長いイントロ-ハッカソンで勝つために必要なものだけです。

シンプルに

1） つかむ コーヒーマシンを見つけます。

2）2日しかないので、 庭を囲う 複雑なモデル：それらは簡単に再訓練され、作成に時間がかかります。 最も単純な仮定を採用し、繰り返し複雑にします。 反復が成功するたびに、機械学習アルゴリズムに提供されたデータセットと、トレーニングの結果として取得されたモデルを保存します。 これは、Azure ML Studio（これはWeb IDEです）のコンテキストメニューの[データセットとして保存]、[モデルを保存]のメニュー項目を使用して行われます。 したがって、反復ごとにデータセットとtrained_modelのペアがあります。

コラボレーション

既にワークスペースを作成してください！ manage.windowsazure.comを開き、Azure MLを選択して、より高速なワークスペースを作成します。 チームごとに1つであり、自分自身の個人用ではありません！ すべての参加者からメールを収集し、参加者間のワークスペースを拡大します。

地球温暖化への貢献

以下は、Azure MLの最も単純な学習グラフの外観です。







しかし、それは違います！ だから家でやる：走って、お茶を飲んで、散歩に出て、来て、何が起こったのかを見て、考えて、あなたの肩をかき、再び走って、お茶を飲む...ハッカソンではこの時間はありません！



すぐに動作する可能性のあるすべてのアルゴリズムを確認してください。 それだけです-これはAzureであり、自宅のラップトップではありません！ Azureデータセンターは、米国西海岸の雰囲気を温めますが、モデルトレーニングプロセスは完了します！ これは、2クラス分類の5つのアルゴリズムでどのように見えるかの例です。







ロジスティック回帰アルゴリズム（青の曲線）とサポートベクトル法（赤の曲線）でトレーニングされたモデルの比較：

相互検証

既にクロス検証を有効にしてください！ そして、それを正しく有効にします：検証データセットを使用して、折り畳みを使用して、最大化するメトリックを示します（つまり、相互検証の図に示すように）。



交差検証を有効にすることで、機械学習アルゴリズムがデータに表示できる可能性のある最良の結果を見つけ、このアルゴリズムの安定性を理解します（標準偏差が小さいほど、結果は安定します）。



各フォールドの結果：

スイープパラメーター

モデルのパフォーマンスに対する重要な影響は、機械学習アルゴリズムのパラメーターによって提供されます。 したがって、ニューラルネットワークの場合、これは決定ツリーのニューロンの隠された層の数、初期重み、ツリーの数、ツリーあたりの葉の数です。



4つの分類アルゴリズムのいくつかのパラメーターを手動で検索することにより、新しいアイデアが噴出する状況で、新しい年まで（そして多分）参加することになります。 新年を大事にしてください！ また、ハッカソンでは、組み込みのSweep Parametersモジュールを使用します。







モジュール設定：

公正なデータ分割

個別のテストセットとトレーニングセット（分割モジュール）。 データサイエンスで使用可能なデータの量に応じて、テストセットのデータの10％から30％を残すのが一般的です。 ない 自己欺く テストセットでモデルを学習します。クロス検証の結果を確認するために使用しないでください。 必要なのは、テストモデルのみです。最終モデルの確認です。

学習をスピードアップ

モデルが時間内に速く学習するほど、より多くの仮説をテストできます。 機能選択セクションのモジュールを使用して、トレーニング時間を短縮するだけでなく、最も関連性の高い予測変数を取得し、モデルを一般化します（実際のデータでのパフォーマンスを向上させるため）。



そのため、ツイートの調性を決定するタスクでフィルターベースの機能選択モジュールを使用して、予測子の数を160Kから20Kに減らしました。







結果-フィルタリングの前後の予測子（列）の数を確認します。









また、フィッシャー線形判別モジュールは、Iris Datasetを4xN行列から2xN（Nは観測数）に削減するのに役立ちました。







結果-フィルタリングの前後の予測子（列）の数を確認します。

学習をスピードアップします。 パート2

Azure MLはR / Pythonスクリプトを実行できます。 そのため、箱から出してすぐに〜400個のRパッケージをサポートし、Pythonノートブックにエクスポートできます。これはほんの始まりです。



しかし（！）R / Pythonスクリプトを書くのは、Azure MLに組み込まれているどのモジュールが同じことをするのかわからないという理由だけで書かないでください。 組み込みモジュール：

• Azure ML用に最適化されています（ほとんどの場合、C ++で記述されており、「高速」のように聞こえます）。
  
  
• 内部での作業は潜在的に並列化および分散されます（データに従って並列処理されるタスクと実行されないタスクをどのモジュールが事前に知っているため）。
  
  
• 組み込みモジュールに実装された機械学習アルゴリズムは、潜在的にLSML履歴（クラスターで分散実行）になる可能性もあります。
  
  

あなたのプログラミングの才能をWithoutうことなく、私はあなたの素晴らしく書かれたpythonスクリプトがそのように実行される可能性は低いことに注意します。 Azure MLの場合、このようなスクリプトはブラックボックスです。

機能エンジニアリング

詳細を理解してください！ このため、Azure MLには視覚化ツールとggplot2を使用する機能の両方があります。 また、記述統計モジュールを無視しないでください。これにより、実験のどの段階でもデータについて多くのことがわかります。

前処理

データを正しくマークします-メタデータエディターモジュールを使用します。



欠損データの消去モジュールは、欠損データの処理に役立ちます（欠損データを削除し、デフォルト値、中央値またはmodに置き換えます）。



異常検出セクションと簡単な視覚化は、異常値の検出に役立ちます。



Normalizeモジュールを使用して、正規分布とは異なるすべての数値データを正規化（少なくとも試行）します。 同じモジュールを使用して、絶対値が大きいすべての数値データをスケーリングします。

ジェダイのテクニック

ジェダイのテクニック：ブースティングとスタッキング

用語に直接：



ブースティングは、結果がいくつかの異なるモデルの加重/経験的に計算された推定値であるアプローチです。



スタッキングは、ブーストに対する同様のアプローチです。データでトレーニングされた複数のモデルもありますが、経験式はありません。元のモデルの推定に基づいてメタモデルを構築します。



これらは、80レベルのデータサイエンティストをフル活用した非常にクールな手法です。 Azure MLでブースティングまたはスタック（または単にバギング）を実装する組み込みモジュールはありません。 それらの実装はそれほど複雑ではありませんが、独自の長い微妙なリストがあります。



ここで、スタッキングを使用して、Boosted Decision Tree分類器とロジスティック回帰を使用したニューラルネットワークを使用してトレーニングされたメタモデルを作成する方法を説明します。



実装されたスタッキングの概略図：







レベル1：







レベル2：







Azure MLでのブースティングおよびスタックアプローチの実装は、別の興味深い記事のトピックであり、この記事のフレームワークでは明らかにできません。 しかし、（！） ハッカソンの2日目に、あなたは私を見つけることができます （ハッカソンのスピーカーページの右下。写真と同じように悪く見えます）、私は間違いなくあなたのモデルにスタッキングを追加し 、おそらく重要なものによってそのパフォーマンスを改善する方法を示しますこのようなイベントは、3〜5％です。

ジェダイテクニック：Hadoop / HBase / Spark Cluster

私は冗談を言っているわけではありません。クラスターが必要です！ ただし、急いで鉄片を購入して、ソフトウェア製品が豊富なHadoopエコシステム全体の展開/管理を開始しないでください。 それは長く、高価で、そして...良いです。 そして、速くて良いもの、すなわち HDInsight。



Azure HDInsightは、オンデマンドでHadoop / HBase / Sparkクラスターを提供するクラウドサービスです。 クラスター作成ウィザードの完了には2分かかります。クラスター作成自体はAzureに移動します コーヒー1杯 〜10分。







しかし、最良の部分は、HBase（完全に正確な場合、Hive要求）がAzure MLのデータソースの1つとしてサポートされることです。 そのため、大量のデータがあり、複雑なクエリを実行する必要がある場合、ためらうことなく、HBaseクラスターをAzureにデプロイし、そこから直接Azure MLにデータを読み込みます。

ジェダイテクニック：データサイエンスVM

Azure VMで利用できる仮想マシンイメージの1つであるRevolution R Open、Anaconda Python、Power BIなどがプリインストールされた「Data Science VM」イメージを利用してください 。



最愛の人に限定しないでください：必要なメモリ量（最大448 GBのRAMが使用可能）、コア数（最大32コアが使用可能）、および必要に応じてSSDドライブを備えた仮想マシンを使用してください。 一般的に、あなた自身のために快適な労働条件を作成してください。

肩越しにこじ開けます。 陰謀。 オイルを見つけてください！

賞品に参加しない

ハッカソンは、同じ趣味の人とのコミュニケーション、専門家との出会い、無料のコーヒーのために、雰囲気のために取る価値のあるイベントです。外が寒い場合、住む場所はありません。 コミュニケーション、経験の共有！ （とにかく最もトリッキーな人が勝ちます。）





コミュニケーションといえば、明日モスクワデータサイエンスMeetupが開催されます。これは、データサイエンティストとこの分野に関心のある人にとって最も楽しい形式の最も素晴らしいイベントです。