無料のランチはありません。 Kaggleデータ分析コンテストの概要

この記事の目的は、 Kaggleデータ分析コンテストを幅広い読者に紹介することです 。 Outbrainクリック予測コンペティションを例に使用して、参加へのアプローチについてお話します。この例では、979チームのうち4位になり、最初のスピーカーのみを終了しました。



素材を理解するには、機械学習に関する知識が望ましいですが、必須ではありません。



私について-私はcaptify.co.ukでデータサイエンティスト/ソフトウェアエンジニアとして働いています。 これはKaggleでの2番目の主要な競争であり、以前の結果は24/2125で、これもソロです。 私は約5年間、プログラミング-12で機械学習を研究しています。Linkedinプロファイル 。

機械学習とKaggleプラットフォームについて

機械学習の主なタスクは、以前にレビューしたものとは異なる入力データに基づいて結果を予測できるモデルを構築することです。 たとえば、現在の価値、市場のダイナミクス、および金融ニュースを考慮して、特定の企業の特定の時間後の株式の価値を予測します。



ここでは、株式の将来価値が予測になり、現在価値、ダイナミクス、ニュースが入力されます。



Kaggleは、主にデータ分析と機械学習のための競争プラットフォームです。 タスクの範囲は完全に異なります-種のクジラの分類、癌性腫瘍の識別、不動産の価値の評価など。 主催者は問題を作成し、データを提供し、賞金を後援します。 この記事の執筆時点では、3つのコンペティションがアクティブで、賞金総額$ 1.25Mはアクティブなコンペティションのリストです 。



私の最後の競争はOutbrainクリック予測です。タスクは、ユーザーに表示される広告からユーザーがクリックする広告を予測することです。 コンテストスポンサー-Outbrainは、ブログやニュースなどのさまざまなコンテンツを宣伝しています。 広告ユニットは、cnn.com、washingtonpost.comなど、さまざまなリソースに配置されます。 ユーザーのクリックに対してお金を受け取る会社なので、潜在的に興味深いコンテンツをユーザーに見せることに興味があります。







タスクの正式な説明は、広告をクリックする確率の降順でこのブロックにユーザーに表示される広告を配置することです。



たとえば、80GB領域のクリックログファイルなど、提供されるデータの量は非常に多くなります。 入力データの正確な説明は、コンテストページで入手できます 。



提供されたデータは2つの部分に分けられます-参加者がユーザーがクリックするバナーを知っている部分（トレーニングデータ）と、結果を予測する必要があるデータ-テストします。 同時に、Kaggleはテストデータの実際の結果を把握しています。



競合他社は、トレーニングデータを使用して、テストデータの結果を予測するモデルを構築します。 最終的に、これらの予測はロードされ、実際の結果を知っているプラ​​ットフォームは予測の正確さを示します。

競技会への参加の一般的な計画

1. タスクと利用可能なデータの分析
   
   
2. 可能な解決策の検索と研究
   
   
3. ローカル精度評価メカニズムの開発
   
   
4. モデルの機能を生成する
   
   
5. 実装（既成のアルゴリズムがない場合）+モデル構築
   
   
6. 精度評価
   
   
7. アイテム4〜6の反復、新しいモデルの追加（ほとんどの場合）
   
   
8. モデルのアンサンブルとスタック（オプション）
   
   
9. チーミング（オプション）
   
   

はじめに

入力データ

まず第一に、競争の参加者が利用できるデータを扱うことは価値があります。 原則として、[データ]ページには構造とセマンティクスの説明があり、[競争ルール]ページには、外部データソースを使用できるかどうか、使用できる場合は他のユーザーと共有する価値があるかどうかの説明があります。



私が最初に行うことは、すべてのデータをポンプで出力し、構造、依存関係を理解し​​て、問題のステートメントに対応させることです。 これらの目的のために、 Jupyter + Pythonを使用すると便利です。 さまざまなグラフ、統計メトリックを構築し、データ分布を調べます-データを理解するのに役立つすべてのことを行います。



たとえば、1つの広告ユニットの広告数の分布を作成してみましょう。







また、Kaggleには、ラップトップでコードを直接実行できるカーネルセクションがあり、通常、利用可能なデータセットのさまざまな視覚化を行う人がいます-これが、他の人のアイデアを使用する方法です。



構造、依存関係、またはデータ値について質問がある場合は、フォーラムで回答を検索するか、自分で推測して、まだ推測していない（まだ推測していない）人よりも優位に立つことができます。



また、多くの場合、データにはリークがあります。たとえば、一時的な依存関係により、タスクのサブセットのターゲット変数の値（予測）を理解できます。



たとえば、Outbrainクリック予測では、クリックログのデータから、ユーザーが特定の広告をクリックしたことを理解できました。 このようなリークに関する情報は、フォーラムで公開されるか、または宣伝なしに参加者によって使用される場合があります。

問題解決へのアプローチの分析

問題の声明と入力データ全体ですべてが明確になったら、情報の収集を開始します。本を読んだり、類似の競争を研究したり、科学出版物を調べたりします。 これは競争の素晴らしい期間であり、非常に短い時間枠でこのような問題を解決するための知識を大幅に広げることができます。



そのような競争を研究しているので、私は彼のフォーラムをレビューします。そこでは、勝者は通常彼らのアプローチを説明し、利用可能なソリューションのソースコードを研究します。



出版物を読むと、これまでの最良の結果とアプローチが紹介されます。 また、元のソースコードまたは再作成されたソースコードを見つけることができる場合にも最適です。



たとえば、最後の2つのClick-Predictionコンテストは同じチームが勝ちました。 彼らの決定の説明+ソースコード+これらのコンテストのフォーラムを読むことは、おおよそあなたが仕事を始めることができる方向のアイデアを与えました。

最初のコード

バージョン管理

私は常にバージョン管理リポジトリを初期化することから始めます。 最初から重要なコードを失う可能性があります。後で復元するのは非常に不快です。 私は通常Git + Bitbucket（無料のプライベートリポジトリ）を使用します

ローカル（クロス）検証

検証、または予測のテストは、選択したメトリックに基づいた精度の評価です。

たとえば、Outbrainクリック予測では、ユーザーが表示された広告のどれをクリックするかを予測する必要があります。 提供されるデータは2つの部分に分かれています。

データ型	各インプレッションのクリックされた広告ID
トレーニング	誰もが知っている
テスト	競技会主催者のみが知っている

テストデータの精度が向上することを期待して、モデルトレーニングがトレーニングデータで行われますが、テストデータとトレーニングデータは1つのサンプルから取得されると想定されています。



学習プロセスでは、多くの場合、トレーニングデータに関する精度は向上しますが、テストデータに関する精度は低下し始めます。 これは、モデルの容量により、テストスイートを記憶または調整できるためです。





この現象はオーバーフィットと呼ばれます。対処方法については以下で説明しますが、今のところ、モデルで確認されていないデータで精度を確認する必要があることを理解するのに十分です。



Kaggleがソリューションをサイトにアップロードすることで（テストデータと比較して）ソリューションの精度を評価できるという事実にもかかわらず、この評価アプローチにはいくつかの欠点があります。

1. 1日あたりのソリューションダウンロード数の制限。 しばしば2-5
   
   
2. このアプローチの遅延-テストスイートのソリューションのカウント、ファイルへの書き込み、ファイルのダウンロード
   
   
3. 自動化の自明性
   
   
4. テストデータに関する再トレーニングの確率
   
   

次のことを可能にするローカル精度評価システムがあると便利です。

1. 選択したメトリックに基づいて精度をすばやく評価します
   
   
2. アルゴリズムおよび/またはハイパーパラメーターの検索を自動化する
   
   
3. 後で分析するために、評価結果を他の情報とともに保存します
   
   
4. テストサンプルに関する再トレーニングを除外する
   
   

ローカル（クロス）検証は、これらの目的に最適です。 考え方は単純です。トレーニングセットをトレーニングと検証に分割し、検証を使用して精度を評価し、アルゴリズムを比較しますが、トレーニングは行いません。



データを分離する方法だけでなく、多くの検証方法があります;いくつかの簡単なルールに従うことが重要です：

1. 結果への影響を排除するために、時間の経過とともに分離を変更しないでください。 たとえば、検証セットとトレーニングセットを個別に保存したり、行インデックスを保存したり、標準のrandom.seedを使用したりできます。
   
   
2. データセット全体に構築された機能（たとえば、時間に応じた特定の広告のクリック頻度）がある場合、そのような兆候はトレーニングセットを使用してのみ計算する必要がありますが、有効ではないため、回答に関する知識は「流れません」 »モデルへ
   
   
3. データが時間に応じて配置されている場合-たとえば、テストセットには、トレーニングセットに関連する将来からのデータがあるため、トレーニング/検証セットの部門で同じ分布を観察する必要があります
   
   

ローカル検証の妥当性は、ローカルに表示される改善と、Kaggleにソリューションをダウンロードした後に得られる実際の改善を比較することで確認できます。 ローカル評価の変更が実際の改善のアイデアを与える場合、それは良いことです。

モデルの構築

はじめに

モデルは、ブラックボックスまたは入力でデータを受信して​​結果を返す関数として表すことができます。 結果にはさまざまな種類があり、最も一般的に使用されます。

モデルタイプ	戻りタイプ	例
回帰	実数	1分間の会社在庫Nのコスト
分類	カテゴリー	溶剤/支払不能の借り手

Outbrain競争では、ユーザーが広告をクリックする確率によって広告をランク付けする必要がありました。 これを達成するための簡単で効果的な方法は、分類タスクを使用し、クリックの確率を予測し、分類子によって与えられた確率に従ってブロック内の広告をソートすることです。



分類子予測：

Displayid	アディッド	クリックプロブ
5	55	0.001
5	56	0.03
5	57	0.05
5	58	0.002

決定が行われる形式：

Displayid	アディ
5	57 56 58 55

評価メトリックは、予測が実際のデータにどれだけ正確に対応するかを示す関数です。 タスクの種類ごとに、多くのメトリックがあります。たとえば、回帰は、多くの場合、二乗値の差に基づいて使用されます。 競争では、 MEAP（Mean Average Precision）を使用しました。これは、正解の数だけでなく、並べ替え順序の違いも考慮した指標です。

入力パラメータ

ユーザーが最も人気のある広告（クリック数/ビューの最大数（クリック率-CTR））をクリックする可能性が最も高いと考える場合、最も単純なアルゴリズムを検討してください。 この場合、モデルへの入力パラメーターとして、広告IDと広告がクリックされたかどうかの2つの値があります。 ここには、通常の統計メトリックである特別な機械学習はありません。



これがトレーニングデータであると仮定し、1つのブロックで1人のユーザーに表示されるdisplayIdの下に広告をグループ化します。

displayId	adId	クリックした
1	1	0
1	2	1
2	1	1
2	3	0

最初のサインを形成するには、式adClicked = max adId sum（adId、clicked == 1）/ sum（adId）を使用します



入力値は1つのケースのベクトル（多くの場合、特徴ベクトルと呼ばれます）として表され、データセット全体の行列はXで示されます。ターゲット変数（この場合、Clicked）はyです。

displayId	adId	feature_1
1	1	0.5
1	2	1
2	1	0.5
2	3	0

次に、応答を作成するときに、各displayIdについて、表示された広告をfeature_1でソートし、フォームで回答を取得します。



display_id、ad_id

1.2 1

2,1 3



最初に行うことは、すでに開発した検証メカニズムを使用してモデルの精度を確認することです。 平滑化を使用した周波数ベースのモデルは、ランダムな予測よりも大幅に優れた結果を返します。

モデル名	結果
ランダムな推測	0.47793
平滑化の頻度	0.63380

モデルを展開し、ユーザーの地域に基づいてCTRを計算し、検出されたすべての組み合わせadId * country * stateの統計をカウントできます。

adId	国	都道府県	クリックした
1	米国	CA	0
2	米国	TX	1
1	英国	1	1

adClicked =最大adId合計（adId、クリック済み== 1、国== displayCountry、状態== displayState）/ sum（adId）



検証およびテストセットを除き、トレーニングデータセットからのみトレーニング用の標識を作成することが重要です。そうしないと、モデルの精度を適切に評価できません。 k分割交差検証を使用する場合、そのような兆候をk回構築する必要があります。

別のアプローチは、モデルの再トレーニングを減らすような方法で特性を生成することです。 たとえば、ビューの数がN> 10である広告のみのクリックの頻度に関する統計を追加しました（検証中に値が選択されます）。 動機-広告ビュー数== 1の頻度を追加すると、十分な複雑さを持つアルゴリズム（たとえば、決定木）により、この機能が明白に答えを予測し、それを予測にのみ使用できる可能性が判断されます。このソリューションはかなり単純です。



入力データからフィーチャを生成するプロセス全体は、多くの場合、フィーチャエンジニアリングと呼ばれ、モデル学習アルゴリズムとメタアルゴリズムは一般に公開されているため、競争の成功の決定的要因であることがよくあります。

アウトブレインの競合機能

以下を定義する一般的なサインのグループをいくつか検討しました。

1. ユーザー-広告が表示されるユーザー
   
   
2. 広告主
   
   
3. コンテキスト+時間
   
   

各グループをさらに詳しく考えてみましょう。

カスタムタグ

トレーニングデータセットとページビューログを使用して、ユーザーに関する多くの興味深い情報（ユーザーがクリックした広告/広告キャンペーン、常に無視する広告）を選択できます。 広告がつながるページに関するメタ情報（ランディングページ）が提供されているため、ユーザーが興味を持っているページまたはトピック/エンティティのカテゴリを特定することができます-ランディングページがsport.cnnであり、ユーザーがこの時間または曜日にスポーツニュースを頻繁に読む場合、サインとして使用してみることができます。



そのような類似の兆候は、類似の嗜好を持つユーザーを後で見つけ、それらを介してユーザーが広告をクリックするかどうかを予測するのに役立ちます。



追加の前後の評価の精度の変化に基づいて、手動で標識を選択しました。

広告主のサイン

ここでは、広告/ランディングページに関するメタ情報の簡単なリストから始める価値があります。位置情報、時刻、曜日に基づいた広告キャンペーン+ CTR同様の兆候-たとえば、stateCTRCamp：一部の広告キャンペーンのクリック頻度（広告を結合）状態

コンテキスト

コンテキストとは、広告が表示されるページと、表示時間+ユーザー情報（地理+デバイスタイプ）の両方を意味します。 時間を知っていれば、ユーザーが昨日\昨日\クリックした\過去1時間にアクセスしたすべての広告とページをリストできます。 現在人気のあるコンテンツなどを定義できます。

使用される機能

国、州、プラットフォーム、郡、pageDocumentCategories、countryCTRAdv、campaignId、advertiserId、userDocsSeenFromLogYesterday、userClickedThisAdvertiserTimes、hourOfDay、userDocsClickedToday、lastAdvUserClicked



属性の総数は約120で、大半は手動で開発されます。たとえば、userDocsSeenFromLogYesterday-昨日ユーザーが表示したクリックログのドキュメント（広告のターゲット表示に関連）。 コンテストフォーラムのソリューションの技術的な説明のより拡張された（不完全な）リスト。



使用される機能のほとんどは分類されています-たとえば、国、およびワンホットエンコーディングはバイナリ機能に変換するために使用されます。 一部の数値記号は、数値間隔を参照することによってバイナリ値に変換され、式log（x + 1）を使用して一部を平滑化しました。



10回未満のコード化文字は考慮されませんでした。 エンコードされたフィーチャの総数は5Mを超え、次元を減らすためにハッシュは使用されませんでした。

単純なモデルの例-ロジスティック回帰

ロジスティック回帰のモデルを作成します。これは、単純な数値記号（国と州でのクリックの頻度）を受け取ります。



countryAdCTR = sum（adId、クリックされた== 1、country == displayCountry）/ sum（adId）

stateAdCTR = sum（adId、クリックされた== 1、state == displayState）/ sum（adId）



広告をクリックする確率の式は次のとおりです。



y * = f（z）、z = w1 * countryAdCTR + w2 * stateAdCTR、f（z）= 1 /（1 + e（-z））



f（z）-ロジスティック関数 、間隔[0：1]の値を返します。 学習アルゴリズムは、y *とy-の差が小さくなるように係数w1とw2を選択します。 予測と実際の値の最大の類似性を達成します。



分類記号の広告主とview_page_domainをモデルに追加します。たとえば、次のように、ワンホットエンコード方式を使用してそれらをバイナリに変換します。



カテゴリー：

サンプル	広告主
1	アディダス
2	ナイキ
3	BMW

ワンホットエンコード：

サンプル	イサディダス	イスニケ	IsBMW
1	1	0	0
2	0	1	0
3	0	0	1

式は次のとおりです。



z = w1 * countryAdCTR + w2 * stateAdCTR + w3 *広告主+ w4 * view_page_domain



広告主とview_pageはベクターなので、w3とw4の両方もベクターになります



CTR予測では、広告と広告主が表示されるページなどの標識の相互作用を考慮することが非常に重要です-VogueページでGucci広告をクリックする確率は、Adidas広告とはまったく異なります。モデルは、広告主とview_pageの相互作用によって補完できます。



z = w1 * countryAdCTR + w2 * stateAdCTR + w3 *広告主+ w4 * view_page_domain + w5 *広告主* view_page_domain



広告主とview_pageがベクトルであることはすでにわかっています。つまり、w5ベクトルの次元は、広告主ベクトルの長さ* view_pageベクトルの長さになります。



これに関連するいくつかの問題があります-まず、非常に大きなベクトルになります-広告が表示される可能性のあるすべてのドメインに、可能性のあるすべての広告主の数を掛けます。 第二に-それは非常にまばらで、ほとんどの値が値1を取ることはありません-私たちが実際に会うことのない組み合わせのほとんどです。

因数分解マシン（FM）

FMは、データのまばらさの問題を解決しながら、機能の相互作用を明示的に考慮するため、CTR予測タスクに最適です。 素晴らしい説明は元の出版物にあります。ここで主なアイデアを説明します-各属性値は長さkの整数ベクトルを受け取り、特性の相互作用の結果はベクトルのスカラー積（ドット積）です-式のモデル方程式セクションの出版物の式を参照してください。

頭脳競争モデル

フィールド対応の因数分解マシン（FFM）

最良のモデルの分析中に、最近の2回のCTR予測コンペティションがField-aware Factorization Machines（FFM）モデル（アンサンブル）の男たちに勝ったことがわかりました。 これはFMの続きですが、現在、記号はn個のフィールドに分割されています。以前に表示されたドキュメントで構成される記号のグループ、この広告ユニットの他の広告のグループなど、記号のグループです。 現在、各記号は次元kのn個のベクトルの形式で表示されます。他の記号グループごとに異なる表現を持っているため、記号グループ間の相互作用をより正確に考慮することができます。 説明および詳細は、 出版物にも記載されています。

FFMトレーニング

FFMは再トレーニングが非常に発生しやすく、これに対処するために早期停止が使用されます。モデルの改善が繰り返されるたびに、検証セットで精度が評価されます。 精度が低下すると、トレーニングは停止します。 標準ライブラリのコードにいくつかの変更を加えました。最も重要なことは、標準ログロスの代わりに、Kaggleで結果を計算するために使用されたMEAPメトリックに基づく品質評価を追加することでした。



上位3位に入ったチームの1つは、FFMでペアワイズ最適化の可能性も追加しました。



モデル全体を教えるときに早期に停止できるようにするため、95/5分布のトレーニングセットをランダムに分割し、検証用として5％を使用しました。



最終結果は、わずかに異なる属性セットを持つ異なるランダム分布での5つのモデルの結果の単純な平均です。



トレーニングセットのサブサンプルで結果を混合するこの方法は、バギング（ブートストラップ集約）と呼ばれ、多くの場合、結果を改善する分散を減らすことができます。 また、通常、勾配ブーストモデル（xgboost / lightGBM）の結果を混合するのに適しています。

うまくいかなかった

安定した勾配ブースティングに基づくモデルは、悪い結果（FMに匹敵）をもたらしました。ペアワイズ最適化は、画像をあまり改善しませんでした。 また、私にとって、 ブースティングからの木の葉に基づいたFFMの兆候の生成は機能しませんでした。 FFM→FFMまたはXGBOOST→FFMスタックは、データセット全体で一貫してFFMよりも劣っていました。

モデル名	結果
私の最高のシングルモデル結果	0.69665
私の最高の結果（5つのモデルの組み合わせ）	0.69778
1位の最高の結果	0.70145

最終結果

コード、インフラストラクチャ、およびハードウェア

コード

最初のファイルマージはPythonを使用して行われ、通常はデータマイニングと分析にJupyterを使用します。 また、トレーニング/テストセットで見つかったユーザーのクリックログのみをフィルター処理したため、80 GBから10 GBに削減できました。



元のFeatureエンジニアリングもPythonで作成されましたが、大量のデータ、つまり処理にかかる時間を考慮して、すぐにScalaに切り替えました。 概算による速度の差は約40倍でした。



精度の向上をすばやく繰り返し評価するには、合計の約1/10のデータのサブセットを使用しました。



これにより、打ち上げ+モデルがラップトップのメモリに配置されてから約5〜10分で結果を得ることができました。



最終モデルの入力ファイルの生成には、6コアマシンで約3時間かかります。 合計記録ファイル> 500GB。 おおよそのトレーニングおよび予測時間は10〜12時間で、メモリ使用量は約120 GBでした。



プロセス全体がスクリプトを使用して自動化されています。

鉄

ほとんどの作業は、Dell Alienwareラップトップ（32GB RAM）で行われました。 過去数週間にわたって、ワークステーション（i7-6800、128GB RAM）を使用し、先週、メモリ最適化されたx4largeおよびx8large AWSマシンを並列で最大2倍使用しました。

感謝の気持ち

この記事は私の愛する妻に捧げられています。彼女は夫が家にいるときに心配するのは非常に難しいですが、同時にそうではありません。



コメントとレビューをしてくれたArtem Zaikにも感謝します。

おわりに

私の観点からすると、Kaggleなどのコンテストに参加することは、実際のデータを使用して実際の問題を解決し、実際の競合他社に対する決定を評価する方法を知るための素晴らしい方法です。 また、特にフルタイムの仕事で誰も彼の個人的な生活をキャンセルしていない場合、高いレベルでのパフォーマンスは、多くの時間と労力の割り当てを必要とすることが多いので、そのような競争は自分自身との競争と見なすことができます-最初に自分を打ち負かすために。