Kaggle：Allstateが主張する重大度

最近のAllstate Claims Severityの機械学習コンテストの解決策を説明したいと思います。 （私の結果は3055のうち40です）。 これは「アンサンブルルーブル」競争なので、原則として、解決策の議論は参加しようとした人と参加しなかった人との間で不健康な聖戦を引き起こすので、まずは少し脱線します。



英語の単語が豊富であることを事前におaび申し上げます。 翻訳方法がわからない人もいれば、翻訳したくない人もいます。



私は機械学習を相互接続性の低い3つの領域として考えたいと思います。これを上の図に描いてみましたが、これらの領域にはそれぞれ独自の目標があります。



たとえば、アカデミック環境では、あなたの生産性、そして確かに個人のタフネスは公開された記事の数と質によって測定されます-そして、ここではアイデアの新規性が重要ですが、これらのアイデアを今どれだけ実践できるかが10番目です。



ビジネスでは、モデルが企業にどれだけのお金をもたらすか、そしてここでは、解釈可能性、スケーラビリティ、速度、モデルサイズなどが重要です。



競争力のある機械学習の課題は、全員を倒すことです。 つまり、モデルはスケーラブルではなく、数週間トレーニングする必要があります-これは許容範囲です。



企業が競争のためにデータを提供する場合、ほとんどの場合、複雑さのために生産で最高の精度のモデルは機能しません。 （典型的な例は、最高のモデルが適用できないNetflix賞のコンテストです。しかし、問題に取り組んでいる間に参加者が得た知識は、推薦システムの方向の研究に間違いなく弾みをつけました。）機械学習では、競争の一部として取得されたモデルは役に立たないと考えられています。 そしてもちろん、彼らは正しい。 しかし、この聴衆は、競技への参加中に得た知識も役に立たず、「本当の」仕事を見つけることができず、この「役に立たない職業」に時間を割く人だけが競技に参加すると結論付けます。 。 たとえば、このポストで私がrassazyvalと思ったAlexという名前の前職の同僚。



反対の極端があります：競技で良い結果を示した人は、プロダクションですぐに素晴らしく動作するモデルを自分から簡単に吐き出すと思いますが、理論的には起こり得ますが、実際には出会っていません。 それでも、列車セット、テストセット、および生産におけるモデルの精度は、3つの大きな違いです。



私は、競争対ビジネスにおける機械学習を、プルアップと登山について考えることを好みます。 あなたが何度も自分を引き上げると、これはあなたが良いクライマーであることを意味しませんが、プルアップはある程度登るのに役立ち、良いクライマーはしばしばプルアップだけでなくプルアップにも優れた引き上げに時間を投資しますキャンパスでのプルアップ、異なる高さでの手など



機械学習のコンテストは、あなたが機械学習エンジニアまたはデータサイエンティストであり、競争に値するものを提供できない場合、おそらくこれに時間をかける必要があるという意味で、同様のモードで機能します。 さらに、多くの競技会があり、それらは異なっており、いくつかの競技会からの何かは、仕事や科学であなたに役立つことができます。 少なくとも、Google、Deepmind、Facebook、Microsoft、およびその他の重要なオフィスのメンバーが定期的に参加しています。 そして、競技会での良好なパフォーマンスが、まともな仕事を十分に見つけるのに役立った場合。

タスクの説明

AllstateがKaggle.comの競争データを提供したのはこれが初めてではなく、明らかに彼らはそれを気に入っています。 今回、競争の賞品-Allstateの採用担当者は、ジュニアデータサイエンティストの職に応募した場合、履歴書に6秒を費やすことを余儀なくされる場合があります。 賞品はほとんどないという事実にも関わらず、このコンテストには3,000人以上の参加者が集まり、特定の知識を持つユニークな倉庫になりました。



タスクは、保険金の支払い額を予測するモデルを作成することでした。 一般的に、保険会社はいつものように、保険を必要としない人を予測したいと考えています。そして、保険会社は保険を売るべきで、誰が保険のケースに該当するかもしれません。



ターゲット変数には、この非対称分布があります。



どこで：

• 最小= 0.67
• 最大= 121012
• 平均= 3037

結果は、平均絶対誤差メトリックを使用して評価されました。







匿名化されたデータ。 14の数値属性と116のカテゴリ属性。

• 列車セット-188318行
• テストテスト-125546行

いつものように、オーバーフィットを防ぐために、テストセットは2つの部分に分けられました。

• 30％テストセット-パブリックリーダーボード-この部分でのモデルの精度は、コンテスト全体で確認できます。 （1日に5回の試行）
• 70％テストセット-プライベートリーダーボード-テストセットのこの部分の精度は、競争の終了後に判明し、最終的にモデルの評価に使用されます。

つまり、十分なデータがなく、クラウドコンピューティングを使用せずに低電力のマシン、たとえばラップトップで良好な結果を得ることができます。これは、多くの参加者をもたらしました。



モデルのレベル/参加者の知識は非常に条件付きでカテゴリーに分類でき、その数は公開リーダーボードの概算誤差です。

• 1300+ -機械学習の基礎を知っている人は、データを準備し、線形回帰を訓練し、予測を行うことができます。 参加者の16％
• 1200-1300-線形回帰以外のことを知っている人。 参加者の28％。
• 1200-1120 -xgboost / LightGBMが存在することを知っているが、設定が苦手な人。 参加者の9％。
• 1110-1120 -xgboostまたはニューラルネットワークを構成できる人。 参加者の22％
• 1104-1110 -xgboost予測とニューラルネットワークの算術平均が、各予測を個別に行うよりも正確であることを知っている人。 参加者の11％。
• 1102-1104-より複雑な線形結合を作成する方法を知っている人。 参加者の6％。
• 1101-1102-スタッキングの使用方法を知っている人。 参加者の5％。
• 1096-1101-まじめな男。 参加者の3％。

少なくとも多数の参加者と賞品の不条理のため、このグラデーションは非常にarbitrary意的です。 つまり、観客は積極的にアイデアとコードを共有し、たとえば、 フォーラムにブランチがあり、 1102を取得するために何をする必要があるかを段階的に議論しました。 LeaderBoardに滑り込まないように毎日、他の人のコードの予測結果を実行して平均化することで1102+を得ることができます。これは一般に、かなり低いスタイルですが、何もないよりはましです。 また、正しく平均化できる必要があります。

アイデア

最初のアイデア

ターゲット変数は非常に非対称です。 同時に、機械学習アルゴリズムは対称データに対してより効果的に機能します。 ターゲット変数が正規分布を持つことを好む人もいれば、そうでない人もいます。 さらに、この場合、ターゲット変数が対称であるほど良いという文献に記載されている記述は当てはまりません。 対称性を高める標準的な方法は、対数、べき乗です。







つまり、元のものよりも対称的なものが必要ですが、ターゲットメトリックは変換されていないターゲット変数からのMAEであるため、120,000のような大きな値でトレーニングするときのエラーは100のような値よりも大きくなりますが、 1200回。 そして、正しい変換は、ターゲット変数を対称的であるが、右尾が太いものに変換する変換です。 たとえば、4度の根は対数よりも優れており、非常に価値があります。

セカンドアイデア

これは競争です：

• ローカル構造を持たない混合型データ
• トレーニングデータサイズ10 ^ 4-10 ^ 7

これは、xgboostが95％のケースで競合他社を持たないタイプとボリュームです。 ここで何が起こった。





このグラフでは、上位30の最も重要な機能。



MathiasMüllerは、ソースデータでxgboostを使用して1109を受け取りました。これは上位25％に相当します。 （彼は最終的に3番目に終わった）

アイデア3

良いハイパーパラメーターを見つけるには？ いくつかの方法があります。

1. 手動で。
2. GridSearch-グリッドを設定し、パラメーターのすべてまたは一部のサブセットを確認します。
3. HyperoptやBayesianOptimizationなどのよりインテリジェントな方法

実際には、BayesianOptimizationは、適切な候補と手動のねじれを見つけるのに適しています。



チェックするパラメーター範囲は？ 神は知っています。 彼らが文献に書いているのは、勾配ブースティングのベースにあるアルゴリズムの構造は、深さが10を超えるツリーを使用しても意味がないと信じているからです。 彼らは嘘をつきます。 ほとんどの場合、それで十分ですが、このデータでは十分ではありません。 最高のモデルでは、max_depth = 25までのより深いツリーを使用しました。

アイデア4

MAEは2階微分可能ではないので、モジュールをln（cosh）として近似することができます。これは既に2階微分可能であり、損失関数に二乗平均誤差ではなく、もっと興味深いものを使用することができます。 そして、活発に議論されたフォーラムスレッドがありました。

アイデア5

決定木に基づくアルゴリズムの場合、カテゴリ記号を数値に変換する方法は重要ではないとの意見があります。 また、1つのホットエンコーディングを除く他のすべてのアルゴリズムでは、何も使用できません。 それと、ビジネスの観点からの別の声明-真実、競争および学術環境の観点から-露骨な嘘。 違いはありますが、小さいです。 別のエンコーディングを試して、より効果的なものを確認できます。 たとえば、一部のカテゴリ機能では、辞書式エンコーディングが少し改善され、各ツリーの分割数を減らすことができます。

アイデア6

ツリーベースのアルゴリズムは、属性間の相互作用を見つけると考えられています。 これは真実ではありません。 彼らはそれらを近似します。 ビジネスの観点から見ると、同じことです。 競争の面では、いいえ。 したがって、上の図から最も重要な兆候の上部を取得し、それらの相互作用を説明する新しい兆候を作成すると、一部のモデルの精度が向上します。これはスクリプトの 1つで提案されました 。 そしてそれにより、誰かがxgboostで1103に到達することができました。 （私の最高の結果は1104です）

アイデアセブン

機能エンジニアリングはどうですか？ ほとんどの場合（常にではないが）正しい符号は、洗練された数値的手法以上のものをもたらします。 データの準備において、Allstateは非常にまともな仕事をし、参加者の努力にもかかわらず、適切に匿名化することはできませんでした。 彼らは兆候の一つが国家であることを理解したようです。 そして、いくつかの兆候は何らかの形で日付に関連しています。 しかし、私が知る限り、これはどれも得られませんでした。 統計記号の使用にも実際に成功した人はいませんでした。 とにかくタイムゾーンを追加し、最も重要なカテゴリの統計記号を追加しましたが、これは私の良心を落ち着かせる可能性が高くなります。



ここで、たとえば、符号cont2とcont2の差分。



理論的には、これはAllstateがどの変換をcont2機能に適用したかを教えてくれるはずですが、どのように頭を悩ませても、この変換を見つける方法はわかりませんでした。

アイデア8

より良い結果を得るには、 1102にスタックが必要です。 これは、2番目のすべてのコンペティションで使用される有能なテクニックですが、私が知る限り、プロダクションではめったに使用されません。 彼女は多くを与えません。 しかし、スタッキングを使用すると、異なるモデルを巧妙に交配できます。 実際、このコンペティションに参加する前、私はこのテクニックを所有していませんでしたが、耳から聞いただけで、参加の主な動機はこの質問を自分で理解して閉じることでした。







アイデアは、各モデルについて、トレインセットとテストセットで予測を行いたいが、トレーニングに使用された同じデータでトレインを予測したくないということです。 これを行う方法のpythonの例を次に示します。



そして、各モデルの結果として、電車の予測があり、テストに対応します。 なぜこれが必要なのですか？ 異なるモデルに対してこれを繰り返し、予測を新しいトレインとテストセットに結合します。 標識付き：

1. train：{prediction_xgboost、prediction_NN、prediction_SVMなど}
2. テスト：{prediction_xgboost、prediction_NN、prediction_SVMなど}

そして、最初のトレーニングデータとテストデータを忘れ、線形または非線形の方法を使用して、この新しいデータで既に第2レベルをトレーニングできます。



さらに、前の手順の予測を次の機能として使用して、この手順を数回繰り返すことができます。 過去の大会の1つで、最終決定は次のようになりました。







実際、このような高密度のソリューションは、「企業にどれだけの価値をもたらすことができるのか」という観点から機械学習についてのみ考える人を拒絶します。実際には、このプロセスを自動化しようとする企業もありますが、

アイデアナイン

スタッキングを使用して予測を行いました。 改善できますか？ できます。 ツリーベースのアルゴリズムは、大きな値を過小評価し、小さな値を過大評価するため、最終予測を調整できます。 一部の参加者が使用した一般的な変換は次のとおりです。

アルファ*予測^ベータ 、そして誰かがさまざまな変位値に対してそれを行いました。

おわりに

実際にはそれだけです。 スタッキングモードでさまざまな方法で変換されるデータのさまざまなハイパーパラメーターを使用して、さまざまなモデル（xgboost、ニューラルネットワーク、ランダムフォレスト、リッジ回帰、エクストラツリー、SVR、LightGBM）をトレーニングします。 そして、これらすべてのモデルからの予測に基づいて、ニューラルネットワークは最終的な結果を得るために、いくつかの隠されたレイヤーでトレーニングを行います。



すべてが非常にシンプルで簡単ですが、同時にこれに到達するには一定の努力が必要でした。 さらに、経験豊富な参加者にとっては、未経験者よりも簡単でした。 同様のトリックを使用できる別の問題で、ここで得た神聖な知識が何らかの形で役立つことを期待しましょう。



競争しようとしたことがない人には、強くお勧めします。



職場で機械学習を使用する場合、神自身があなたに、職場で得た知識とスキルが競争的機械学習の世界でどれだけ適用できるかを確認するように命じました。競技中に何かを学ぶことができる可能性があります。会社に価値をもたらすことができるように、職場で役立ちます。 たとえば、私は上司に最近のコンテストで2、3回提出するよう説得しました。 彼はリーダーボードの下位10パーセントに飛びました（その後、歩き回ってよく考えました）ので、列車とテストで異なるエンコードを使用しました。 その後、彼の職場の方針が変わり、テストにもう少し時間を割き始めました。



あなたがまだ学生である場合-神自身が参加するように命じた。 5年前にデータの操作に同じスキルがあれば、大学院での科学研究はより効果的であり、より多くの記事を発行するでしょう。 さらに、主力者がニューラルネットワークである競技会からの優れた結果は、ほぼ確実に公開できます。 そして、卒業証書として間違いなく挿入できます。



データサイエンスへの段階的な移行を考えている場合は、再び、神自身が参加を命じました。 競争だけでは雇用に十分ではありませんが、他の分野での教育や経験と組み合わせると役立ちます。 その年、DeepMindの男がコンテストの1つ後に招待されたため、さまざまなケースがあります。



すべての問題が数値的手法に焦点を合わせているわけではありません。 スペインのさまざまなサンタンデール銀行ユーザーを対象とした最近の製品予測コンテストは、純粋な機能エンジニアリングです。 私が彼に多くの時間を費やさなかったことは残念です。 または、現在コンピュータービジョン、ニューラルネットワーク、その他の流行の言葉をテーマに開催されている競技会：

1. 魚について -$ 150,000賞品
2. プロサテライトカード -100,000ドルの賞品
3. プロキャンサー -1,000,000ドルの賞品

興味深いことに、多くの知識、美しい写真、そして幸運な人もお金を与えます。



そして、これはHabrであり、ここでは彼らが私がこのタスクのために書いたコード非構造化コードが大好きです。



英訳