6月13日、Mail.Ru Groupの機械学習コンテストであるML Boot Campが始まりました。 この点で、私たちは前回の打ち上げの感想、受賞者の成功談を共有し、今年の参加者を待っている新しいことをお伝えしたいと思います。

コンテストはどのように配置されていますか？

チャンピオンシップが開始されると、参加者はタスク条件（トレーニングサンプルとして機能するデータに含まれる内容の口頭説明）を受け取ります。 条件に加えて、トレーニングサンプル自体が利用可能になり、ラベル付きの例（既知の回答を持つ各オブジェクトの記述ベクトル）で構成されます。 可能な回答の数が限られている場合、それらはオブジェクトが属するクラス番号として解釈できます。



参加者は、既知の機械学習の方法を使用して、コンピューターをトレーニングし、トレーニングされたシステムを新しいオブジェクト（テストサンプル）で使用して、回答を決定しようとします。 テストサンプルは、評価と最終の2つの部分にランダムに分割されます。 評価データの全体的な結果はシステムによって計算され、すぐに公開されますが、最終データで最高の結果を得るのは勝者です。 それらは、競技の最後まで参加者に隠されたままです。



割り当ては1か月です。 経験豊富な参加者は、コンテスト全体でアルゴリズムを改善し、結果を更新できます。 そして、この分野にまだそれほど精通していない人は、それを理解して決定を書くのに十分な時間を持っているでしょう。 初心者向けの広範な紹介記事も用意されています。この記事では、チャンピオンシップタスクの解決策を「掘り」、どの方向に進める必要があるかを示します。

ML Boot Camp 2015

2015年には、多くの人が知らなかったオープンチャンピオンシップを開催しました。 参加者は主に、教育プロジェクトのテクノスフィアとテクノパークの学生でした。



コンテストを開くときに参加者が受け取った課題の条件は次のとおりです。



「分類のタスクに直面しています。よく知られている教師要素のクラスの分布に基づいて、テスト要素も同様に配信します。 このタスクに提供されるすべてのデータは、トレーニング（x_train.csvおよびy_train.csv）とテスト（x_test.csv）の2つの部分に分かれています。 x_train.csvおよびx_test.csvファイルの各行は、いくつかのオブジェクトの説明を、コンマで区切られたバイナリ値（記号）のセットの形式で表します。 すべてのオブジェクトは3つのカテゴリ（クラス）に分けられます。 トレーニングセットのオブジェクトの場合、このパーティションは既知であり、y_train.csvファイルで指定されます。 このタスクの答えとして、テキストファイルが受け入れられます。テキストファイルの各行はx_test.csvファイルの行に対応し、クラス番号（0、1、または2）が含まれています。



サンプルデータ：

x_train.csv	y_train.csv	x_test.csv
1,1,1,1,0,0,0,1,0,0,0,1,0,0,1,0,0,0,1,0,1,1,1,1,1,1、 0,1,1,0,1	1	1,1,0,1,1,0,1,0,0,1,1,0,1,0,0,1,1,0,0,1,1,1,1,0,0、 1,1,1,1,0
1,0,1,0,0,0,1,1,0,1,0,1,1,0,0,0,0,1,1,1,0,1,1,1,0,1、 0,0,1,0,0	2	0,1,1,0,1,0,1,0,1,0,0,0,1,0,1,0,0,1,1,0,1,0,0,0,0,0 0,1,0,0,0
0,1,1,0,0,0,0,1,1,1,0,1,0,1,0,1,0,0,1,0,1,1,0,0,1、 1,1,0,1,0	1	0,0,1,0,0,0,0,0,0,0,0,1,1,0,1,0,0,0,1,1,0,0,1,1,0,0、 1,1,1,1,1
1,0,1,1,0,1,0,1,1,0,0,0,1,0,1,1,0,1,1,1,0,0,0,0,0,1、 0,1,1,1,0	0	1,0,1,0,1,1,0,1,0,0,1,0,0,1,0,1,0,1,1,0,0,1,1,0,0、 1,0,0,1,0

問題の解決の品質の基準として、分類精度、つまり正しく分類されたオブジェクトの割合が使用されます。 テストサンプルは、40/60の比率でランダムに2つの部分に分割されます。 最初の40％の結果により、コンテスト全体の評価表における参加者の位置が決まります。 残りの60％の結果は、競技終了後に判明し、参加者の最終的な配置を決定するのは彼です。



競合他社は、ゼロと1のフェースレスチェーンがどのように取得されたかは知りませんでしたが、それにもかかわらず、印象的な結果を達成することができました。 表10の出場者をご覧ください。

いや	パーティー	予備スコア	最終ポイント
1	パベル・シュベチコフ	0.6984126984	0.6785714286
2	アントン・ゴルディエンコ	0.6904761905	0.6547619048
3	アナスタシア・ビデネエヴァ	0.6984126984	0.630952381
4	アーチョム・コンデュコフ	0.6825396825	0.619047619
5	アレクサンダー・ルッチェンコ	0.7301587302	0.619047619
6	コンスタンチン・ソジキン	0.6587301587	0.619047619
7	ビタリー・マリギン	0.4126984127	0.5833333333
8	アレクセイ・ネスメロフ	0.4841269841	0.5714285714
9	ウラジミール・ヴィニツキー	0.380952381	0.5714285714
10	ビクター・シェフツォフ	0.4047619048	0.5714285714

ここで、 スコアは、最終プログラムがクラスを正しく識別したシーケンスの割合です。



実際、これらのチェーンは次のようになりました。



クラス0には、人間が生成したシーケンスが含まれています。 できるだけランダムに見えるように、ゼロと1のシーケンスを書き留めるのを手伝ってくれることに同意した140人の各人に尋ねました。 ただし、コンピューター、テーブル、その他の資料は使用できませんでした。 誰もが彼がコインを投げていることを想像してください。 ワシが彼の想像力に落ちた場合、その後尾の場合1を書きます-0を書きます。もちろん、本物のコインや他のデバイスを使用することも禁止されていました。



クラス1には、擬似乱数センサーを使用してコンピューターによって生成されたシーケンスが含まれます。 ゼロの発生確率およびユニティの発生確率は50％ですが、シーケンスの異なる要素間に依存性はありません。



クラス2にはコンピューターによって生成されたシーケンスも含まれますが、シーケンシャル値は70％の確率で異なります。



考えてみてください：これらのチェーンがどのように取得されたのかわからなくても、参加者は鉄の友人（コンピューター）をほぼ70％の確率で使用します（！） 。 これは、推測の確率が33、（3）％であるため、50％のスコアでも良いため、機械学習手法の強度を評価する正当な理由のようです。



コンテストの受賞者に、どのようにしてそのような結果を達成したかを尋ねました。

3位

アナスタシア・ビデネエヴァ



「次のように問題を解決しました。 まず、データを調べたところ、異なるクラスのオブジェクトのトレーニングセットでは、各クラスのオブジェクトのゼロと1の数がほぼ同じであることがわかりましたが、クラス2では他のクラスよりも多くの場合、次の文字は前の文字とは異なります（クラス0および1）クラス2〜17では、各オブジェクトに平均で約14のそのような「スイッチ」がありました。 スイッチの数を新しい記号として追加し、結果の記号でrandomForestを訓練しました。 結果はそれほど高くありませんでした（パラメーターを選択しない限り、速度は0.438でした）。 当時の他の参加者の速度から判断すると、彼らはおそらく初期機能も使用していましたが、アルゴリズムのパラメーターを慎重に選択するか、アルゴリズムの組み合わせを使用しました。



このタスクでは「撮影」できる根本的に異なるアイデアを考えました。 データを長さ30の文字列と見なし、 n- gramを記号として使用することにしました。これにより、クラス2およびデータ内の他のパタ​​ーンで文字の変更が頻繁に発生するという事実を反映できるようになりました。 新しい機能に基づいて、すべてのアルゴリズムにより、大幅に高い結果を得ることができました（同じrandomForestはパラメータ選択なしで0.706を受信しました）。 次に、ExtraTreesClassifierを使用して標識の選択を行い（選択は非常に小さく、再トレーニングしたくない）、勾配ブースティング、svm、およびrandomForestを使用して分類しました。 すべてのアルゴリズムのパラメーターと重要度のカットオフしきい値は、leave-one-out相互検証を使用して選択されました。 アルゴリズム間に大きな違いはありませんでしたので、最終パッケージでは、より使い慣れたrandomForestを使用しました。 ニューラルネットワークを使用してどのような結果が得られるかを見るのは興味深いでしょうが、それらに対処するのに十分な時間はありませんでした。

2位

アントン・ゴルディエンコ



「競争に参加する前に、私の機械学習の経験はすべてAndrew NgのCourseraコースを受講することになり、数回ロジスティック回帰を使用して簡単な分類器を作成しようとしました。



最初の試み：私はXGBoostを教えようとしました。 夜にパラメータを整理するために設定します。 ローカルの品質は良好（約50％）でしたが、ソリューションをサイトに送信した後、わずか39％です。 XGBoostをデフォルトパラメータで送信すると、41％を受信したため、確実に再トレーニングされました。



2回目の試み：症状を分析しようとしました。 各列には個別に情報がまったく含まれていないことがわかりました。ゼロと1の数は各クラスで同じです。 さまざまな列セットの依存関係を探すことにしました。 3列のあらゆる種類の組み合わせ（2列と4列の組み合わせも試した）で並べ替え、各クラスで各組み合わせが発生する頻度を監視しました。 現在、クラスの1つでの多くの組み合わせが、他の2つよりも1.5〜2倍頻繁に（またはより少ない頻度で）発見されました。 しかし、結果としての新しいバイナリ記号「シーケンス内の各組み合わせの存在」への移行は何も生じませんでした。 サイトは同じ41％を返しました。 その理由は、おそらく、兆候が多すぎることです（トレーニング要素が210の要素を持つ4060兆候）。



3番目の試行：長さ5の各タイプのサブシーケンスの数を符号として検討することにしました（他の長さも試しましたが、品質は少し悪くなりました）。 ランダムなパラメーターでrandomForestを使用してトレーニングし、サイトで63％を得ました。 兆候の重要性を見て、「サブシーケンス10101の存在」という兆候が際立っていることがわかりました。 「シーケンス内の交互の総数」という記号がもう1つ追加されました。 パラメーターmax_featuresは少し混乱し、最終的な69％になりました。

1位

パベル・シュベチコフ



「これは私の最初の機械学習コンテストでした。だから、頭に浮かんだすべてのことを試してみて、予測の質を向上させることができました。 最初は、データを視覚化するために長い間試してみましたが、データを見てPCAで分解しましたが、良い結果は得られませんでした。 データはすべてヒープ上にあり、目に見える簡単なものは目に見えませんでした。 次に、記号が互いに何らかの形でつながっているかどうかに興味があり、異なるクラスの記号間の相関図を作成しました。 これは、クラス0の図のようです。







また、最初のクラスの相関図を作成しました。







この段階で、私は長い間立ち止まって、本当の違いが何であるかを理解しようとしましたが、2番目のクラスについて同様の図を作成すると、すべてがいくらか明確になりました。







明らかに、兆候は相互に関連しており、このすべてのほとんどは2年生で顕著でした。 その後、私の友人が、ほとんどの場合、モデルのアンサンブルがkaggleで勝ち、見つかった依存関係を完全に忘れて、アンサンブルの構築にヒットしたと言ったことを思い出しました。



それから私は自由な手綱を与えました。 :)私は、単純な投票、加重投票、スタッキング、ブレンディングを試しました。これらはそれぞれ、異なる数のレベルと異なるモデルでリストされていました。 ここでは、元のバイナリ記号を追加して前のレベルの予測に関する高レベルのモデルを教えるなど、さまざまな興味深いことを試しました。さまざまな種類の交差検証を試しました。 クロス検証leave-one-outメソッドは、データ量が少ないために第2レベルモデルの真の発見になったことを認めなければなりません。これにより、アンサンブルの品質がさらに向上しました。



ある時点で、偶然、いくつかの良いアイデア、特に前のモデルの予測ではなく、次のレベルのモデルを教えるために使用できるものについて提示されました。行ごとの記号。 コンテストの最初に受け取った相関図と合わせて、品質を改善するために他に何ができるかに目を開きました。 特に、バイナリ記号をランダムウォークとして提示し、記号の対称性、シフト数0-1、連続0または1の数、それらの最大/中央値/平均長を使用しようとしました。また、元の記号をテキスト文書の形式で提示しようとしました単語0、1から、同じ値の連続したシーケンスが中断される記号の番号を示す新しい記号を追加しました。 さらに進んで、さまざまな「単語」の組み合わせにTF-IDF属性を追加することを考えましたが、時間がなくなり、すでに起こったことに集中することにしました。



結果のモデルは次のとおりです。







データの90％（上記の追加機能を使用）で7つのモデル（以下に示す）をトレーニングし、データの残りの10％で第1レベルモデルからクラス確率予測を受け取り、これらの新しい兆候でsvmを含む第2レベルモデルをトレーニングしました、randomForestおよび小さなニューラルネットワーク。 第2レベルモデルの予測と多数決投票を統合しました。」



ご覧のとおり、3人のファイナリストのうち2人は、コンテスト前の機械学習の問題を解決した経験が高くなかったことを認めました。 これは、競争のタイミングとオープンリソースが、これらすべてを理解し、ソリューションを提供する機会を提供するだけでなく、まともな結果を示す機会を提供することを意味します。それは、欲望と忍耐のみです。



***



今年もコンテストを開催します！ 今回は、参加者のために新しいタスクが用意されました。受賞者だけでなく、賞品（iPod shuffleと500 GB外付けハードドライブ）を尊重し、尊敬するだけでなく、Mail.Ruグループチームに参加する機会もあります。 機械学習アルゴリズムの範囲は絶えず拡大しており、現在では広告サービス、スパム対策、ソーシャルネットワークで積極的に使用されています。 私たちは機械学習の専門家に興味があり、それが何であり、どのように使用するかを人々に知ってもらいたいです。 ML Boot Campなどの競技会は、抽象的に理解できない理論を読むだけでなく、すぐに実際の理論に近いタスクに分割する絶好の機会です。 これは、これに常に興味を持っているが、優柔不断にためらいがちな人のための機械学習に最終的に従事する機会であり、経験豊富なユーザーが彼らの高いレベルを示す機会です。 ML Boot Campにご参加ください！



MLブートキャンプチャンピオンシップは、ロシアのIT産業の発展を目的としたMail.Ruグループの取り組みの1つであり、 IT.Mail.Ruリソースによって統合されています。 IT.Mail.Ruプラットフォームは、ITに興味があり、この分野で専門的に開発しようと努力している人々のために作成されました。 このプロジェクトは、MSTUのテクノパークの教育プロジェクトである、ロシアのAiカップ、ロシアのコードカップ、ロシアのデベロッパーズカップのチャンピオンシップも結び付けています。 バウマン、モスクワ州立大学テクノスフィア MIPTのM.V. LomonosovとTechnotrek さらに、IT.Mail.Ruでは、人気のあるプログラミング言語の知識をテストしたり、ITの世界から重要なニュースを学んだり、関連するイベントやITトピックに関する講義の放送を見たり見たりするためにテストを使用できます。