Habréでの機械学習コンテストのトピックを続けて、読者にさらに2つのプラットフォームを紹介したいと思います。 彼らは確かにカグルほど大きくありませんが、間違いなく注目に値します。

個人的には、いくつかの理由でkaggleがあまり好きではありません。

• 第一に、そこでの競争はしばしば数ヶ月間続き、積極的な参加のために多くの努力が費やされなければなりません。
• 第二に、パブリックカーネル（パブリックソリューション）。 kaggleの支持者は、チベットの僧calmたちと落ち着くよう忠告しますが、実際のところ、1か月または2か月間行ったすべてが突然大皿に置かれることが判明したことは非常に残念です。

幸いなことに、機械学習のコンテストは他のプラットフォームで開催されており、そのようなコンテストのいくつかについて説明します。

IDAO	SNAハッカソン2019
公用語：英語、 主催者：Yandex、Sberbank、HSE	公用語：ロシア語、 オーガナイザー：Mail.ru Group
オンラインラウンド：2019年1月15日-2月11日; オンサイトファイナル：2019年4月4〜6日	オンライン-2月7日から3月15日まで。 オフライン-3月30日から4月1日まで。
大型ハドロン衝突型加速器内の粒子に関する特定のデータセット（軌道、運動量、その他のやや複雑な物理パラメーター）から、ミューオンが このステートメントから、2つのタスクが区別されました。 -予測を送信する必要がありましたが、 -そしてもう一方-予測のための完全なコードとモデル、およびかなり厳しい制限が実行時間とメモリ使用量に課されました	SNA Hackathonコンテストでは、2018年2月から3月までのユーザーニュースフィードにオープングループのコンテンツを表示するためのログが収集されました。 テストセットは、先週と3月の半分を隠しました。 ログの各エントリには、表示内容と対象者に関する情報、およびユーザーがこのコンテンツにどのように反応したかに関する情報が含まれています。フィードに「クラス」、コメント、無視、非表示を設定します。 SNA Hackathonのタスクの本質は、Odnoklassnikiソーシャルネットワークの各ユーザーにテープを配置し、「クラス」を受け取る投稿を可能な限り高くすることです。 オンライン段階では、タスクは3つの部分に分けられました。 1.さまざまなコラボレーションの理由で投稿をランク付けする 2.含まれている画像で投稿をランク付けする 3.含まれているテキストに従って投稿をランク付けする
ROC-AUCのような複雑なカスタムメトリック	ユーザーごとの平均ROC-AUC
第一段階の賞品-N箇所のTシャツ、第二段階への通過、競技中に宿泊と食事が支払われた場所 第二段階-??? （なんらかの理由で、私は授賞式に出席していなかったので、私は賞のためにどうなったのか理解できませんでした）。 優勝チームのすべてのメンバーに約束されたラップトップ	第一段階の賞品-最優秀参加者100人のTシャツ、第二段階への通過、モスクワへの旅費、競技会中の宿泊と食事。 また、第1ステージの終わりに向かって、ステージ1の3つのタスクで最高の賞が発表されました。RTX2080 TIビデオカードで全員が勝ちました。 2番目のステージはチーム1で、チームには2人から5人までの賞品がありました。 1位-300,000ルーブル 2位-200 000ルーブル 3位-100,000ルーブル 審査員賞-100,000ルーブル
電報の公式グループ、〜190人の参加者、英語でのコミュニケーション、質問に答えるまで数日待たなければならなかった	電報の公式グループ、〜1500人の参加者、参加者と主催者間のタスクの活発な議論
主催者は、シンプルとアドバンスの2つの基本的なソリューションを提供しました。 単純なものは16 GB未満のRAMしか必要としませんでしたが、16の高度なものは適合しませんでした。 同時に、少し進んで、参加者は高度なソリューションを大きく超えることができませんでした。 これらのソリューションを立ち上げるのに困難はありませんでした。 高度な例では、ソリューションの改善を開始するためのヒントを含むコメントがあったことに注意してください。	基本的な基本ソリューションが各タスクに提供されましたが、参加者は簡単に超過できました。 コンテストの初期の段階では、参加者はいくつかの困難に直面しました。まず、データはApache Parquet形式で提供され、Pythonとparquetパッケージのすべての組み合わせがエラーなく機能したわけではありません。 2番目の問題は、メールクラウドから画像を送り出すことでした。現時点では、一度に大量のデータを簡単にダウンロードする方法はありません。 その結果、これらの問題により参加者は数日間遅れました。

IDAO。 第一段階

タスクは、ミューオン/非ミューオン粒子をそれらの特性に従って分類することでした。 このタスクの重要な特徴は、トレーニングデータに重み列が存在することでした。主催者自身がこの列の回答に対する自信として解釈しました。 問題は、かなりの数の行に負の重みが含まれていたことです。

ヒントを使って数分間考えて（ヒントは重み列のこの機能に注目を集めました）、このグラフを作成した後、3つのオプションをチェックすることにしました。

1）負の重み（およびそれぞれ重み）を持つ行のターゲットを反転します

2）重みを最小値にシフトして、0から開始するようにします

3）行に重みを使用しない

3番目のオプションは最悪でしたが、最初の2つは結果を改善し、最良のオプションは1番目のオプションで、すぐに1番目のタスクで現在の2位に、2番目に1番目になりました。



次のステップは、欠損値のデータを調べることでした。 オーガナイザーは、すでにいくつかの欠損値が存在するコーミングデータを提供し、それらは-9999に置き換えられました。

MatchedHit_ {X、Y、Z} [N]およびMatchedHit_D {X、Y、Z} [N]列に欠損値が見つかりました。N= 2または3の場合のみです。理解したように、一部の粒子は4つの検出器すべてを通過しませんでした、3または4プレートで停止しました。 データにはLextra_ {X、Y} [N]列も含まれており、MatchedHit_ {X、Y、Z} [N]と同じようですが、何らかの外挿を使用しています。 これらのわずかな推測は、MatchedHit_ {X、Y、Z} [N]の欠損値の代わりに、Lextra_ {X、Y} [N]（XおよびY座標のみ）に置き換えることができることを示唆しました。 MatchedHit_Z [N]は中央値で十分に満たされていました。 これらの操作により、両方のタスクについて1つの中間の場所に移動できました。

最初のステージでの勝利のために彼らは何も与えなかったことを考えると、私たちはこれでやめることができましたが、私たちは続けていくつかの美しい写真を描き、新しい機能を思いつきました。

たとえば、検出器の4つのプレートのそれぞれから粒子の交差点を作成すると、各プレート上の点が4対5のアスペクト比と（0,0）の中心を持つ5つの長方形にグループ化されることがわかります。最初の長方形にはポイントがありません。

プレート番号/長方形寸法	1	2	3	4	5
プレート1	500x625	1000x1250	2000x2500	4000x5000	8000x10000
プレート2	520x650	1040x1300	2080x2600	4160x5200	8320x10400
プレート3	560x700	1120x1400	2240x2800	4480x5600	8960x11200
プレート4	600x750	1200x1500	2400x3000	4800x6000	9600x12000

これらのサイズを決定したら、粒子ごとに4つの新しいカテゴリフィーチャ（各プレートと交差する長方形の数）を追加しました。

また、粒子が中心から離れて散乱しているように見え、この散乱の「品質」を何らかの形で評価するというアイデアが生まれました。 理想的には、おそらく、エントリポイントに応じて何らかの「理想的な」放物線を考え出し、それからの逸脱を推定することができますが、「理想的な」線に限定しました。 各エントリポイントにこのような理想的なラインを構築したので、このラインからの各粒子の軌跡の平均二乗偏差を計算することができました。 ターゲット= 1の平均偏差は152であり、ターゲット= 0の平均偏差は390であるため、この機能を暫定的に良好と評価しました。 確かに、この機能はすぐに最も有用なもののトップに当たりました。

私たちは喜んで、追加の4つの特徴として理想的なラインからの各粒子の4つの交点すべての偏差を追加しました（そして、それらもうまく機能しました）。

主催者から提供されたコンテストのトピックに関する科学記事へのリンクは、この問題を解決するのが最初とはほど遠いことを示唆しており、おそらくいくつかの特殊なソフトウェアがあります。 IsMuonSimple、IsMuon、IsMuonLooseメソッドが実装されているgithubでリポジトリを発見したので、それらをわずかな変更を加えて自分自身に転送しました。 方法自体は非常に簡単でした。たとえば、エネルギーがしきい値を下回る場合、これはミューオンではなく、ミューオンではありません。 このような単純な兆候は、明らかに勾配ブースティングを使用した場合に増加を与えることができなかったため、しきい値に別の兆候「距離」を追加しました。 これらの機能も少し改善されました。 おそらく、既存のメソッドをより徹底的に分析して、より強力なメソッドを見つけて属性に追加することができます。

競争の終わりに向かって、私たちは2番目のタスクに少し「クイック」ソリューションを傷つけました。その結果、次の点でベースラインとは異なりました。

1. 負の重みを持つ行では、ターゲットが反転しました
2. MatchedHit_ {X、Y、Z}の欠損値を埋めました[N]
3. 深さを7に削減
4. 学習率を0.1に減らしました（0.19でした）

その結果、私たちはいくつかの機能（特に成功しなかった）を試し、パラメーターを選択し、catboost、lightgbm、xgboostを訓練し、異なる予測ブレンドを試し、自信を持って2番目のタスクを獲得してからプライベートを開き、最初のリーダーの1つになりました。

プライベートが開かれた後、私たちは1タスクで10位、2タスクで3位になりました。 すべての指導者は混乱しており、民営での速度はリバーボードよりも速かった。 データは不十分に層化されているように見えます（または、たとえば、プライベートに負の重みを持つ行がありませんでした）。これは少しイライラしていました。

SNA Hackathon 2019-テキスト。 第一段階

タスクは、Odnoklassnikiソーシャルネットワーク上のユーザーの投稿を、そこに含まれるテキストに従ってランク付けすることでした。テキストに加えて、投稿のいくつかの特性（言語、所有者、作成日時、表示日時）がまだありました。

テキストを操作する古典的なアプローチとして、次の2つのオプションを選びます。

1. 同様の単語が同様のベクトルを持つように各単語をn次元のベクトル空間にマッピングし（詳細は記事で確認できます）、テキストの中間の単語を見つけるか、単語の相対位置を考慮したメカニズム（CNN、LSTM / GRU）を使用します。
2. 文全体をすぐに処理できるモデルを使用します。 たとえば、Bert。 理論的には、このアプローチはうまく機能するはずです。

これは私のテキストの最初の経験だったので、誰かを教えるのは間違っているでしょう、それで私は自分自身を教えます。 コンテストの最初に自分自身に与えるいくつかのヒントを以下に示します。

1. 何かを学ぶために走る前に、データを見てください！ テキスト自体に加えて、データにはいくつかの列があり、それらよりも多くの列を絞り出すことができました。 最も簡単なことは、列の一部に対してターゲットエンコーディングを行うことです。
2. すべてのデータから学習しないでください！ 大量のデータ（約1700万行）があり、それらすべてを使用して仮説をテストすることは完全にオプションでした。 トレーニングと前処理は非常に遅かったため、より興味深い仮説をテストする時間があることは明らかです。
3. < 物議を醸すアドバイス >キラーモデルを探す必要はありません。 私はエルモとバートに長い間対処し、すぐに私を高い場所に導くことを望み、その結果、ロシア語にFastTextの事前訓練された埋め込みを使用しました。 Elmoでは、より良い速度を達成することはできませんでしたが、Bertではそれを理解することができませんでした。
4. < 物議を醸すアドバイス > 1つのキラー機能を探してはいけません。 データを見ると、テキストの1％の領域には実際にはテキストが含まれていないことに気付きました！ しかし、その後、いくつかのリソースへのリンクがあり、サイトを開いて名前と説明を引き出す簡単なパーサーを作成しました。 それは良い考えのように思えますが、私は夢中になり、すべてのテキストのすべてのリンクを解析することに決め、再び多くの時間を失いました。 これらはすべて、最終結果に大きな改善を与えるものではありませんでした（たとえば、ステミングで把握しましたが）。
5. クラシック機能が動作します。 たとえば、Googleは「text features kaggle」で、すべてを読んで追加します。 TF-IDFは、テキストの長さ、単語、句読点の量などの統計機能も改善しました。
6. DateTime列がある場合、それらをいくつかの個別の機能（時間、曜日など）に解析する必要があります。 どの機能を強調するかは、グラフ/いくつかの指標で分析する必要があります。 ここでは、すべてを思いつきで行い、必要な機能を強調しましたが、通常の分析では問題はありません（たとえば、最終版で行ったように）。

競争の結果、私は言葉に応じた畳み込みで1つのケラスモデルを訓練し、LSTMとGRUに基づく別のモデルを訓練しました。 そことロシア語用に事前に訓練されたFastText埋め込みが使用されました（他の埋め込みをいくつか試しましたが、これらが最も効果的でした）。 予測を平均して、76人の参加者のうち最後の7位になりました。

最初の段階の後、 ニコライ・アノヒンが記事を公​​開しました（彼は2位になりました（彼はコンペティションに参加していませんでした）。

第二段階OK＆IDAO

競技会の第2段階はほぼ連続して開催されたため、一緒に検討することにしました。

最初に、新しく買収したチームで、私はMail.ruの印象的なオフィスに行きました。そこでは、最初の段階からの3つのトラック（テキスト、写真、コラボ）のモデルを組み合わせることがタスクでした。 これには2日強が割り当てられ、非常に短いことが判明しました。 実際、協会から利益を得ることなく、最初の段階の結果のみを繰り返すことができました。 その結果、5位になりましたが、テキストモデルは使用できませんでした。 他の参加者の決定を見ると、テキストをクラスタ化してコラボモデルに追加する価値があると思われます。 この段階の副作用は、新しい印象、知り合い、クールな参加者や主催者とのコミュニケーション、そして深刻な睡眠不足であり、IDAO最終段階の結果に影響を与えた可能性があります。

IDAO 2019 Finalの対面段階でのタスクは、空港でのYandexタクシードライバーの注文の待ち時間を予測することでした。 ステージ2では、3つのタスク= 3つの空港が割り当てられました。 各空港について、6か月間のタクシーの注文数に関する1分ごとのデータが提供されます。 また、過去2週間の来月および分単位の注文データがテストデータとして提供されました。 十分な時間（1.5日）がありませんでした。タスクは非常に具体的で、チームから1人だけがコンテストに参加しました。その結果、悲しい場所は終わりに近づきました。 興味深いアイデアのうち、外部データを使用する試みがありました：天気、交通渋滞、Yandexタクシー注文統計。 主催者は空港が何であるかを述べませんでしたが、多くの参加者は彼らがシェレメーチエボ、ドモジェドヴォ、ヴヌーコボであることを示唆しました。 この仮定は競技後に反論されたが、例えばモスクワの気象データの特徴は、検証とリーダーボードの両方で結果を改善した。

おわりに

1. MLコンテストはクールで面白いです！ データ分析のスキル、およびandなモデルとテクニックのスキルが使用されており、常識があれば大歓迎です。
2. MLはすでに膨大な知識の層であり、指数関数的に成長しているようです。 さまざまな分野（信号、写真、表、テキスト）を理解することを目標に設定し、どれだけ学ぶべきかをすでに認識しています。 たとえば、これらの競争の後、クラスタリングアルゴリズム、勾配ブースティングライブラリ（特にGPUでCatBoostを使用）を操作するための高度な手法、カプセルネットワーク、クエリキー値アテンションメカニズムを研究することにしました。
3. 単一のカグルではありません！ 少なくともTシャツを入手する方が簡単なコンテストは他にもたくさんあり、他の賞品を獲得するチャンスも多くあります。
4. チャット！ 機械学習とデータ分析の分野には、すでに大きなコミュニティがあり、Mail.ru、Yandexなどの企業の電報、スラック、真面目な人々にテーマグループがあり、質問に答え、初心者を助け、この知識の分野での旅を続けています。
5. 前のパラグラフを吹き込んだすべての人に、5月10日から11日に開催されるモスクワでの大規模な無料カンファレンスであるdatafestを訪問することをお勧めします。