Data Fest 2の一環としてDota Science Hackathonに参加することから得られる教訓

6日前、真夜中頃、4人（ ivankomarov 、 kolyanzzz 、 Sergei_Smetanin 、 AzZzone ）のEC.Dota2のチームがDota Scienceハッカソンのオンライン部分の作業を開始しました。 Dota2については何も知りませんでした。



最初に、年代順に、最初の「オンライン」部分について。 上海メジャー2016の世界大会の試合のグリッドがあります。 試合前に結果を予測する必要があります。 時間が示されているように（ただし、コンテストの説明ではありません）、3月3、4、5日の一致を予測する必要がありました。 トレーニングでは、各試合に関する集計情報を含む過去のさまざまなトーナメントのDota2での試合の履歴データが提供されました。 水曜日から、私は眠り始めなければなりませんでした、なぜなら 日中はすべて動作します。 オンラインフェーズ用に2つのモデルが開発されました。



予測の質の指標として、次のメトリックが使用されました。score = log2（p_winner）+1。p_winnerは、結果として勝ったチームの勝利確率で、試合開始前に予測されます。







ここでは、ハッカソンの目標についていくつかの言葉を述べる価値があります。 正式な目標は、他と比較した予測の品質の最高の推定値を取得することです。 Data Festの意味と一致する目標は、機械学習を使用して一致の結果を予測するための、他と比較して最高のモデルを構築することです。



Data Fest 2の最終日の1人のスピーカー（ Nuker ？）は、「機械学習のタスクは、機械学習なしで常に解決できる」（あなた自身のニューラルネットワークを頭に置いている ）ことを正しく指摘しました。 誰がモデルを使い、専門家の経験を使い、何気なくプレイしましたか？ 不明



第1段階の最終評価は、予測確率の品質メトリックのすべての値の平均です。 ハッカソンの第1ステージの順位が示すように、「チーム」の予測数は10〜20回変化しました。 もちろん、不足しているデータは何かに置き換えることができますが、ここで重要なのは、予測が送信された瞬間に確率が0.5であると意識して結論付けられたのか、それとも単に寝過ごしたのかということです。 おそらく寝坊しただけで、送信しませんでした。 したがって、テーブル内の予測が10個よりも少ないチームを考慮しない方が良いでしょう。なぜなら、 チームモデルを評価するには情報が少なすぎます。 そして、最終評価での最良のゲーム戦略は、良い予測をして、もうプレイしないことです（0.5を送信）。これは、もちろん、Data Festの意味に対応していません。



オンライン部品番号1のモデル「ニコライ」（機械学習）。 SVMアルゴリズムは、過去1、2、...、12か月にわたるすべての試合における最初のチームの勝利の割合という観点から最初のチームの勝利を予測し、2番目のチームも同じです。 モデルの作成時に、アルゴリズムが選択され、重要でない兆候が排除されました。



機能セットは次のように選択されました。 前回の試合でチームの勝利シェアは、チームのスキルの指標です。 マスターは時間とともに変化する可能性があるため、ダイナミクスを考慮することが重要です。 当初は、チームの勝利のシェアを個々の月に使用したかったのですが、データのギャップが多すぎました。 そのため、ここ数か月でシェアに切り替えました。 兆候の中には、2番目のチームに対するすべての試合での最初のチームの勝利の割合がありましたが、この兆候の重要性は非常に低いことが判明したため（明らかに、パスの数が多いため）、この兆候を除外しました。



強力なチームに対する勝利は、弱いチームに対する勝利よりもスキルの指標に大きく貢献するはずなので、スキルを計算するときに、最初または2番目のチームによって敗北したチームのスキルを考慮することも考えられました。 しかし、アイデアを実装する時間はありませんでした。



オンラインパーツNo. 2のモデル「Sergey Smetanin」（仮定+データ分析）。 2015年7月1日からのみ試合を検討することにしました。 勝利/損失/勝利と損失の差の表を分析した結果、勝利順に並べ替えることで、「上海メジャー2016」トーナメントのチームが最も正確にグループ化されることがわかりました。







したがって、 アドホックとして、最初のチームの勝利の確率は、2つの値の0.5の同じ重みを持つ合計を使用しました。

1）2015年7月1日以降のすべての試合における第1チームの勝利数と第1チームと第2チームの合計勝利数の比率。

2）2015年7月1日以降の第1チームと第2チームの間の試合での、第1チームと第2チームの合計勝利数に対する第1チームの勝利数の比率。



なんで？ そのような仮定に基づいて：

-チームと経験は時間とともに大きく変化しているため、最新の情報のみを取得します。 何が新鮮ですか？ 知りません たとえば、2015年7月1日。

-チームテーブルは、勝利が上海メジャーのチームによって最も正確にグループ化されていることを示しています。 賞金で働きます。

-おそらく、ゲームが関心のある2つのチームの間で行われたことが重要です。 私たちはそのような試合にのみサインをします。 （ただし、試合後の再集計では、この標識を使用しないほうがよいことが示されました。これが、ハッカソンの第2部のすべてのチームが考慮された理由の一部です。）

-チームの歴史的な強さを調べます。

-勝ちによって測定された力には、戦略、プレーヤーなどの選択に関するすべての情報が既にあります。 したがって、今のところそれについて詳しく見ていきましょう。



モデル結果：

最初はモデル2が先頭でしたが、ヒューマンファクターが役割を果たしました。送信時にミスを犯し、1つの予測が確率1で失われました。3月3日の最初の場所から、彼らはすぐに4位を獲得した安定した「ニコライ」に手のひらを渡しましたオンラインパートの最後の42のうち、少なくとも10の一致を考慮に入れる場合。



オフライン部分は、3月5日の20:00に正式に開始されました。 モデルを作成するために、トーナメントの試合の進行状況（試合中のさまざまな時点でのゲームの状態）に関するデータが（0:30に）提供されました。 1:30に、これらの試合で誰が勝ったかについて最後に不足している情報を受け取りました。 5:30に決勝戦の最初の試合（グランドファイナルの前の試合）の開始までに、モデルは準備ができていました。



モデルの入力データ：

-プレイヤー：xp_per_min、gold、net_worth、respawn_timer

-コマンド：tower_state、barracks_state

-一致：期間



ターゲット変数：Radiant Win Chance



選択したモデル：ロジスティック回帰



選択された予測子：チームエクスペリエンス（xp）、チームコスト合計（純資産）、経験対チームコスト合計比（Radiant to Dire）、respawn_timer（ヒーロー用）、レベル（ヒーロー用）、respawn_timer *レベル（ヒーロー用）。



トレーニングサンプル：2016年上海メジャーのすべての試合の進行状況に関するデータ。



注 ：respawn_timer-殺されたヒーローが復活するまでの時間。



一時的にゲームを離れたヒーローのレベルが高いほど、チームが勝つ可能性が低くなると想定したため、respawn_timerとlevelを使用しました。



モデルの信頼性についていくつかの疑念があったため、チームの経験の違いもリアルタイムでプロットしたため、スケジュールで誰が勝っているのかを確認し、モデルが約0.5の慎重な予測を行う場合、確率を高く送信します。



最終的には、リキッドがEGとの試合で勝ったときに多くの驚きがあり、試合を通して経験がマイナスになりました（グラフを参照）。 EGは最初のDota2コンサルタントのお気に入りでした。







この方法で機能するまれな戦略があります。これは、ロシアのチャンピオンシップレベルでDota1をプロとしてプレイした2人の（提携）コンサルタントの2番目について説明しました。 経験の卓越性が勝利の最も決定的な要因の1つであると確信していたため、これは特性選択ロジックに適合しませんでした。 最初のコンサルタント（若いDota2愛好家）は、彼が見たものにショックを受けました。



おそらく、そのような逸脱は塔の状態によって見ることができますが、そのような戦略は明らかに非常にまれであるため、Dota2をプレイした経験がなくても、機械学習法を使用してそれを特定する方法が明確ではありません。 塔と兵舎の状態に関連する機能を追加すると、テストサンプルのモデルの品質が悪化しました。







グラフは、症状の重要性を示しています。 ここには多くの興味深いことがあります。たとえば、最初のヒーローRのレベルが、2番目のヒーローRのレベルよりも重要度が大幅に低くなったことがわかりました。



私たちはモデルの強さを信じすぎず、グランドファイナルに行きました。 モデルと、チームの経験の違いをリアルタイムでグラフ化するスクリプトを作成した2人が就寝し、2人がモデル結果を評価のために送信し、一般に「状況に応じて行動する」。



また、試合終了時のモデルの評価を考慮して、確率を送信する戦略についても考えました。 おそらく、できるだけ早く最高の確率を予測し始めることにより、利点を得ることができます。 そのような戦略を立てるかどうかを考えました。チームの勝利を「見る」まで0.5を送信し、その後1を送信します。今後、多くの人がそのような戦略またはその変形を適用したと言えます。 最適な戦略の問題をさらに詳しく調べることは興味深いでしょうが、時間がありませんでした。



そして...フィナーレが始まりました！ 私たちは人生で初めてゲームを見ました。 モデルが突然...落ちました。 グラフはとにかく続いて、ゲームの3つの期間にわたって送信された確率の偏差を0.5から体系的に増加させることを決定して、それに沿って再生しました：開始（10分）±0.05、中間（20）±0.25、最終（20+） ±0.49。



ヒーローの選択中に確率を送信することができました。 別のモデルを考案することは可能ですが、何も送信しないことにしました。



彼らは23のうち15位でプレーし、品質評価の合計に基づいて試合の結果を正しく予測しました（試合全体の予測の品質の最終評価はプラスであることが判明しました）。 ゲームは簡単に予測され、その一致において、モデルが対数に対する人の恐怖以上に私たちを助けたようです。



セカンドゲーム。 最も興味深い。 敗北後、液体が突然生き返った（コンサルタント＃2が言ったように、私は正しいヒーローを選んだ）。 モデルが修復されました（作成者が目覚めました）。 私たちはそれがどのように機能するのか分かりませんでした（そして、それが経験から来ていることは明らかでした）、そして時々私たちは自分の手に舵を取りました。 モデルは強い散乱を与え、彼らはその熱意を冷やすことに決めました。 ゲームの結果によると、彼らは14位に登りました。



3番目のゲーム。 どうなるの？ 15位になりました。Liquidでのゲーム開始前にベットが介入したためだと思います。



第4ゲーム。 または、パンまたはゴーン。 車に乗らないことにしました。 自動操縦を行います。 結果-非常に極端で非常に自信のあるチームの後の3位（ グランドファイナルの最終試合の結果 ）、おそらく純粋な機械学習の最高の結果。



結論：モデルはシャープに見えますが、強力です（3月8日おめでとうございます！）。 特に、1つのチームの利点を生かした試合の場合。 モデルは無駄に時間を無駄にせず、最近の過去を...私たちのように見ませんでした。 コンサルタントとしての戦略を探していません。 私はちょうど私たちが試合にいる場所から、歴史的にすべてがそのような結果になると言った。



グランドファイナルの4ゲームすべてをプレイした23チームの合計10位（合計計算による）。







「極値」と「自信がある」を除外すると、場所は高くなります。 ちなみに、アルゴリズムのみをプレイするためには、結果に本当のお金をかけるのが便利でしょう。 それから、最後の5つのチームで合計4ゲームを見るのは面白いでしょう。これは9,000から300,000ルーブル（メートル単位あたり1ルーブル）で放り出されます。 そうすれば、優勝チームはもっと慎重に考えていただろうと思います。



教訓：

1）Hackathon-タイトな時間と未知のトピックを明らかにする必要があるクールなもの。 Dota2ハッカソンを引き続きプレイします ！

2）厳しい締め切りとDota2の完全な無知を考えれば、私たちは順調に機能しました。

3）車を信頼する（ただし確認する）。

4）長期間データから引き出され、マシンがチェックする知識を転送するには、専門家が必要です。 このハッカソンでは、専門家の「モデル」にはバイアスと分散の両方がありました。 彼らは「このチームにすべてを置く」というおおまかなモデルを持ち、広範囲に広がっていました（「いいえ、いいえ、今これに賭けます」）。 おそらく、共生機械+エキスパートが最適です。

5）1つのツールで戦闘に参加しないでください。 突然拒否しますか？ グランドファイナルの最初の試合を救ったスケジュールを持っていたことに感謝しています。

6）まれなイベント（非常にまれな戦略の形での放出）の場合、そのような戦略の貢献を適切に考慮するのに十分な観測はありません。