スポーツスカウトをニューラルネットワークに置き換えた方法

はい、確かに、スポーツスカウトニューラルネットワークを置き換えることができ、ゲームデータを自動的に収集し始めました。 そして今、私たちは観客、時には裁判官よりもスポーツイベントについて知っています。



私たち（ Constanta ）は、モバイルアプリケーション、サイトなどのITベッティング製品の開発を専門としており、最近ではコンピュータービジョンと機械学習の分野でプロジェクトを開発しています。 それらの1つについて説明します。



アスリートが大小の勝利のために戦っている間、ブックメーカーは、実際に賭けが受け入れられる係数に従って、係数を再計算するためにリアルタイムでイベントのコースを知る必要があります。 これを行うために、遊び場で直接スポーツスカウトがスマートフォンの特別なアプリケーションを使用して大量のデータを収集して送信します。 スカウトは私たち全員と同じ人なので、人的要因に関連するリスクが自然に発生します。 私たちの目標は、データの収集と送信の量と速度を同時に増加させると同時に、これらすべての作業のコストを削減することです。 小さなボールは、テニステーブルやサッカー場のボールの上を飛びます-データを収集するためのコンピュータービジョンシステムの実装の技術的な側面には、概念的な違いはありません。 ビリヤードのように、相互作用する多数のボールを含むゲーム用のシステムをすぐに構築する方が面白いと判断しました。





すべてのボールとキューの座標と速度が必要です。



結果を正しく判断するための多くのスポーツゲームの分析では、一連のイベントを正確に追跡する必要があることに注意してください。 したがって、これらのイベントの決定を担当するコンポーネントの信頼性に対する高い要求。 簡単な例を使って説明しましょう：平均して、プレーヤーがすべてのボールをポケットに20ストローク転がし、99％のヒットの結果を決定する信頼性がある場合、引き分けで勝者を決定する確率は約82％（0.99 20≈0.817）だけです。 試合は、プレイヤーの1人の最大5勝まで続きます。つまり、平均5から9のドローが行われます。したがって、平均して、イベントの決定におけるそのような信頼性で、試合の正しい結果はわずか約24％（0.817 7≈0、 24）。 しかし、最初はエラーの確率はわずか1％でした！

ナインプール

さまざまなビリヤードゲームから、Pool-9を検討してください。 勝者は、9番のボールをポケットに止めたプレーヤーです。 最初は、「9」は色付きのボールの菱形の中心にあります。 キューボールが当たるべき照準ボールは、テーブル上で最も小さい番号のボールです。 たとえば、プレーヤーが単一の色のボールまたはファウルを獲得できなかった場合、たとえば、照準ボールを打たなかった、またはホールでキューボールを獲得しなかった場合、動きは対戦相手に行きます。 ポイントを正しく獲得するためには、ポケットでのボールのヒットと、プレーヤーの交代につながるすべてのイベントを判断する必要があります。

コンピュータービジョン

最初に、ニューラルネットワークがデータを受信する方法について説明します。 入力情報ストリーム-テーブルの上にある1台のカメラからのビデオ放送で、毎秒60フレームの頻度で撮影します。





システムによって処理されるビデオストリームのフレームの例。



ニューラルネットワークによるビデオストリームの処理における重要な段階は、セマンティックセグメンテーションです。 これはコンピュータービジョンの古典的なタスクであり、アルゴリズムは画像のピクセルを1つ以上のクラスに割り当てる必要があるという事実から成ります。 簡単に言えば、ビデオフレームに何が何であるかを判断する必要があります。 ニューラルネットワークは「マスク」を生成し、たとえばボールや選手に関連するピクセルを強調表示します。 一連の後処理アルゴリズムを実行した後、ボールの「マスク」は座標に変わります。 彼らによると、フィルターで平滑化した後、各ボールについて、運動の速度と軌道が決定されます。 この段階では、ボール同士の衝突やテーブルの側面との衝突など、低レベルまたは中間のイベントが追跡されます。 受信したデータは、ゲームのロジック全体を実装するルール処理モジュールに送信されます。 最終的に、彼はそれを最終消費者、すなわち ブックメーカー、高レベルのイベント：ポケットにボールを打ち込んだり、ファウル、動きの遷移、そして実際にはゲームの結果。





システムの一般的なスキーム。



問題を解決するには、まず、フレーム上のテーブルの位置とその上のすべてのボールを見つける必要があります。 アクションの別の重要な参加者はキューです。それは、打撃の方向と、それに応じてキューボールの軌道を決定するのは彼です。 プレイヤーはテーブルを曲げて、カメラからテーブルを部分的に覆います。 ゲームの分析の観点からは、それらはボールのスタンドのような「異質の物体」であり、携帯電話、手袋、ナプキンなど、プレイヤーの意志によってテーブルの側面に現れるものです。 したがって、テーブル、その側面、ポケット、キュー、異物、そしてもちろんボールなど、セマンティック画像のセグメンテーション用にいくつかのターゲットクラスが取得されます。 さらに、各ボールは、色に応じて個別のクラスで表されます。



セマンティックセグメンテーションには、 LinkNet-34アーキテクチャを備えた完全な畳み込みニューラルネットワークが使用されます。 比較的迅速に機能し、コンピュータービジョンのさまざまな「戦闘」タスクで実証されています。 上記のクラスのセットを決定するために、コンピュータービジョンのすべての問題を解決する1つのニューラルネットワークのみが使用されます。





LinkNet-34ネットワークアーキテクチャ（ arXivを参照）。



画像は入力であり、すべての必要なクラスの「マスク」のスタックが出力で取得されます。 「予測マスク」は、0〜1の値を持つ数値の2次元配列です。「マスク」の各要素の値は、対応するピクセルがこの「マスク」のクラスに属するネットワークの信頼度に対応します。 ピクセルの最終的な分類のために、得られた予測はしきい値フィルターによって二値化されます。



ニューラルネットワークをトレーニングして、対応する「マスク」を持つ多数の例のピクセルを分類できます。 これを行うために、フレームに分割された多数のビデオを収集し、マークアップ部門がそれらの「マスク」を手動で準備しました。 複雑な場合、追加のデータセットが必要でした。 たとえば、ボールがポケットに「飛び込む」か、テーブルの横にあるボールの近くに立つと、ボールに影が付きます。そのため、色が異なって見えます。 または、プレーヤーが菱形を破ると、ボールが複雑なパスに沿ってすばやく飛ぶため、画像がぼやけます。 ニューラルネットワークがそのような例をいくつか「見た」場合、正しい分類は困難になります。





画像とそれに対応するマークアップの例。 ニューラルネットワークのタスクは、入力画像からそのような「マスク」を取得することです。

高速、高速、さらに高速...

データのエンドユーザーは、リアルタイムの情報を必要とします（または、リアルタイムよりも優れています）。 ニューラルネットワークを高速化するために、パケットの正規化と2Dコンボリューション（BatchNorm Fusion）を組み合わせて、複数のレイヤーなしで同等のネットワークを取得できるなど、いくつかの手法が適用されています。 ビデオカード上の前のフレームの処理と並行して新しいフレームを準備およびロードすることも、良い結果をもたらします。 さらに、人員による準備作業と「マスク」の後処理の一部がGPUで実行されます。 単純なアイデアでさえ、各フレームの合計処理時間を短縮するのに役立ちました。ネットワークの結果を、float32ネットワークから受信したものの代わりにuint8の形式でビデオカードからRAMに転送します。



その結果、必要なすべての前処理と後処理を含む1つのフレームのセマンティックセグメンテーションに平均でわずか17ミリ秒かかります。 また、システムの操作には、ゲーミングビデオカードが1枚あれば十分です。

衝突はありましたか？

ボールの座標は「マスク」によって決定しますが、最初に、ボールに似ているもの、たとえばプレーヤーのTシャツの丸いストライプを除外する必要があります。 ここで、ヒューリスティックが登場します。ボールの形状とサイズ、過去に対する相対的な位置はよく知られています。 さらに、すべてが「マスク」と一致している場合、その重心が処理に使用されます。





開発者のひどい夢のビリヤードプレーヤー。



一見奇妙ですが、実際には、ボールの位置を決定した結果は、動きのないボールでもフレーム間で異なる場合があります。 説明は簡単です-実際のビデオの「ノイズ」、ビデオストリーム圧縮アーティファクト、および移動するボールのぼやけた画像の位置を決定する際のエラーとともに、結果を滑らかにする必要があります。



ネットワークから受信し、前のフレームで決定されたボールの座標に基づいて、速度は数値導関数として推定されます。 考慮されるポイントの数とそれらの間の間隔は、システムの動作中に、データや衝突などのイベントの可用性に応じて適応的に選択されます。 次に、ボールの位置と速度に関する情報がカルマンシグマポイントフィルターに送信されます 。 ノイズの多いデータを滑らかにすることができます。これは、速度とその方向を決定するために特に重要です。 さらに、動的モデルの結果を使用して、近い将来を予測できます。





カルマンフィルターによるボールの位置と速度の決定を平滑化するデモ。

左：生：直接測定の結果、ボールのベクトルは速度に対応し、数字は速度の推定値を示します。 UKF：フィルター結果。

右：カルマンフィルターでボールの速度の方向を滑らかにする例。 青色は測定結果を示し、赤色-フィルタリングの結果を示します。 方向への突然のジャンプは、ボールの衝突に対応します。



ボールの状態と軌跡に関するデータにより、「フレーム間」に落ちた場合でも、いわゆる低レベルイベントの発生を判断することができます。







ボールは衝突中に非常に速く移動するため、ボールの衝突などのイベントを直接示すフレームがないことがよくあります。 したがって、すべてのタイプの相互作用（ボール同士の衝突、ボードとの衝突、またはホールへの落下）について、考えられるイベントのリストが最初に作成されます。 2つの基準があります。 第一に、ボールの非常に近い相互配置。 ゆっくりと移動する場合、速度と軌道の決定には大きな相対誤差があるため、相互作用するオブジェクト間の距離は重要です。 第二に、ボールが高速で移動する場合、起こりうるイベントは動的モデルから得られた軌道の交差によって決定されます。 このアプローチは非常に素晴らしいボーナスを提供します：ポケット内のボールのヒットの可能性を少し前もって予測する能力。





ボールからの菱形の最初の分割中のビデオストリームの連続フレーム。 ボールの軌跡を記述するモデルがなければ、キューボールがどのボールに面しているかを判断することは困難です。



速度ベクトルの方向と大きさの変化により、イベント、つまり衝突が発生したと判断できます。 ボールがポケットに転がった場合、「消える」。 しかし、重要なポイントがあります。その軌跡のデータを使用して、ボールが正確にハンマーで打たれ、プレーヤーの手または他のオブジェクトが誤ってその上にあったためにカメラの視野から消えなかったことを確認する必要があります。



そして、何かがうまくいかなかったら？ たとえば、フレームの損失やテーブルにプレーヤーの姿がぶら下がったために、イベントの一部が落ちたとします。 このような省略は、ゲームロジックにとって重要です。 ヒューリスティックな自動修正システムを保存し、システムの安定性を向上させます。 たとえば、キュ​​ーボールへのヒットが検出され、エイムボールが穴に落ちたが、キューボールの衝突が検出されず、他のボールが動かない場合、キューボールの衝突をエイムボールに追加するのが論理的です。

それで、私たちは遊んでいるかどうか？

ボールは転がり、衝突し、ポケットに落ちます...しかし、ゲームは本当にその瞬間に起こっていますか？ または、それどころか、テーブル上のすべてのものは揺るぎないように見えます...それでゲームは停止しましたか？ これらの質問に対する正しい答えは、おそらく衝突の定義と同じくらい重要です。 プレイヤーが打撃の準備をし、それを熟考し、狙いを定めたとき、動きはありません。 しかし、それは起こります、そしてその逆は、ゲーム以外の瞬間に、テーブル上の生命が非常に動的に移動する可能性があります：詰まったボールはあるポケットから別のポケットに移動します。 ） 現在のヒットの終わりを簡単に判断できる場合-正しいヒットの後、すべてのボールの動きが止まり、最初からすべてがそれほど明確ではありません。 もちろん、キューボールに対する実際のキューストライクなど、ビデオ内のイベントを検出するようにニューラルネットワークをトレーニングできます。 そして、キューの位置と角度、その端の軌跡と速度、および衝撃の疑い後のキューボールの軌跡を分析する一連のヒューリスティックをコンパイルできます。 2番目の方法を採用した結果、ゲームの現在の状態を決定する非常に高速で信頼性の高いアルゴリズムが得られました。





システムは、ゲームが開始されたかどうかを理解しようとしています。

そして、最終的に誰が勝ちましたか？

低レベルイベントに関するすべてのデータ（キューボールへのヒット、ボールの位置と衝突、ポケットへの落下）はモジュールに送信され、そのシーケンスから、ファウルまたは正しいボールがホールに落ちる、ゲームの動き、または終了を決定します。 公平なモジュールは、勝者を採点して発表します。 その特徴は、自動修正およびヒューリスティックなしで機能し、ゲームのルールを単に正式に適用することです。 ルールブロックは完全に置き換えることができます。これにより、システムに大きな介入をすることなくトーナメントのローカルルールに適応したり、他のタイプのビリヤードゲームを処理したりすることができます。

無人車両はまだ安全性を監視するキャビンのテストエンジニアを完全に排除していないため、ルールモジュールにより、Webインターフェイスを介した外部の手動制御が可能になります。 自動システムに障害が発生した場合、介入が必要になる場合があります。 さらに、ビデオストリームにないデータを手動で入力する必要があります。初心者プレイヤー、ゲーム中に音声でアナウンスされる特別なヒットなどについてです。 1人で複数のゲームを一度に監視できます。

仕組み

システムの正常な起動とセットアップの後、必要なデータの受信を開始しただけでなく、多くの興味深いことが発見されました。 そのため、テーブルにいるジャッジは、キューボールがエイミングボールに当たったのか、近くに立っている別のボールに当たったのかを確実に判断できない場合があります。 私たちのシステムの客観的なビューは、状況が実際にどのように発展したかを見ることができます。 さらに、システムは、さらなる分析に役立つ多くの情報を収集します。これは、人が単にリアルタイムで決定および送信することはできません。ボールの位置と速度、各プレイヤーによるキューのパラメーターの打撃です。





現在、システムは機能し、ブックメーカーによって使用されています。 将来的には、プレーヤーの自動識別、先制攻撃の結果の自動決定の追加など、システムの改善が計画されています。





システムの仕組みの技術的な視覚化。 「キューボール」の近くのボールは、キューボールがどの最初のボールに直面したかを示します。 「状態」-システムの状態：「待機」-プレイヤーがヒットするまで、「プレイ」-ボールが動いている間 「プレーヤー」-現在のプレーヤー。 ボールの周りの数字は、速度の推定値をcm / sで示しています。