アルペンスキー機械学習

この記事では、機械学習を使用してスキーの生体力学を分析する可能性について説明します。



当初、これらの機能に関する仮説は、次の一連の要件に基づいていました。

• 技術的要素を分類する能力;
• 特定のメトリックに従って指定された要素を比較する機能。 ルートの重要な機能を見つけて、時間を最小限に抑えることができます。
• 予測を行う機能（2回目の試行など）。

この仮説の初期検証のために、アスリートスキーヤーの軌跡の最も単純なフェーズを認識するために、人工ニューラルネットワーク（以下ANN）をトレーニングすることにしました。



作業の段階は次のように定義されています。



1.データ収集。

2.トレーニング用のデータの準備。

3.ターン全体を認識するためのネットワークのトレーニング。

4.ターンのフェーズを認識するためのネットワークのトレーニング。

5.ユーザーが結果のシステムを操作するためのサービスの開発。

データ収集。 モーションキャプチャ

収集するデータ それらを取得する方法？



降下中のアスリートの活動を特徴付ける非常に多くの指標があり、スキーブーツ上の足の圧力のプロファイルから始まり（すべての運動制御が始まるこれらの知覚できない動きから）、視線の方向で終わる（アスリートから遠いゲートより）彼は、最適な弾道を構築する可能性が高くなります）。 そもそも、モーションキャプチャ（MoCap）のみに焦点を当てること、つまり身体セグメントの動きの骨格モデルを取得することに決めました。このアプローチはプロセスの物理学を最も広く説明しているためです。



モーションキャプチャは、Xsensソリューション（MVN Biomech）を使用して作成されました。

これは、慣性センサー（IMU）が取り付けられたナイロン製のジャンプスーツです。 その特徴によれば、このスーツは、標準的なスポーツ用具に似ています-「トリガースーツ」。これにより、アスリートは、いくつかの制限はありますが、通常の用具で簡単に装着できます。



運用中、本物のスキー用具にオリジナルのソリューションを適合させる必要がありました。 これは主にデータ記録の精度を向上させるために行われ（個々のセンサーの取り付けが不十分でした）、次にスキーの準備プロセスをスピードアップするために行われました。 その結果、アスリートは、ユニフォームを着たりライディングしたりするときに、生体力学の記録と定期的なトレーニングの違いをほとんど感じなくなります。

データ準備

生データの準備について説明する前に、それらが意味することを明確にする必要があります。



MoCapシステムはフレームに動きを記録し、フレームに単純に入れます。各セグメントには、それぞれ23セグメントで体の位置の記述があり、各セグメントは、四元数（固体回転を記述する線形代数のオブジェクト。オイラー角の類似物です）操作の面では簡単です）。 各四元数は、グローバル空間での初期位置に対する身体セグメントの回転を表します。 フレームは240Hzの周波数で書き込まれます。これにより、たとえばスティックの注入時にブラシを叩くなど、かなり速い動きをキャッチできます。



今、直接、準備に関して。



そもそも、私たちは私道だけを取り去り、その間に起こるすべてのこと（くびきの持ち上げ、待機など）を捨てます。 その結果、仕事に適した10のワークアウト（センサーの設置とその後の変位のために多くの結婚がありました）のうち5つが判明しました。 平均して、各トレーニングセッションで20回のパスが記録され、各パスの有効時間は30秒でした。 合計5回のワークアウト* 20ドライブ* 30秒* 240 Hz = 720 000フレーム。 まあ、または720,000フレーム* 23セグメント*クォータニオンの4つの実数=約6,600万の実数を超える場合。 そのような音で十分です。



次に、トレーニング用にデータを手動でマークする必要があります。正確に認識すべきことをニューラルネットワークに説明するためです。 そして目標は、最初に完全なターンを認識し、次にそれらのフェーズを認識するように彼女に教えることでした。 これを行うために、動きの視覚化とキーセグメント（この例では足、下腿）のインジケータが表示され、対応する要素の開始マークと終了マークがタイムラインに配置されました。 したがって、すべてのレコードの合計によると、約3,500ターン、つまり10,500フェーズを受け取りました。



準備中に最後に行うことは、セグメントの回転の角度をグローバルからローカルのセグメントの接続角度に移動することでした。 生体力学モデルには、セグメントジョイントの明確な階層があり、生データからのすべての構築がそこに行きます。 ルートを除く各セグメントで、この要素の接続角度の四元数を取得する必要がありました。 この階層のルートセグメントは骨盤です。 明らかに、セグメントの回転のチェーンとその長さを知っている（そして、このデータは、各アスリートの人体計測プロファイルが記録されているため）、生体力学モデル全体を復元できます。 グローバル空間の方位角で骨盤の正規化を実行するために残り、宇宙空間でのアスリートの方向に依存しないデータが得られました。

データ品質

一次データの品質分析は、PythonパッケージJupyter、NumPy、MatPlotLib、TensorFlowを使用して実行されました。



ここでは、2つの重要なポイントで停止する価値があります。



最初の-一部のセグメントのデータは「ノイズ」でした-ランダムに変更されるか、まったく変更されませんでした。 適切なデータを提供するセグメントもありましたが、動きの範囲全体で実質的に類似しており、実際にはそれらの線形依存性を意味していました。 たとえば、脊椎の2つの隣接するセグメントの動作は同じである可能性があるため、両方を使用しても意味がありません。



1.右折時のセグメントのジョイントの角度のクォータニオンの変化のグラフ



この図は、すべてのセグメント値がアクションの性質を明確に示しているわけではなく、学習に役立つことを明確に示しています。 これらは、アクションの品質とその特性の分析には役立ちますが、アクションの自動マーキングには役立ちません。



2番目の重要な点は、四元数成分の符号不安定性です。 これは何ですか 彼らの言語のまったく同じターンは、4つの数字の2つの異なるセットで記述できます。 たとえば、X軸を180回転させ、Y軸を90回転させた同じ回転は、（0,0.7,0,0.7）および（0、-0.7,0、-0.7）のクォータニオンで等しく正確に表すことができます。





2.クォータニオン回転の異なる表現



なぜこれが重要なのですか？ 事実、異なる車道の個別のデータ配列がなければ、同じターンで個々のコンポーネントの符号が反転する可能性があります。 今後は、ニューラルネットワークも最初は異なる状況として認識します。 しかし、空間と時間では、この反転は絶対に自然に発生します。





3.入力データの符号不安定性の例



この図のレースの1つでは、アスリートの右ターンの骨盤四元数の変化のグラフが黄色で強調表示され、もう1つは白で強調表示されます。 値は同等で、同じ角度を表示しますが、四元数の特性により、コンポーネントの符号が反対になる場合があります。 この機能に対処する方法を以下に説明します。

コーナー全体を決定するためのネットワークのトレーニング

スキー競技用の機器：スラロームターンに関するデータが記録されました（スラロームは、スキー競技の最速であり、小さな半径のターン、近いゲート、結果として高いターンの頻度によって特徴付けられます）、平均時間は0.9から+-0.1秒の範囲でした。 まず第一に、データの持続時間における最も遅いターンと最も速いターンの違いが2倍未満であるという事実は非常に便利でした。



TensorFlowパッケージを使用して、ターン全体認識システムのプロトタイプを作成するために、256ニューロンの2つの隠れ層を持つMLPネットワーク（多層パーセプトロン）を作成およびトレーニングしました（ネットワークグラフを図3に示します）。 トレーニングと回転認識のデータは、回転全体の既知の最長継続時間を超えるサイズのスライディングウィンドウ法を使用してサンプリングされました。 ネットワークは、データウィンドウに入るターン全体を認識することを学習していました。 窓を滑らせることで、ターンの開始と終了が認識されました。





4. 256個のニューロンの2つの隠れ層を持つ、訓練されたMLPネットワークをグラフ化します。



この段階で上記のデータ準備の問題をどのように解決したかについて少し説明する価値があります。 このかなり些細な作業では、「ノイズの多いセグメント」の問題へのアプローチと四元数の符号不安定性は同じでした-ただ捨てます。 ノイズの多いセグメントだけでなく、四元数が反転したデータでもネットワークを単に訓練しないだけの十分なデータがありました。



アプローチは機能しましたが、後でこのタスクにさらに正確に戻る必要がありました。 特別なアクションがなければ、ネットワークはクォータニオンのコンポーネント間の違いを認識し、一般化せずにそれらを異なるオブジェクトとして認識します。 彼女は、成分の異なる兆候を持つ四元数の類似性に気付くことを学ぶために、彼女は特別な方法で訓練されなければなりませんでしたが、次の段階で、それについては以下です。



図5からわかるように、ネットワークは優れた学習可能性を示しました。





5.ネットワーク学習。



その結果、この段階で、ターン全体を決定する可能性を確認し、データの準備基準も指定しました。

ターンの段階に合わせてネットワークをトレーニングします

次は、ターンのフェーズに移りましょう。 そして再び小さなハードウェア。



最も単純なケースでは、3つのフェーズを区別できます。



1.ターンへの入り口（スキーのエッジ角度の急激な増加と、セグメントのほぼすべての相対位置での一般に高い一次および二次微分により特徴付けられます。簡単に言えば、スキーヤーは、比較的まっすぐな位置から膝が曲がった状態、骨盤がすぐに「横たわった」状態になります回転方向に強く発音されると、フットボードが発音されます）。 平均の長さは0.25秒です。



2.ターンでの保持（スキーヤーが最初のフェーズで形成された体の位置を保持するフェーズ。もちろん、いくつかの変動があります。つまり、最初に作成し、メインアークを作成します。これはフラグ間のギャップに対応します。バイオメカニカルインジケーターの言語では、これは周りの変動のように見えます）相対加速度と相対速度のゼロマーク）。 平均の長さは0.4秒です。



3.ターンを終了します（ミラーのこの段階が最初で、「深い」状態から直接の状態に急速に戻ります。最初の段階と同様に、相対速度と加速が自然に反対のデータで爆発的に増加します）。 平均の長さは0.25秒です。



上記のすべての相分離は非常にコンテキストに依存しており、フラグの配置、カバレッジなどに大きく依存していることを明確にすることが重要です。 非定型アクティビティは、保持フェーズで発生することがあります。 あるフェーズから別のフェーズへの移行では事態はさらに複雑になります。実際には特定のインジケーターの急激な停止はありませんが、セグメントのグループ全体に対して特定のしきい値レベルの減衰があるため、フェーズが変化すると結論付けることができます。 そして、これはすべて私たちのネットワークを教えることでした。





6.位相長の変動の推定。



位相統計を見ると、ターン全体と比較して平均長の大きな違いと大幅な分散の違いに気づくことができます。その結果、ターンを保証するサイズのウィンドウを選択できませんでしたが、2つの連続した。 これは、スライディングウィンドウ方式を放棄せざるを得ませんでした。



したがって、MLPネットワークからRNN / LSTMネットワークに切り替えることが決定されました。





7.「トレーニング済み」RNN / LSTMネットワークのグラフ



しかし、これは問題の半分です。 物事はサインの不安定性によりさらに「面白く」なりました。 全体のターンの場合、反転したセグメントを単純に捨てることが可能であった場合、彼らはより巧妙に行動することにしました。 すなわち、確率的方法。



元のデータセットを読み込むと、元のデータセットを繰り返して人工セットが作成されましたが、ランダムに選択されたセグメント内のクォータニオンのパラメーターの符号が反転し、ネットワークに「供給」されて、人工異常が完成しました。 データの量は増加し、ANNはデータが時々存在する可能性があることを理解することを学びましたが、同時に同じことを言っています。 その結果、彼女は四元数の成分の兆候に関係なく、運動の段階を認識することを学びました。



そして、それは技術の問題であり、その結果、定性的に訓練されたネットワークが得られました。つまり、新しいデータの認識精度が向上しました。 以下は彼女のグラフと位相認識の結果です。







8.レース番号6でのフェーズ認識の結果。 これらのステップは、既知のタイプのフェーズを示します：進入、最大負荷、ターンからの退出。 飽和色は、コントロールマーキング、淡い-認識結果を示します。 左折は緑色で強調表示され、右折は青色で強調表示されます。 認識結果には、追加のフィルタリングや後処理は行われませんでした。



要約すると、スラロームトラックのスキーヤーが入るニューラルネットワークのエントリの結果として、彼はフェーズマーキングを行い、各フェーズの開始と終了のタイムライン上にマークを作成すると言えます。

ユーザーインターフェース

ソリューションの外観をカスタマイズするために、彼らは次のことを行えるサービスを作成することにしました。



1.スラローム通過の生体力学的記録をリアルタイムデータストリームの形式でサービスに送信します

2.応答でマークアップを受け取る（注釈付きエントリ）

3.フェーズマーキングを視覚化して、スキーヤーのレンダーでパッセージを表示します



以下は、サービスの図です。



9.ストリーミングフェーズマーキングのシステムサービス



その主なコンポーネントは、RNN / LSTMネットワーク、ストリーミングマークアップネットワークサービス、再生サーバー、およびWebアプリケーションの形式で作成されたフェーズ分析ワークステーションです。



この形式では、このサービスは、適用された問題を解決するツールというよりも機能のデモンストレーションですが、それは私たちの大きな仕事に必要なアイライナーです。 将来的には、比較可能な技術的断片のその後の分析にはマークアップが必要であると言えます。

次は？

今年度の目標は、フェーズのコンテキストでの個々の身体セグメントの動作（上記の説明よりも詳細な場合もある）から始めて、一般化の度合い（回転、靭帯、トラック、スキーのレベル全般）を増やして、分類および評価できるシステムです。 主なことは、これらすべての要素について品質指標を構築することです。

おわりに

それとは別に、生データが大幅に不足している領域が見つかった、つまり、人の位置、またはより単純に、私たちがどのように動いているかのデータを記述したと言いたいと思います。 そのようなものが存在すると、過去に視覚画像で起こったように、機械学習の範囲が根本的に広がります。



この点で、私たちは専門家、そしてこの分野に興味のある人々だけを協力に招待したいと思っています。 この協力の形式は未解決のままです。



フィードバックを待っています！