医学における生体力学と人工知能。 YaC 2017での講演

この講義では、Intellect and Innovationの責任者であるYegor Tokunovが、ニューラルネットワークが個人の運動能力にどのように影響し、運動障害の患者のリハビリテーションにどのように役立つかを説明します。



Egorは2017年のもう1つのカンファレンスのデジタルヘルスセクションで講演しました。









皆さんは映画「マトリックス」を知っています。 視聴に触発され、私たちは考えました：「なぜ、私たちは、少しの時間でも、説明を使わずに、新しいモータースキルを身につけ、取得できるシステムを作成しませんか？」



2つのパラメーターがありませんでした。 まず、脳内の人に何を伝えることができますか？ そして2つ目-脳に直接転送する方法は？ しかし、解決策を考えて見つけました。







ロシア国立物理文化大学でアスリートと学び、競技に参加する準備をしたときに、ほぼ90年代に始まった私たちがたどった道のりについてお話しします。 アスリートの動きについての膨大な情報を受け取りました。 モーションキャプチャシステムを使用してこれらのデータを取得して分析し、特別な計算ツールにロードして、運動選手の機器を持ち込むために必要な最適化された動きを取得することができました。 しかし、コーチと仕事をする過程で、受け取った数字から何かを解釈しようとすると、コーチのデータチャネルが、次にコーチがそれをアスリートに伝えようとすると、非常に非効率的に機能することがわかりました。







したがって、制御プロセスがアスリートの脳に直接組み込まれている方法を理解し、人の動きを支配するルールの理解可能で自然な言語に切り替えた場合、彼に必要なものを最も簡単かつ完全に説明できると考えました、結果を達成するために。



実験を設定しました。 2003年、運動制御のためのニューラルネットワークとファジーレギュレーターの使用に関する論文が擁護されました。 実験サンプルとして、筋肉をエミュレートする柔軟なロッドを備えた3つのリンカーを使用しました。 開発されたニューラルネットワークは、人間の動きについて訓練されました。 その後、次のタスクがありました：このトレーニングに基づいて、3リンクの上部で何らかのアクションを受け取った後、平衡を回復します。 訓練されたニューラルネットワークは、このタスクの素晴らしい仕事をしました。 次に、3リンカーの管理がどのように構築されているかを理解する必要がありました。 このため、ファジーレギュレーターのシステムがニューラルネットワークに組み込まれました。これは、人工知能を使用するための現代の古典的なメカニズムとは異なり、ブラックボックスではありませんでした。 これらのルールを確認できるように書かれています。







また、何らかの説明をバイパスして、この情報を人に伝える方法も考えました。 同僚が設定した実験を理解して見る...人が自分の動きを実行するために使用する情報の70％は、視覚によるものです。 この場合、仮想現実でのいわゆるリダイレクトウォークの使用の古典的な例が提示されます。これにより、人に非現実的な世界を見せ、常にオンにすることで、人をたとえば円で歩くことができます。 同時に、その人は彼が無限の直線を歩いているという完全な印象を持っていました。



さらに広く考えました。 何らかの触覚刺激を接続すると、効果がさらに強くなる可能性があります。 また、文学の研究中に、これを裏付ける多くの例が見つかりました。 古典的な形式では、視覚的な錯覚に加えて、人が触覚刺激を受けた場合の例を示します。 この運動を繰り返して、たとえば、6番目の指を触覚のために小指にリンクし、6番目の指を動かすように人に求めるいくつかの試みにより、科学者は小指の筋肉から電気インパルスと筋電図を記録する機会を得ました。







推測が正しいかどうか、およびこのシステムが実際の動きに適用できるかどうかを確認するために、この時点でこのデータを処理し、変更をリアルタイムで単純なグラフィックプリミティブに変換できるプリミティブ人工知能を開発しました。 このために、スタビランスタビログラフィックプラットフォームでのテストを含むプログラムが開発されました。被験者のタスクは、画面上で見たマーカーに従って重心の偏差を繰り返すことでした。 この例では、赤いバーが参照マーカーであり、青いバーがプラットフォームの上に立っていた被験者です。 彼の仕事は、赤いマーカーの後ろの動きを繰り返すことでした。 その過程で、ニューラルネットワークの動作をテストしました。これは、ネットワークの動作中に受け取った予測が、人々が移動中に行ったエラーと修正に正確に対応することを実際に示しました。



また、ここで追加の効果を追加しようとしました。 この運動を実施するにあたり、フォローアップ運動を行うことにより、ヒューマンエラーを悪化させ始めました。 さらに悪化し、リアルタイムで人にエラーを早く示すほど、より早く、より正確にトレーニングを調整し始めました。 したがって、次の効果を達成しました：何も説明せずに、最適な計算された軌跡に対応する理想的な動きを人に強制しました。







このスライドには、最初に使用したニューラルネットワークの写真もあります。 その特徴は、スライド上にあり、正確にはファジールールのシステムであるレイヤー2がここで使用されているという事実にあります。 人間が読める言語に基づいたルールを引き出し、「より大きく」、「より強く」、「より遅く」、「より速く」などの指示が含まれており、次のレベルから体重データを知っているため、このルールをより頻繁に理解できましたすべてを使用して、この動きまたはその動きを実行します。 そのような計画は、私たちに、彼自身がこれらの運動を実行し構築した言語で情報を人に伝える機会を与えてくれました。



モーションデータをキャプチャおよび受信する新しい手段の開発により、私たちはシステムの影響から最も強力な効果を達成するために、人をより深く没入させることを考え始めました。 まず、光学式モーションキャプチャシステムとパッシブマーカーを使用しました。 2015年頃、現代の仮想現実ヘルメットの出現により、SteamVR Trackingモーションキャプチャおよび追跡システムの使用を開始しました。 もう1つの違いは、これらのシステムの精度は事実上同じでしたが、2番目のシステムはエンドユーザーにはるかに優れたアクセシビリティを提供したことです。







その過程で、私たちは膨大な数のツールを試しました-ニューラルネットワークを訓練し、人間の露出の最適なアルゴリズムを得るために必要な露出の方法とデータを理解したかったのです。 AnyBody Modeling Systemプログラムを使用して、筋肉がどのように機能するかを調べ、そのパラメーターを計算しました。 Visual 3Dは、通常、生体力学的モーションキャプチャシステムに付属するプログラムであり、動きのメカニズム、パワー、関節の速度などを計算できます。そして-条件付きでチームにいる人のためにこれらすべてを作成および接続するOpenSimプログラムホムンクルスが呼ばれました。 OpenSim内では、すべての知識を組み合わせて、効果がモータープログラムの変化にどのように影響するかをシミュレートしました。



また、教育学の観点からシステムを最適化する方法の方向にも注目しました。 実験を通じて、彼らは現代的で古典的な報酬と罰の方法も非常に効果的であることを認識しました。 また、人間の動きの予測に関するデータがあるため、報酬を非常に的を絞って事前にリアルタイムで表示できます。



最新のヘルメットで実験していると、仮想現実とそれが提供する没入感のレベルが、神経可塑性の有効性を数倍高めることがわかりました。



その結果、これまでのすべての研究開発を単一のシステムに統合しました。これにより、人々に視覚的な錯覚を見せることで、希望どおりの動きをさせることができました。 また、必要なパラメータに応じて、設定されたターゲットの動きの予備的な計算最適化を実行しました。たとえば、スポーツでは、労働、速度、強さ、エネルギーでした。 最適化により、バーチャルリアリティツールを使用するか、プロジェクター、テレビなどの古典的な視覚化の他の手段を使用して、この演習を数回繰り返すことで、このプログラムを脳に実際に直接読み込むことで、モータープログラムを再構築できました







人が認知機能を持っている場合、同様のメカニズムはすべて完璧に機能するため、製品をリハビリテーションシステムに移行しました。







システムは現在、3つの主要コンポーネントで構成されています。これは、モーションキャプチャシステム、コンピューター、および視覚化システムの一種である機器です。 ここでは特別なソフトウェアが使用されます。これには、人の動きと彼の運動スタイルに関するデータの主要な取得のためのクラウドベースの人工知能システムが含まれています。 出力では、別のニューラルネットワークを生成し、それをリアルタイムで使用して動きを予測できます。 リハビリテーションの方法論と演習自体は、ロシア科学アカデミーの神経科学センターと緊密に協力して開発されました。



このソリューションは現在、3つの製品レベルに分かれています。 それぞれに独自の欠点と利点があります。 特に、ホームソリューションではKinectプレフィックスが使用されるため、患者に追加のセンサーをインストールする必要はありませんが、Kinectの予測と操作の精度はやや低くなります。 ただし、これは非常に手頃な価格になります。



Proソリューションは、マーカーレスキャプチャシステムと組み合わせて、仮想現実ヘルメットを使用できる中間製品です。 これは最適なレベルであり、十分なレベルの液浸が達成され、原則として、十分な精度が得られます。



3番目のソリューションはB2Bで、仮想現実に完全に没頭します。 追加のセンサーが人に装着され、非常に高い精度で動きのモデルを取得し、私たちが開発した視覚的錯覚と上記のアルゴリズムを使用して、リハビリテーションプロセスを最大の効率で実現できます。







私たちが話をした同僚は、このシステムが脳性麻痺、がん手術後のリハビリテーション、頭部外傷、ADHDにも理想的な用途があると考えています。 現在、これらの分野で動いています。



しかし、私たちは自分たちの起源を忘れていません。 私たちはアスリートから出て、運動の専門的スキルを開発および改善するためのいくつかの例と事例を開発しました。 特に、ここでは実験を行い、仮想ダッシュで70人をテストしました。 私たちのシステムで作業すると、この演習を単に繰り返すだけで実行したテストグループとコントロールグループの人々と比較して、精度が50％向上しました。 指定されたセットには約600ショットが含まれ、そのうちの最初の100がニューラルネットワークのトレーニングに、400がトレーニングプロセスとして、最後の100がコントロール結果を決定するために使用されました。







まとめると。 どこへ行くの？ 現時点では、単純な繰り返しシステムと比較して効率が50％高いことを確認しています。 私たちが開発したアルゴリズムと有向幻想の改善、およびニューラルネットワークの層の増加と複雑な運動の接続により、このトレーニングまたはリハビリテーションシステムは、単に専門家と協力するよりも効果的だと思います。 現在、複雑な動き、開発に関する作業が進行中です。 考えているのは第3レベルです。システムを認知機能と意思決定システムに接続する方法です。 ご清聴ありがとうございました。