ナビゲーションデバイスでの機械学習：加速度計とジャイロスコープに従って機械の操作を決定します

カーナビゲーション用に現在利用可能なプログラムは、ドライバーにとって大きな助けになります。 彼らは私たちがなじみのない地域をナビゲートし、交通渋滞を回避するのに役立ちます。 これは世界中の人々の素晴らしい仕事であり、私たちの生活を楽にしました。 しかし、そこで止まることはできません。テクノロジーは進歩しており、プログラムの品質も向上するはずです。







今日、私の意見では、ナビゲーションデバイスの問題の1つは、バンドでユーザーをリードしていないことです。 この問題は、移動時間、交通渋滞、事故率を増加させます。 最近、グーグルマップはターンの前に道路標示を表示し始めました。これはすでに良い結果ですが、ここで多くを改善することができます。 地図は車が現在どの車線にあるかを知らないため、gpsツールを使用すると問題が発生します。gpsにはこのためのエラーが多すぎます。 現在の車線を知っていれば、車線の速度がわかり、どの車線で、いつ車線を変更したほうがよいかをユーザーに明確な形で長く伝えることができます。 たとえば、ナビゲーターは、「この車線を交差点まで維持し続ける」または「左端車線に変更する」と言います。



この記事では、加速度計とジャイロスコープによる機械学習を使用して、再配置、車の現在の車線、方向転換、追い越し、およびその他の操縦をどのように判断しようとしているかを説明しようとします。



車が左車線から曲がっているため、車線に沿った動きが遅い場合だけでなく、再構築を推奨することもできます。 また、現在の車線で事故が発生した場合は、再構築を推奨することができます。 現在、事故や道路の問題はユーザーが手動で引き起こしています。 車の操縦を見ながら、マップ上に自動的に配置するアルゴリズムを作成できます。 同じ場所にある車が大規模に迂回する場合、どうやら何らかの問題があったようです。 これを知っているシステムは、ドライバーが車線を占有しなくなった場合、事前に車線を変更するようドライバーに警告することができます。



ヤードでのGPSの精度がかなり低いことに関連する別の問題は、領土に隣接する家の曲がりくねった道で車の位置を決定することが非常に難しいことです。 位置はプラスまたはマイナス10メートルの精度で発行され、車がすでにターンを通過したかどうかは不明です。 そして、なじみのない中庭では、これは非常に重要です。なぜなら、私たちはナビゲーターに焦点を当てているからです。 回転を確実に正確に判断できれば、GPSだけでなく、ターンのデータを使用してポジショニングシステムを支援し、ユーザーがどこにいるかを正確に知ることができます。



GPSは、車の反転をすぐに判断することもできません。 操縦が完了したことが明らかになる前に、彼女は数メートル後退しなければなりません。 Uターンをすぐに決定できれば、ユーザーにとって新しい再構築されたルートははるかに高速になります。



Gpsの場合、主要道路からポケットに再構築することも議論の余地のある問題であり、そのデータによれば、特にポケットが深くない場合、ユーザーが再構築されたかどうかを言うのは困難です。 この情報を別の方法で送信するアルゴリズムがあり、それをGpsと組み合わせると、精度が大幅に向上する可能性があります。

これらの問題をどのように解決するのですか？

空き時間に、私とコンピューターサイエンスセンターの数人の学生は、加速度計とジャイロスコープを使用して交通事象を決定するオープンソースプロジェクトを作成します。 その結果、携帯電話や他のデバイスのセンサーから入力にデータを受信し、車線変更、追い越し、障害物回避、方向転換、方向転換などのイベントを出力できるようにするオープンライセンスでアクセス可能なライブラリを作成する必要があります。 ライブラリユーザーは、プログラムにスイッチを実装し、特定のイベントに正しく対応する必要があります。



原則として、電話だけでなくライブラリも使用できます。たとえば、トランスポートを監視するマイクロコントローラーベースのデバイスも使用できます。 私たちは道路の真ん中にいるとすぐに言いますが、今のところすべてのイベントを決定できるかどうかは確かではありませんが、何かがうまくいくようです。

チャートに表示される場合、さまざまなイベントはどのように見えますか？

イベントは縦の破線で示されます。







加速度計のy軸（横方向の過負荷、上のグラフ）とジャイロスコープのz軸（機械の回転、上面図、下のグラフ）のみをアクティブにしておくと、ターンとターンがどのように横方向の過負荷の増加とZ軸の周りの回転の増加を伴うかを見ることができます。加速度計はすぐにインジケーターをプラスからマイナスに変更します。



これらのグラフを見ている人は、どのような種類のイベントが発生したかを多かれ少なかれ理解できるようです;したがって、機械学習アルゴリズムに基づく分類器にも問題はないはずです。

既に実装されているもの

初期データを収集しました。これは、サンクトペテルブルクとモスクワの道路で電話から収集した約1000キロメートルのビデオ録画とテレメトリーです。



ビデオとデータを使用した便利な作業のための環境を作成しました。次のようになります。







3つの部分で構成されています。 最上部で、車の動きのビデオを見ています。 中央には、加速度計、ジャイロスコープ、現在の速度からのデータを見ることができるグラフがあります。 以下のウィンドウでは、スクリプト（coffescript）を使用してその場でデータを変更し、グラフに表示できます（たとえば、平滑化されたグラフが必要です）。

さらに、ダッシュボードは、ビデオ上のイベントをマークし、ファイルに保存し、後で注釈付きでグラフ上でマークされたイベントを表示する機能を提供します。



おそらく、あなたのタスクの1人がビデオシーケンスをセンサーデータと比較するか、単にセンサーデータを見ます。 その場合は、 github.com / blindmotion / dashboardで使用しているダッシュボードが役に立つかもしれません。 それは非常に便利で、スクリプトを使用してその場でデータをスケーリング、変更することができ、オープンライセンスを持っているため、自由に使用および変更できます。

また、加速度計とジャイロスコープのノーマライザーも作成しました。

電話は車内のどこにでも配置できますが、位置は異なる場合があります。 モデルを転送するには、すべてのデータを1つの分母にまとめる必要があります。 これを行うために、私たちのチームの人は、デバイスの向きに関係なく、常に地球に垂直なz軸を生成し、x軸は車の移動方向と一致し、移動方向に垂直なy軸は地球に接するライブラリであるノーマライザーを作成しました。 次のようになります。







これが機能するためには、まず重力ベクトルに焦点を合わせ、回転後のz軸がこのベクトルと一致するように回転行列を構築します。 xとyの正しい方向の回転行列は、もう少し複雑な方法で構築されます。



正規化前のデータは次のようになります。







加速度計のグラフでは、X軸（axのグラフ上、aは加速度計、gはジャイロスコープ）が約10gのほぼ一定の値を持っていることがわかります。これは、X軸が地球に平行であるためです。 正規化を実行し、次のスケジュールを取得します。







これですべてが整い、Z（az）軸に沿った値は10gになり、XとYは車の動きに対応する値になります。



ノーマライザは、道路上のイベントの分類に関連しないが、センサーからのデータの処理に関連する他のプロジェクトでも役立ちます。

分類子が渡されました

分類には、3つの隠れ層を持つフィードフォワードニューラルネットワークを使用します。これは次のようになります。







66個の要素が入力されます。

20-正規化されたX軸に沿った加速度計の読み取り値（横加速度）

20-正規化されたY軸に沿った加速度計の読み取り値（縦加速度）

20-正規化されたZ軸に沿ったジャイロ測定値（地球に垂直な軸の周りの回転）

5-GPS速度計の測定値

1-操作全体の時間



このような構成では、他の軸を追加すると精度がかなり向上しますが、一見すると入力データと結果の最適な比率が得られます。

トレーニングの編成方法の詳細。

すでに述べたように、加速度計とジャイロスコープの読み取り値とそれぞれの正確に20個の要素が入力に供給されます。 つまり、しばらく時間がかかります。この期間は、X軸、Y軸、およびZ軸に沿ったジャイロスコープの加速度計の読み取り値を取得します。3つのデータ配列を取得し、最初は20個の要素はありません。 20までに、それらを外挿または内挿によってもたらします。



私はある期間について話しました。 どうやって選ぶの？ ここにその日のデータがあります。 上記で、イベントをマークアップするダッシュボードについて説明しました。 つまり、簡単に言えば、12：00：34から12:00:41の間に左側に車線があったことを示しています。 そのため、発生したすべてのイベントを示し、イベントのセット（イベント）を取得します。 イベントに加えて、アイドルは残りのスペース、つまり再配置、ターン、または他のイベントがなかった期間を占有します。



この方法で多くのイベントを受け取った後、これらの各イベントでモデルを順番にトレーニングします。 これらのイベントを彼女に転送し、これは追い越しだと言います。

モデルは、イベントがないことも学習します。 イベントが存在しない残りの時間間隔全体は、いくつかの間隔に分割され、ここには何もないと言ってモデルも与えられます。







このプロセスを図に示します。 行の上部には、時間軸に沿ったデータがあります。 ここでは、何も（アイドル）、イベント（イベント）、そして再び何も、別のイベント、そして再び何もありませんでした。 この線の下には、トレーニングのためにモデルに転送されるサンプル（黄色の四角）があります。

私たちが訓練を受けたと仮定すると、次は何ですか？ 新しいデータに関するイベントの定義、つまり分類に目を向けます。

すでに訓練されたネットワークがあるので、その助けを借りてイベントを分類できます。 携帯電話は、センサーからのデータの一定のストリームを送信します。 過去30秒間のすべての測定値の履歴を保持し、彼女がそこで何かを見つけられることを期待して、このストーリーをモデルに渡します。 長さ2、4、6、8、10、15、20、25、30秒のセグメントが（形容的に）送信され、セグメントごとに、モデルによって予測される1つまたは別のイベントの確率が決定されます。

たとえば、セグメント：



[「現在の時刻」から「2秒前」まで]-確率：アイドル51％、左折23％、右折52％

[現在の時間-4秒前]-アイドル62％、左折21％、右折60％

[現在の時間-6秒前]-アイドル50％、左折27％、右折91％

[現在の時間-8秒前]-アイドル52％、左折17％、右折72％



ここでは、現在の瞬間から6秒前までの期間、モデルは右折の確率が91％になります。 これが90％のしきい値を超えており、この時間の右折イベントをイベントマップに追加するとします。



その結果、分類されたイベントのマップを取得し、そこからどのイベントが発生したかについて結論を出すことができます。 実際には、同じ間隔で、各間隔ごとに0.5秒刻みで測定を行う場合（つまり、0.5秒ごとにセグメントを使用して上記のアルゴリズムを繰り返す）、数回決定できます（図は2回、2つの緑のイベントを示しています）写真の中央に）。 それらに対処するために、クラスタリングアルゴリズムを使用します。 密度ベースのクラスタリング（DBSCAN）を使用しました。 彼のアイデアは次のようなものです。







つまり、ある時点で、左にペレストロイカがあると8回予測された場合、ペレストロイカが実際に発生したことがわかります。 図では、水平軸は時間であり、赤い点は、互いに近いセグメントのモデルの左定義の再配置です。

分類子の結果

作業の結果は、人とアルゴリズムによって行われたイベントのマークアップを見ることで視覚的に比較できます。



人的イベント：







モデル：







ここでは、モデルが最初に右に曲がった後、左に再構築をスキップし、左に曲がった後に左に再構築を追加したことがわかります。 しかし、ビデオを見た後、この状況は議論の余地があるように見え、軌道は本当に左への再配置のように見えます。 さて、ターンを逃し、駐車時に車は私が曲がっていると判断しました。

このセクションのビデオは次のとおりです（グラフを表示するには、hdで視聴することをお勧めします）。

分類器の精度はどのくらいですか？ テストセットの場合、番号は次のとおりです。

以下は、マシンによって2時間で行われたすべてのイベントの数値です。すべての再配置、ターン、追い越しです。 正しく定義されたイベントと誤って定義されたイベントの数。

テストセットは、モデルとクラスタリングアルゴリズムを調査せず、修正も行わなかったデータです。



正しいタイプ：

59-非常に多くのイベントが正しく決定された



間違ったタイプ：

16-非常に多くのイベントが定義されましたが、正しくありません



誤検知：

17-ニューラルネットワーク自体が発明した非常に多くのイベント



偽陰性：

26-モデルによって定義されていないが、実際にはイベント



正しい割合

0.5-偽陰性を含む精度の割合

0.6413043478260869-偽陰性を含まない精度の割合。 このアプローチの指標：「神が何かを逃した、もし彼女が間違って話さないなら、」



一般に、悪くはありませんが、合計10個のイベント（左右に分割された5つの異なるイベント）があることを考慮すると、乱数ジェネレーターは順序の精度、たとえば10％の精度を与えます。 そして、50、それはすでに良いです。



もちろん、この数字はまだライブラリをリアルタイムで使用することについて話すことを許可していませんが、すでに集計された統計を収集し、それに基づいていくつかの結論を引き出すことを許可していますが、リアルタイムに関してはまだ多くのエラーがあります。

リアルタイムでは、電話や他のデバイスで作業しているとき、アルゴリズムはプログラムに再構築が実行されたことを確実に伝えることができることを理解しています。 統計を集約することにより、すべてのデバイスからこれらのイベントを収集し、これに基づいていくつかの結論を引き出すサーバー上の特定のアルゴリズムを理解します。

改善のための大きな分野があり、6〜9か月でアルゴリズムはリアルタイムでの使用に非常に適したものになると思います。

さまざまなイベントがニューラルネットワークの目を通してどのように見えるか

これは、イベントが一般的にニューラルネットワークの目を通してどのように見えるかです。 これは非常に一般化された表現であり、実際、その内部はより多面的ですが、1つの平面につながると、次のようになります。



これらは横加速度のグラフです（Y軸を思い出してください）。 一番上の行は再構築中です：左と右。 再構築中に、加速が一方から他方に変化することがわかります。







下の列-左右に曲がり、加速度はある値まで増加し、その後、操作の終わりに向かって減少します。

プロジェクトの参照先

このプロジェクトはgithub.com/blindmotion/docs/wikiにありますので 、それがあなたの役に立つとうれしいです。 かなり多数のパーツで構成されており、それぞれが個別のリポジトリにあります。ドキュメントは上記のリンクにあります。

次は何ですか

さらに、イベントをより正確に判別できるように分類器を改善する予定です。 この場合、おそらく、Android向けの簡単なアプリケーションの作成を試み、イベントについて説明します。 あなたが再建または転向し、アプリケーションがこれを報告したとしましょう。

どのようにお手伝いできますか

私たちのプロジェクトはオープンソースプロジェクトです。 まず第一に、あなたは私たちのデータを手伝うことができます。 DVRとセンサー値を記録するためのプログラムを携帯電話にインストールして、運転中にそれらをオンにできる場合、非常に感謝し、githubのデータ投稿者のリストに追加します。 おそらく、あなたは別の電話、別の車、別の運転スタイルを持っているため、他の人からのデータが本当に必要です。 これにより、モデルはさまざまなデータから学習できます。



ダッシュボードでこのデータのマークアップを支援することもできます。これは最もエキサイティングなアクティビティではありません。ビデオで再配置、ターンなどのイベントをマークする必要がありますが、この方法で支援したい場合は歓迎します。



そしてもちろん、モデル自体と最終的なライブラリの開発に参加できます。 モデルで動作するためのエントリのしきい値は、既存のモデルとほぼ同じか、精度の点でより優れた方法で動作するモデルを独立して作成する機能です。 当然、私は自分のモデル用にすでにマークされたデータを取得する場所を教えます。

いずれかの方法で支援したい場合は、プライベートまたはgithubで自由に記述してください。



コメントでご質問にお答えできることを嬉しく思います。 ご清聴ありがとうございました。

よくある質問

私たちは、道路上の凹凸を決定するという目標を設定していません。これは私たちの前にすでに行われています。 しかし、一般的に、このプラットフォームに基づいて、これは簡単に行われるようです。