Androidアプリケーションでの作業の利便性の向上：ジェスチャー認識など

ユーザーは、着信コールが到着したときに電話を裏返しましたか？ 音を消しましょう。 写真を撮りたいかのようにデバイスを受け取りましたか？ 昔ながらの方法で行っていない場合は、カメラの電源を入れます。 どうやって？ 役立つセンサー。

復習

通常、モバイルデバイスには多くのセンサーがあります。 その中には、加速度計、ジャイロスコープ、磁力計、気圧計、光センサーなどがあります。



スマートフォンやタブレットの所有者は、物理的にそれらと対話します：移動、振る、傾ける。 さまざまなセンサーからの情報は、物理的な世界で発生するアクションを認識するのに非常に適しています。 アクションが認識されると、それに応答できます。 開発中のアプリケーションでセンサーの読み取り値を使用すると、ユーザーに無関心にならない、本当に便利な機能をプログラムに装備できます。



Android向けIntel Context Sensing SDK * v1.6.7のリリースにより、アプリケーション開発者はいくつかの新しいタイプの状況依存データを操作する機会が得られます。 つまり、環境とユーザーアクションに関する情報に基づいたデータです。 中でも-空間内でのデバイスの位置（位置）、会話の開始時のように耳に持ち上げる（耳のタッチ）、開始位置に戻るクイックモーション（フリック）。 空間を移動するジェスチャを、タッチスクリーンの操作に関連する同じ名前のフリックと混同しないでください。 また、新しいライブラリは、空中のさまざまな文字（グリフ）のデバイスの描画の認識をサポートします。



この資料から、センサーの測定値からデバイスで何が起こっているかについての貴重な情報を抽出する方法を学びます。 さらに、モーション検知、デバイスの揺れ、文字認識でContext Sensing SDKを使用する例を見ていきます。



ただし、Context Sensing SDKは、デバイスの空間的位置の問題に限定されていても、さらに多くのことができます。 たとえば、ユーザーがどのような身体活動を行っているかを判断するため。 彼は歩いて、休んで、自転車に乗る？ あるいは、車や電車で走ったり、走ったりしますか？ 何が起きているのかについてのこのような情報を使用して、ユーザーとアプリケーションがインストールされているモバイルデバイスの相互作用をまったく新しいレベルに引き上げることができます。

予備情報

センサーを操作するときに生じる一般的な質問は、ハードウェアレベルでのアプリケーションプロセッサ（AP）への接続です。 以下に、3つの接続方法を示します。 つまり、これは直接接続であり、専用のセンサーハブ（個別のセンサーハブ）と統合されたセンサーハブ（統合されたセンサーハブ、ISH）の使用です。





センサーとアプリケーションプロセッサをペアリングするさまざまなアプローチの比較。



センサーがAPに直接接続する場合、これは直接接続と呼ばれます。 ただし、1つの問題があります。 これは、センサーが測定を実行するためにプロセッサリソースを消費するという事実から成ります。



次のより高度な方法は、専用のセンサーハブを使用することです。 その結果、センサーはプロセッサに過負荷をかけることなく継続的に動作できます。 プロセッサがスリープモード（ S3 ）になった場合でも、センサーコンセントレータは割り込みメカニズムを使用してスリープを解除できます。



プロセッサとセンサー間の相互作用の開発における次のステップは、統合ハブの使用です。 これは、他の利点の中でも特に、使用されるディスクリート部​​品の数を減らし、デバイスのコストを削減します。

センサーコンセントレーターは、実際には、複数のデバイス（マルチポイントコントロールユニット、MCU）のペアリングを整理するのに役立つマイクロチップです。 彼にとっては、C / C ++でプログラムを作成し、コンパイルされたコードをMCUにロードできます。



2015年、Intelはタブレット用に設計されたCherryTrail-Tプラットフォームと、2台1台のデバイス用に設計されたSkyLakeプラットフォームをリリースしました。 これらのソリューションはセンサーハブを使用します。 リンクをクリックすると、統合ハブの詳細を確認できます。



センサーの座標系の下。 特に、X、Y、Z軸に沿った加速度を測定できる加速度計と、空間内のデバイスの位置、特に同じ軸を中心とした回転を追跡するジャイロスコープを示しています。





加速度計とジャイロスコープの座標系。





静止しているデバイスのさまざまな位置での加速度計の軸に沿った加速度値。 登録とSMSなし でPDF で 読んでください 。



この表は、Android Lollipop OSに含まれるデバイスの物理的な動きに起因する新しいイベントを示しています。



Android Lollipopでサポートされる新しいイベント

役職	説明
SENSOR_STRING_TYPE_PICK_UP_GESTURE	デバイスが手元に置かれたときに呼び出されます（前、テーブル、ポケット、バッグなど）。
SENSOR_STRING_TYPE_GLANCE_GESTURE	特定の動きに基づいて、ユーザーが画面を見ることができるように画面を短時間オンにすることができます。
SENSOR_STRING_TYPE_WAKE_GESTURE	空間内でのこのデバイスの特定の動きに基づいてデバイスのロックを解除できます。
SENSOR_STRING_TYPE_TILT_DETECTOR	対応するイベントは、デバイスが傾けられるたびに生成されます。

これらのイベントの定義は、Android Lollipopソースフォルダー/hardware/libhardware/include/hardware/sensor.hにあります。

ジェスチャー認識プロセス

ジェスチャ認識のプロセスは、ソースデータの前処理（機能抽出）とテンプレートとの比較（テンプレートマッチング）の段階に分けることができます。





ジェスチャー認識プロセス。



ジェスチャ認識プロセスの段階をより詳細に検討してください。

ソースデータの前処理

センサーから生データを受信した後、前処理が開始されます。 以下に、デバイスを一度右にすばやく傾けて前の状態に戻した後（ジャイロジェスチャー）にジャイロスコープから取得したデータのグラフ表示を示します。 以下は、同様のジェスチャのグラフですが、加速度計から取得したデータに従って既に構築されています。





ジャイロスコープから取得したデータ（デバイスを右に1回傾け、元の位置にすばやく戻る、右フリック）。





加速度計から受信したデータ（デバイスを右に1回傾け、元の位置に素早く戻る、右フリック）。



ネットワーク経由でAndroidデバイスのセンサーから受信したデータを送信するプログラムを作成し、PCで動作するように設計されたPython *スクリプトを作成できます。 これにより、たとえば、スマートフォンから受信したり、センサーデータを変更したり、グラフを作成したりできます。



そのため、このステップでは次のことが行われます。

• センサーからデータを受信するPythonスクリプトを実行するコンピューター。
• テスト対象のデバイスで実行されるアプリケーション（DUT実行アプリケーション）。 センサーから情報を収集し、ネットワーク経由で送信します。
• デバイスにデータを送信して受信できるように構成されたAndroidテストブリッジ（Androidデバッグブリッジ、ADB）。 それを設定するとき、次の形式のコマンドが使用されます：adb forward tcp：port tcp：port

センサーから受信したデータの動的表示。



この段階では、信号の異常な値を除去し、よく行われるように、フィルターを使用して干渉を抑制します。 下のグラフは、デバイスを90°回転して元の位置に戻した後に取得したセンサーデータを示しています。





ジャイロスコープの手入れとノイズを排除します。

特徴づけ

センサーによって生成された信号にノイズが存在する可能性があり、これは認識結果に影響を与える可能性があります。 たとえば、FAR（False Acceptance Rate、False Pass Rate）やFRR（False Rejection Rate、False Failure Rate）などの特性は、信号認識における障害の発生レベルを示します。 さまざまなセンサーからのデータを組み合わせることにより、イベント認識の精度を高めることができます。 これらのセンサーの組み合わせ（センサーフュージョン; 1つの有用なリンクと2つの ）は、多くのモバイルデバイスに応用されています。 以下は、加速度計、磁力計、ジャイロスコープを使用して、宇宙でのデバイスの向きに関する情報を取得する例です。 通常、信号の特性を抽出するプロセスでは、FFT（高速フーリエ変換、高速フーリエ変換）メソッドとゼロ交差解析が使用されます。 加速度計と磁力計は電磁放射にさらされます。 通常、これらのセンサーはキャリブレーションが必要です。





センサーデータの組み合わせを使用して、空間内のデバイスの方向に関する情報を取得します。



信号機能には、最小値と最大値、ピークと谷が含まれます。 この情報を受け取ったら、次のステップに進みます。

パターン比較

加速度計からのデータのグラフを分析すると、次のことがわかります。

• 開始位置に戻って右にデバイスを傾けると、2つの谷と1つのピークを持つグラフが得られます。
• 同じジェスチャですが、2回実行され、3つのトラフと2つのピークが含まれます。

このことから、有限状態マシンに基づいた非常に単純なジェスチャ認識システムを設計することは非常に現実的であることがわかります。 隠れマルコフモデル （HMM）に基づくジェスチャ認識アプローチと比較すると、このアプローチはより信頼性が高く、精度が高くなっています。





元の位置に戻り、デバイスを1回または2回傾けて得られた加速度計とジャイロスコープからのデータのグラフ。

例：動作中のIntel®Context Sensing SDK

Intel Context Sensing SDKは、センサーから受信した情報を使用し、コンテキスト指向サービスのデータプロバイダーとして機能します。 以下に、従来のアプリケーションとコンテキスト情報の使用に焦点を当てたアプリケーションを示すシステムアーキテクチャの図を示します。





Intel Context Sensing SDKと従来のAndroidアーキテクチャの比較。



現在、SDKは、デバイスが空中に描くことができる文字の認識（グリフ）、リセットを伴うジェスチャの傾斜（フリック）、およびデバイスの耳に触れるジェスチャ（ear_touch）をサポートしています。 これらの関数のデモは、Androidデバイスで動作するように設計されたContextSensingApiFlowSampleの例で実装されています。



Intel Context Sensing SDKの使用例とその他の使用例を体験するには、Intel Integrated Native Developer Experience（ Intel INDE ）に付属のContext Sensing SDKをダウンロードする必要があります。 パッケージをダウンロードしてインストールした後、標準パスが使用されている場合、必要なものはすべてC：\ Intel \ INDE \ context_sdk_1.6.7.xにあります。 特に、Androidプロジェクトに接続するために設計されたJAVAライブラリintel-context-sensing-1.6.7.x.jarと、デモAndroidアプリケーションのコードを含むSamplesフォルダーがあります。





Intel Context SDKのチルトジェスチャサポートをリセットします。



Intel Context Sensing SDKは、4方向の傾きジェスチャ認識をサポートしています。 すなわち-左、右、上下に傾斜します。





Intel Context SDKでの耳タッチジェスチャーのサポート。





Intel Context SDKで空中でキャラクターを描画するためのサポート。





Intel Context SDKを使用したContextSensingApiFlowSampleデモアプリケーション。



PhysicalActivitySensingSampleサンプルアプリケーションをご覧ください。 名前が示すように、Intel Context SDKを使用してユーザーの身体活動を認識することができます（活動認識）。 センサーからのデータが分析された後、システムはさまざまなタイプのアクティビティの確率をパーセンテージで示す予測を提供します。

Eclipseプロジェクトの形式で例を実装しました。 Android Studioにインポートできます。コードを機能させるには、上記のintel-context-sensing-1.6.7.x.jarライブラリをプロジェクトに追加し、build.gradleに接続する必要があります。





Android Studioで起動するPhysicalActivitySensingSampleプロジェクトを準備します。



プロジェクトには2つの主要な要素が含まれています。 1つ目は、ユーザーインターフェイスを実装するアクティビティです。 2番目はApplicationから継承されたクラスで、いくつかの補助的な内部クラスが含まれています。 その主なタスクは、ボタンをクリックすることでアクセスし、ユーザーの身体活動に関する情報を提供するcom.intel.context.Sensingクラスのオブジェクトの操作をサポートすることです。

テストは、Intel Atom Z3530 CPUに基づくタブレットASUS Fonepad 8で行われました。 アプリケーションを起動した後、2つのボタンが必要です。 最初に[デーモンの開始]ボタンをクリックしてから、センシングを有効にする必要があります（それぞれ、実験の完了後-センシングの無効化とデーモンの停止）。 これで、プログラムによると、何をしているかに関する情報を含むメッセージを期待できます。





ユーザーの身体活動の分析。



実験中、タブレットは散歩に連れて行かれました。 メッセージからわかるように、プログラムは、87％の確率でユーザーが歩くことを提案しました（WALKINGパラメーター）。 デバイスが動かずに横たわっている場合、システムはSEDENTARYパラメーターに非常に高いレート（動きがない状態で100％）を設定することにより、ユーザーが休んでいると判断します。 デバイスをランダムに振って回転させると、通常、RANDOMパラメーターのかなり高いインジケーターを確認できます。

まとめ

センサーは、現代のコンピューティングシステムで広く使用されています。 それらに基づいて実装され、モバイルデバイスに適用されるモーション認識は、ユーザーを引き付けるアプリケーションの貴重な競争上の優位性になります。 センサーの操作は、モバイルデバイスとアプリケーションの使いやすさを大幅に改善できる非常に重要な機能です。 最近リリースされたIntel Context Sensing SDK v1.6.7では、センサーデータを使用するアプリケーションの作成を高速化および簡素化できます。 これは、開発者やアプリケーションを使用する人に適しています。

家庭での読書用

» センサースタック

» 特徴抽出