新しい管理機能：Intel RealSenseとGestureWorks Fusion

マウスは、30年以上にわたってパソコンの制御に広く使用されています。 マウスやキーボードのないコンピューターのある世界を想像するのは難しいように思えますが、コンピューターシステムと対話するための技術は常に進化しています。 消費者は、より直感的な表現方法でシステムとアプリケーションを制御する自由が必要です。 幸いなことに、この概念の実装は簡単になりました。消費者レベルのパソコンがあれば十分です。 ジェスチャーコントロールはゲームの分野で非常に集中的に開発されており、Intel RealSenseテクノロジーはこの方向の主要な開発の1つです。 デスクトップPCでのジェスチャ制御の統合は時間の問題でした。



この例では、アメリカの企業Ideumのソリューション（GestureWorks Fusionプログラム）と、マルチモード入力を使用して、ジェスチャーと音声コマンドを解釈できる強力で直感的なシステムを作成する方法について説明します。 Ideum開発者がIntel RealSense SDKと新しいカーソルモードを使用して、キーボードとマウス用に設計された従来のアプリケーションと迅速かつ便利にやり取りできるようにする方法を示します。 さらに、この記事では、デザイナーと開発者が直面する問題について説明し、IntelとIdeumテクノロジーの組み合わせを使用してこれらの問題を解決する方法について説明します。

GestureWorks Fusionの紹介

GestureWorks Fusionは、 Intel RealSense SR300カメラを使用して、ジェスチャーや音声コマンドなどのマルチモード入力を受信するアプリケーションです。 このソフトウェア製品の初期バージョンでは、ユーザーはYouTube *などのストリーミングビデオを再生するWebサイトの操作を直感的に制御できます。 ユーザーは、従来のグラフィカルユーザーインターフェイスコントロールを使用して、マウス、キーボード、画面に触れることなくビデオを再生、一時停止、巻き戻しできます。 直接的なフィードバックのおかげで、このシステムは使いやすく、マスターするのに非常に便利です。









GestureWorks Fusionを使用すると、システムにIntel RealSense SR300カメラが搭載されている場合、直感的な音声コマンドとジェスチャーを使用してYouTubeなどのストリーミングビデオWebサイトを制御できます。



Intel RealSense SR300カメラは、Intel RealSense F200カメラを改良したもので、かつては2次元画像と深度を撮影するためのモジュールが組み込まれた最初で最もコンパクトなカメラの1つでした。 F200と同様に、Intel RealSense SR300カメラは、1080pの解像度で高解像度のカラー画像を撮影し、より長い範囲で高度な3次元撮影機能を使用できます。 このカメラは、マイクと一緒に、顔や顔の認識だけでなく、頭と手を追跡するための理想的なソリューションです。 「Intel RealSense SR300カメラの利点は、このすべてを同時に、非常に迅速かつ非常に高い信頼性で実行できることです」と、IdeumのCTOおよびGestureWorksのチームリーダーであるPaul Lacey氏は説明します。



GestureWorks Fusionソリューションは、2つの既存のIdeum製品であるGestureWorks CoreとGestureWorks Gameplay 3の機能とベストプラクティスに依存しています。 ユーザーは、独自のタッチコントロールを作成したり、他のユーザーと共有したり、コミュニティが作成したコントロールをアップロードしたりできます。



GestureWorks Coreは、頭部と腕のジェスチャーの完全な3次元分析を提供し、マルチタッチ入力と音声対話をサポートするマルチモード対話システムです。 GestureWorks Core SDKは、300以上の既製のジェスチャーを提供し、C ++、C＃、Java *、Python *などの最も一般的なプログラミング言語をサポートします。



当初、GestureWorks Fusionは、Microsoft Windows 10を実行するGoogle Chrome *およびMicrosoft Internet Explorer *で動作するように設計されていました。GestureWorksFusionは、Intel RealSenseカメラを搭載したすべてのシステムで動作すると想定されています。 同社はまた、ゲーム、オフィスアプリケーション、プレゼンテーションプログラムなどの幅広いアプリケーションで動作できるようにシステムを開発する予定です。

問題と解決策

Ideumのスペシャリストは、特に新規ユーザー向けに、GestureWorksソリューションを直感的で使いやすいものにするためにいくつかの問題に遭遇しました。 開発者は、公共の建物用にマルチタッチテーブルと壁パネルを作成した経験があり、機器が期待どおりに機能しない場合、ユーザーがイライラすることを知っていました。 この経験に基づいて、設計者はジェスチャーをできるだけシンプルにし、最も身近な動作に焦点を合わせることにしました。









GestureWorks * Fusionは、アプリケーションのユーザーインターフェイスに直接関連する簡単なジェスチャセットを使用します。 従来のインターフェイスやタッチインターフェイスを使用せずに、人気のある既存のアプリケーションにアクセスできます。



オペレーティングシステムとブラウザの制限により、次の一連の問題が発生しました。 そのため、最新のWebブラウザーはマルチモード入力用に最適化されていません。 このため、たとえばユーザーの入力フォーカス、つまりユーザーが対話する画面上の場所を判断することは困難です。 また、これにより、インターフェイスの異なるセグメント間でのスムーズな移動が妨げられ、Webサイト間を切り替えることもできます。 同時に、単にスクロールとクリックを拒否することは不可能であることが明らかになりました。これらの操作はデスクトップの基本であり、ほとんどすべての最新のアプリケーションで使用されています。



さらに、このタイプのインターフェースでは、ジェスチャーを使用して制御を直感的に有効または無効にする機能が重要です。 人は、どのジェスチャーが意味があり、どのような状況にあるかを直感的に理解します。 アプリケーションは、人とは異なり、ジェスチャーを分析するためにコンテキストが必要です。 GestureWorks Fusionでは、カメラの視野内で手を上げるだけで、ジェスチャコントロールインターフェイスをオンにすることができます。 手がカメラの視野から外れると、ジェスチャーインターフェイスが消えます。 このアプローチは、ホバーに追加情報を表示することに似ています。



マルチモード入力自体は、Ideumプログラムのアーキテクチャと実装に影響を与えた特定のプログラミングの問題に関連付けられています。 たとえば、Ideumアプリケーションでは、各ジェスチャーに対して音声コマンドが提供されており、競合が発生する可能性があります。 「マルチモード入力を成功させるには、慎重に設計する必要があります」と、レイシーは説明します。



応答時間も同様に重要な要素であることが判明し、マウスとキーボードに設定されている既存の標準に対応する必要があります（そうしないと、入力を絶えず調整しなければならないユーザーのすべての操作の複雑さが増します）。 これは、応答時間が30ミリ秒以下、理想的には6ミリ秒であることを意味します。 この指標レイシーは「人間とコンピューターの相互作用の聖杯」と呼んでいます。



最後に、Ideum開発者はカスタマイズの問題に直面しています。 GestureWorks Fusionアプリケーションでは、構成の大部分は暗黙的に「舞台裏」で実行されます。 「システムは自動的に適応および変更され、製品を使用するにつれて徐々に使いやすさが向上します」とレイシーは説明します。

Intel RealSense SDKの使用

開発者は、Intel RealSense SDKを介してIntel RealSense SR300カメラの機能にアクセスできます。IntelRealSense SDKは、パターン検出および認識アルゴリズムの広範なライブラリの標準インターフェイスです。 これらのアルゴリズムには、顔認識、ジェスチャおよび音声認識、テキスト読み上げ処理などの多くの便利な機能が含まれています。



システムは、開発者が相互作用のさまざまな側面に集中できる一連のモジュールに分割されます。 SenseManagerインターフェイスなどの一部のコンポーネントは、顔や腕の追跡などの一般的な機能の調整を提供し、I / Oや処理制御などのマルチモード制御パイプラインを制御します。 キャプチャおよび画像インターフェイスなどの他の要素を使用すると、開発者はカメラのパフォーマンスを監視し、キャプチャした画像を操作できます。 HandModule、FaceModule、およびAudioSourceインターフェイスは、顔と腕の追跡、およびオーディオ入力へのアクセスを提供します。



Intel RealSense SDKは、さまざまなスタイルとコード記述技術をサポートすることにより、統合を簡素化します。 シェルは、いくつかの一般的なプログラミング言語、プラットフォームおよびゲームエンジン、C ++、C＃、Unity *、Processing、およびJava用に提供されています。 Intel RealSense SDKは、JavaScriptアプリケーションの限定的なブラウザサポートも提供します。 Intel RealSense SDKは、人間とコンピューターの相互作用のための複雑なアルゴリズムの実装を簡素化します。 このパッケージのおかげで、開発者はジェスチャー認識や音声認識アルゴリズムのコードを書くのではなく、ユーザーの利便性の向上に集中できます。



「インテルのソリューションのおかげで、開発コストが大幅に削減されました」と、レイシー氏は言います。 「Intelテクノロジーは作業の重要な部分を担っています。ジェスチャーの入力と認識を保証するため、開発者のタスクが大幅に簡素化され、人間とコンピューターの相互作用に関する新しいプロジェクトに自信を持って取り組むことができます。」

ソリューションに取り組む

GestureWorks Fusionを作成する際、Ideumの開発者は多くの新しい手法を適用しました。 たとえば、ユーザーの焦点を決定する問題を考えてください。 この問題を解決するために、Intel RealSense SDK 2016 R1 for Windowsで最初に登場した新しいカーソルモードを使用することにしました。 カーソルモードでは、手の全体的な位置に一致する単一のポイントをすばやく正確に追跡できます。 これにより、システムは、クリック、手のひらの開閉、任意の方向の回転などのジェスチャの小さなセットをサポートできます。 カーソルモードでは、ユーザーのフォーカスの問題が解決されます。システムは、マウス入力と同じ方法でジェスチャーによる入力を解釈します。









開発者は、Intel RealSense SDKの組み込みカーソルモードを使用して、マウスクリックなどの一般的なデスクトップ管理アクションを簡単にシミュレートできます。



これらのジェスチャーを使用すると、ユーザーは、キーボード、マウス、画面に触れることなく、アプリケーションを高い精度と信頼性でナビゲートし、「重量で」操作を制御できます。 カーソルモードは他の領域で役立ちます。 「とりわけ、誰もが同じようにジェスチャーするわけではないことがわかりました」と、レイシーは言いました。 カーソルモードを使用すると、類似したジェスチャを同じコンテキストに一致させることができ、全体的な信頼性が向上します。



また、開発者は、カーソルモードを既存のプロトタイプに導入する単純さを強調しました。これにより、わずか数時間でGestureWorks Fusionの新しいバージョンをリリースできました。ほんの数行のコードを追加するだけで済みました。 たとえば、GestureWorksでは、次のコードフラグメントに示すように、カーソルモードを使用して、ポインターの画像の座標を取得し、マウスイベントを合成します。

// Get the cursor image coordinates PXCMPoint3DF32 position = HandModule.cursor.QueryCursorPointImage(); // Synthesize a mouse movement mouse_event ( 0x0001, // MOUSEEVENTF_MOVE (uint)(position.x previousPosition.x), // dx (uint)(position.y previousPosition.y), // dy 0, // dwData flags empty 0 // dwExtraInfo flags empty }; ... // Import for calls to unmanaged WIN32 API [DllImport("user32.dll", CharSet = CharSet.Auto, CallingConvention = CallingConvention.StdCall)] public static extern void mouse_event(uint dwFlags, uint dx, uint dy, uint cButtons, int dwExtraInfo);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後、標準のWindows APIを使用して、フォーカスがどのウィンドウにあるかをすばやく判断できます。

 // Get the handle of the window with focus IntPtr activeWindow = GetForegroundWindow(); // Create a WINDOWINFO structure object WINDOWINFO info = new WINDOWINFO(); GetWindowInfo(activeWindow, ref info); // Get the actiive window text to compare with pre-configured controllers StringBuilder builder = new StringBuilder(256); GetWindowText(activeWindow, builder, 256); ... // Import for calls to unmanaged WIN32 API [DllImport("user32.dll")] static extern IntPtr GetForegroundWindow(); [DllImport("user32.dll")] static extern int GetWindowText(IntPtr hWnd, StringBuilder builder, int count);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

カーソルモードでは、追跡は腕全体の追跡の2倍の速さですが、消費電力は半分になります。 「使いやすさとは、可能な限り最も予測可能な方法で期待される結果を生成することです」とレイシーは説明します。 -ジェスチャで非常に高いレベルの自信に達した場合、これにより、ユーザーインタラクションの他の領域の仕上げに集中できます。 また、開発コストを削減し、より少ないリソースでより重要な結果を達成することができます。」



マルチモード入力をサポートするために、GestureWorksはMicrosoft Speech Recognition API（Microsoft SAPI）を使用します。これには、部分仮説など、Intel RealSense SDKにはないコンポーネントが含まれています。 これにより、次のコードフラグメントに示すように、各ジェスチャーに対応する音声コマンドを付随させることができます。

 IspRecognizer* recognizer; ISpRecoContext* context; // Initialize SAPI and set the grammar ... // Create the recognition context recognizer>CreateRecoContext(&context); // Create flags for the hypothesis and recognition events ULONGLONG recognition_event = SPFEI(SPEI_RECOGNITION) | SPFEI(SPEI_HYPOTHESIS); // Inform SAPI about the events to which we want to subscribe context>SetInterest(recognition_event, recognition_event); // Begin voice recognition <recognition code …>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

並列化は、ユーザーの意図を認識するために使用されます。これにより、1秒あたり60フレームの速度でほぼ同時に対話し、フィードバックを提供できます。 「マルチスレッド処理を効率的に使用することで、応答時間を短縮できました」と、レイシーは言います。 「マルチスレッドにより機能が拡張され、結果を達成することができましたが、その実現可能性は確信できませんでしたが、低レベルの遅延を維持していました。」



Ideum開発者は、ジェスチャマークアップ言語（GML）と呼ばれる高度なXML構成スクリプトを開発することで、ジェスチャベースの対話をより完全に記述および形式化することも試みました。 GMLを使用すると、人とコンピューター間の相互作用の問題を解決するために使用できる完全なジェスチャーライブラリを作成できました。 これにより、開発者は、モーショントラッキングとマルチタッチコントロールの入力範囲が数千種類に及ぶため、ジェスチャ認識アルゴリズムの過度の複雑さを回避することができました。



「Intel RealSenseカメラとのマルチモードインタラクションの影響は、一言で説明できます。コンテキスト」とLacey氏は言います。 「人間とコンピューターの相互作用の根本的に新しい可能性を開く、新しいレベルのコンテキストを認識する機会を得ました。」

さらなるアクション

Ideum開発者は、GestureWorks Fusionの開発、3次元ジェスチャを使用して仮想オブジェクトを管理するオフィススイート、グラフィックアプリケーション、コンピューター支援設計システムなどの追加アプリケーションのサポートを追加する予定です。 GestureWorksは、Intel RealSenseテクノロジーをサポートするタブレット、ホームエンターテインメントシステム、さらには自動車、さらには他のテクノロジーで、従来のデスクトップPCやラップトップとは非常に異なるソリューションで動作します。



将来的には、仮想現実、拡張現実、複合現実のソリューションを含む他のシステム。 これは、新しい相互作用モデルによりユーザーが独自のスペースを作成できるIoTテクノロジーにも適用されます。



「GestureWorks Fusionの開発中に、今日の環境で対話する新しい方法を発見することができました」とレイシーは説明します。 「しかし、環境に関係なく、ジェスチャとスピーチを使用してデバイスを単純に制御し、コンピューターのような従来の方法でデバイスを制御する必要がなくても、必要なアクションのシーケンスを選択できます。」

資源

Intel RealSenseテクノロジーの使用を開始するには、Intel Developer Zoneにアクセスしてください。

GestureWorksの開発者であるIdeumの詳細をご覧ください 。

Intel RealSense SDKをダウンロードします。