Androidのインタラクティブフロア

おそらくあなたの多くは、ショッピングセンターで子供向けのインタラクティブゲームを見たことがあるでしょう。 動的なシーンが床に投影され、近くに設置されたセンサーが表面とのタッチポイントを検出し、それらを制御コンピューター上のアプリケーションのイベントに変換します。 このデバイスに関する情報をインターネットで検索したところ、かなり高価なおもちゃであることが判明しました。 たとえば、中国のクローンは1,200ドルの価格で始まり、元の価格は10,000ドルです。製品の技術コンポーネントを分析した後、同様のデバイスを自分で作成することにしました。



プロジェクトのハードウェアは3つの部分で構成されています。

• 深度センサー（オリジナルではASUS Xtion）;
• 制御コンピューター（Cubieboard A80、ODROID-U3）;
• プロジェクター

理想的には、すべての鉄片を合わせて700ドル以上かかることはありません。 AndroidとLinuxの両方で動作するOpenNIやlibfreenectなどのインターネット上のライブラリがあるため、3つの部分すべてを接続するのは比較的簡単であると想定されていました。 初期段階では経験が不足していたため、ハードウェアとOSの両方に選択肢があるように思われました。 オープンソースの例があり、すべてをまとめることは大したことではありません。 プロジェクトの開始後しばらくして、これはそうではないことが判明しました。 すべての部品を統合し、ターゲットデバイスでライブラリを実行することさえ、最も難しいタスクです。 Linuxの構成に関する情報の入手可能性と、Androidプラットフォームの市場にある豊富なアプリケーションの間で選択する必要がありました。



ただし、最初にまず最初に。



ハードウェアの実験をすぐに開始するために、使用済みのMicrosoft Kinectセンサーとプロジェクターを購入しました。 次に、プロジェクターとセンサーのマウントは正方形のパイプで作られています：







天井に取り付けるために、コーナーの小さな部分がマウントの上部に溶接されています。 パイプが曲がる場所では、構造を強化するためにスカーフの形のプレートが溶接されます。 プロジェクタは、三角形の合板プレートを介してマウントに接続されています。 センサーをマウントに接続するには、ebayで簡単に見つけることができるKinect用の特別なアクセサリーを使用します。 コストを削減するために、制御コンピューターとして問題なくebayでも見つけることができるCubieboard A10ボードが選ばれました。 執筆の時点で、Cubieboard A20とA80、2コアと8コアのカウンターパートはすでにリリースされています。 予算が許せば、A80を購入して、システムがユーザーアプリケーションと深度センサーからのデータをキャプチャおよび処理するためのサービスを同時に操作するためのパワーリザーブを持つようにすることをお勧めします。 ボードとセンサーは、4Aの出力電流を持つUSB電源から給電されます。 深度カメラがプロジェクターレンズと同じ平面にあるように、プロジェクターとセンサーはマウントに接続されます。







近距離から可能な限り画像が大きくなるようなプロジェクターモデルを選択することをお勧めします。 鉄部品のこの説明は完了できます。 次にソフトウェアについて。



オペレーティングシステムとして、CubieboardでのAndroidのアセンブリが選択され、デスクトップに面白いスクリーンセーバーが表示されました。 Androidではモジュールのロードの順序を変更できないため、構成ファイルを少し調整し、アセンブリを自分でコンパイルする必要がありました。むしろ、システムの次の再起動までです。



イベントを実装するには、sun4i-tsタッチスクリーンドライバーモジュールが必要でした。 実際、テストアプリケーションはTUIOクライアントを実装していますが、判明したように、タッチパネルドライバーを使用しても、Android用に存在するTUIOサーバーはマルチタッチイベントをサポートしません。 これはおそらく、Allwinnerの下のsun4i-tsタッチパッドドライバー自体によるものです。 これらの事実に基づいて、イベントを直接実装するバリアントが選択されました。



深度データをキャプチャするには、軽量で高速なlibfreenectライブラリを使用します。このライブラリは、libusbを使用してUSB経由でデータを転送します。 取得した深度データは、OpenCV for Androidを使用して処理されます。 処理の本質は非常に単純です。デプスマップをしきい値以上の長さの閉ループに変換して、偽陽性を排除し、それらの幾何学的中心を見つける必要があります。



作業の最初の段階で、シーンにオブジェクトがない場合、アプリケーションは背景深度マップを作成し、そのプロセスでマップを使用して背景からターゲットオブジェクトを分離します。 アプリケーションは、制御部分であり、C / C ++コードを持つサービスです。 深度データを処理およびキャプチャするためのすべてのロジックは、C / C ++で実装されています。 TUIOとOpenCVを操作するためのコードの一部は、githubのこのプロジェクトから取られました。



コードをより詳細に検討してください。 私が言ったように、コードはOpenCVを使用しています。 最初に、アプリケーションは深度マップを作成します。

1 void STouchDetector::process(const uint16_t& depthData) { 2 frmCount++; 3 // create background model (average depth) 4 if (frmCount < BackgroundTrain) { 5 depth.data = (uchar*)(&depthData); 6 buffer[frmCount] = depth; 7 } 8 else { 9 if (frmCount == BackgroundTrain) { 10 // Calculate average depth based on all frames from buffer 11 average(buffer, background); 12 Scalar bmeanVal = mean(background(roi)); 13 double bminVal = 0.0, bmaxVal = 0.0; 14 minMaxLoc(background(roi), &bminVal, &bmaxVal); 15 LOGD("Background extraction completed. Average depth is %f min %f max %f", bmeanVal.val[0], bminVal, bmaxVal); 16 }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

6行目では、深度データがバッファに保存されます。 バッファのタイプはstd :: vector <cv :: Mat1s>であることに注意してください。 これは行列の配列であり、6行目の割り当ては実際にはフレームのすべてのピクセルをバッファーにコピーしています。 フレームカウンターがしきい値BackgroundTrainに達すると、11行目のすべてのフレームの平均深度値を計算する関数が呼び出されます。

 1 void STouchDetector::average(vector<Mat1s>& frames, Mat1s& mean) { 2 Mat1d acc(mean.size()); 3 Mat1d frame(mean.size()); 4 for (unsigned int i=0; i<frames.size(); i++) { 5 frames[i].convertTo(frame, CV_64FC1); 6 acc = acc + frame; 7 } 8 acc = acc / frames.size(); 9 acc.convertTo(mean, CV_16SC1); 10 }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

上記の関数では、2バイト整数のマトリックスが浮動小数点数のマトリックスに変換され、次にバッテリーがマトリックスに追加され、最終的に平均が計算されます。 8行目では、行列の各要素に対して除算が実行されます。



コードの次の部分では、4行目の前に作成した深度背景を使用してオブジェクトを選択します。次に、OpenCV findContours（）関数を使用して、輪郭を選択します。 しきい値よりも長い長さの輪郭の場合、幾何学的中心が計算されます。 受け取った中心の座標はtouchPoints配列に追加され、表面をクリックするイベントの座標を保存します：

 1 // Update 16 bit depth matrix 2 depth.data = (uchar*)(&depthData); 3 // Extract foreground by simple subtraction of very basic background model 4 foreground = background - depth; 5 6 // Find touch mask by thresholding (points that are close to background = touch points) 7 touch = (foreground > TouchDepthMin) & (foreground < TouchDepthMax); 8 9 // Extract ROI 10 Mat touchRoi = touch(roi); 11 12 // Find contours by depth data 13 vector< vector<Point2i> > contours; 14 vector<Point2f> touchPoints; 15 findContours(touchRoi, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE, Point2i(xMin, yMin)); 16 17 for (unsigned int i=0; i < contours.size(); i++) { 18 Mat contourMat(contours[i]); 19 // Find touch points by area thresholding 20 if ( contourArea(contourMat) > ContourAreaThreshold ) { 21 Scalar center = mean(contourMat); 22 Point2i touchPoint(center[0], center[1]); 23 touchPoints.push_back(touchPoint); 24 } 25 }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最後の部分では、イベントがシステムに送信されます。 表面タッチイベントの座標は、以前に作成されたtouchPoints配列から取得されます。

 1 // Send TUIO cursors 2 tuioTime = TuioTime::getSessionTime(); 3 tuio->initFrame(tuioTime); 4 5 for (unsigned int i=0; i < touchPoints.size(); i++) { // touch points 6 float cursorX = (touchPoints[i].x - xMin) / (xMax - xMin); 7 float cursorY = 1 - (touchPoints[i].y - yMin) / (yMax - yMin); 8 TuioCursor* cursor = tuio->getClosestTuioCursor(cursorX,cursorY); 9 10 LOGD("Touch detected %d %d", (int)touchPoints[i].x, (int)touchPoints[i].y); 11 12 // TODO improve tracking (don't move cursors away, that might be closer to another touch point) 13 if (cursor == nullptr || cursor->getTuioTime() == tuioTime) { 14 tuio->addTuioCursor(cursorX,cursorY); 15 eventInjector->sendEventToTouchDevice((int)(touchPoints[i].x - xMin), 16 (int)(touchPoints[i].y - yMin)); 17 LOGD("TUIO cursor was added at %d %d", (int)touchPoints[i].x, (int)touchPoints[i].y); 18 } else { 19 tuio->updateTuioCursor(cursor, cursorX, cursorY); 20 } 21 }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

イベントをシステムに送信するには、sendEventToTouchDriver（）関数が呼び出され、TUIOメッセージをサーバーに送信するには、addTuioCursor（）およびupdateTuioCursor（）関数が呼び出されます。



コードの説明の最後に、システムにイベントを送信するためのモジュールについてお話したいと思います。 モジュールはstouchEventInjector.cppと呼ばれます。 コンストラクターでの作業の最初に、open（）関数を使用して、入力デバイス/ dev / input / eventXのイベントファイルが開きます（Xは数値）。 モジュール自体は、目的のドライバー（sun4i_ts）に関連付けられたハンドルを見つけようとします。 これを行うには、既存の各ファイル/ dev / input / eventXに対して-plスイッチを使用してgetevent関数を順番に呼び出します。 イベントの送信は、実際には、write（）関数を使用して、uinput_event構造体の/ dev / input / eventXファイルに書き込んでいます。 タッチスクリーンには、軸上の最大値と最小値を持つ独自の座標系があります。sun4i-tsの場合、両方の軸の最大数はohとoh 4095です。 ）



冒頭で述べたように、デバイスの起動後にタッチスクリーンドライバーを自動的に起動するには、Androidアセンブリの構成を変更する必要があります。 私の場合、Ubuntuの最新バージョンであるAndroidをビルドするには、バージョンは14.10でした。 ここからソースコードをCubieboard A10 Androidから取り出して展開します。 2つのファイルを変更する必要があります。

 android/device/softwinner/apollo-cubieboard/init.sun4i.rc android/frameworks/base/data/etc/platform.xml
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

init.sun4i.rcファイルで、insmod /system/vendor/modules/sun4i-ts.koの行のコメントを解除する必要があります。 platform.xmlファイルで、USB、入力、およびシェルグループをINTERNETセクションに追加する必要があります。

  <group gid="usb"/> <group gid="input"/> <group gid="shell"/>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

変更を行った後、次のコマンドでアセンブリを開始します。

 ./build.sh -p sun4i_crane -k 3.0
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Android ICSバージョンをビルドするには、GCCコンパイラバージョン4.6とバージョン3.81が必要です。 コンパイラーとmakeバージョンが必要なものと異なる場合は、次のコマンドで変更できます。

 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.6 60 --slave /usr/bin/g++ g++ /usr/bin/g++-4.6 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.9 40 --slave /usr/bin/g++ g++ /usr/bin/g++-4.9 sudo update-alternatives --config gcc sudo mv /usr/bin/make /usr/bin/make40 sudo update-alternatives --install /usr/bin/make make /usr/local/bin/make 60 sudo update-alternatives --install /usr/bin/make make /usr/bin/make40 40 sudo update-alternatives --config make
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、 Cubieboard A10 Androidページの指示に従います。 ビルドプロセス中にコンパイルエラーが発生する場合があります。 エラーを修正するためのヒントは、ソースリポジトリのfix_android_firmware.readmeファイルのFix building issuesセクションにあります。 ボードをPCに接続するには、デバイスをUSB経由で接続するためのルールを追加する必要があります。これを行うには、ファイルを作成します。

  /etc/udev/rules.d/51-android.rules
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、次の行を追加します。

 SUBSYSTEM=="usb", ATTRS{idVendor}=="18d1", ATTRS{idProduct}=="0003",MODE="0666"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

変更を有効にするには、udevサービスを再起動します。

 $sudo chmod a+rx /etc/udev/rules.d/51-android.rules $sudo service udev restart
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ボードをPCに接続し、 LiveSuitユーティリティを使用してファームウェアイメージsun4i_crane_cubieboard.imgを入力します。 インストールする前に、LiveSuitの指示を注意深く読んでください。正しくインストールされていないと、アプリケーションはデバイスにイメージをダウンロードできません。 イメージをロードしてボードを再起動したら、SimpleTouchアプリケーションをインストールして実行できます。 アプリケーションは、Kinectからデータをキャプチャ/処理し、イベントをシステムに送信するサービスを自動的に開始します。 アプリケーションを単純に最小化して、PlayMarketからゲームを実行できます。



ソースコードはbitbucketからダウンロードできます。



デモンストレーションビデオ：