libgdxのゼロからのVRアプリケーション：パート1

仮想現実はユーザーの間で急速に人気を博していますが、それでも多くの開発者がアクセスできません。 その理由は簡単です。多くの人がCardboard SDKに結び付けられないフレームワークでゲームを書いており、別のフレームワークで作業することを学ぶことは不可能であるか、あまりにも怠zyです。 そのため、Libgdxでは、ハリネズミを越えようとしても、VRゲームやアプリケーションを作成する方法はまだありません。 数か月前、私は自分のVRおもちゃを作成したいという衝動に駆られました。私はLibgdxに精通しており、長い間仕事をしてきたので、自分ですべてを学び、Libgdxで自分のVR バイクエンジンを実装するしかありませんでした。 目が怖い-手がやっていて、一ヶ月の夜の集まりの後、ゲームは準備ができていました。 出版のわずか数日後に、彼らはコードを共有するか、少なくともそれがどのように機能するかを説明するリクエストで私を攻撃し始めました。 私は欲張りではないので、アプリケーションの例を含む記事をいくつかかき混ぜることにしました。このパートでは、スマートフォンセンサーの読み取り値から方向を取得する方法（いわゆるヘッドトラッキング）について説明し、画面にステレオペアを表示します。

免責事項

Libgdxはクロスプラットフォームフレームワークとして位置付けられているという事実にもかかわらず、この記事ではAndroid専用に設計されたアプリケーションの例を提供します。 プラットフォーム固有のコードに切り替える理由は2つあります。



1） Libgdxの標準Gdx.inputでは、スマートフォンの磁力計（コンパス）から「生の」データを取得できません。 ジャイロスコープと加速度計との類推による3つの方法を追加することの問題は、私にはわかりませんが、これが、Androidモジュールのセンサーを使用したすべての作業の結論の理由でした。



2） Wikiは 、LibgdxがiOSジャイロスコープをサポートしていないと言っています。これは、この情報が現時点では関連していない限りです。

---

センサー

そのため、3つのセンサーを搭載したスマートフォンが理想的です。 OpenGLでカメラの回転のクォータニオンを取得するには、このデータを変換およびフィルター処理する必要があります。 クォータニオンとは何であり、どのように役立つかについては、 ここで詳しく説明しています 。 私たちが何を扱っているのかを理解するために、各タイプのセンサーを個別に簡単に見ることから始めることをお勧めします。

ジャイロスコープ

ジャイロスコープは、取り付けられている身体の向きの角度の変化に応答できるデバイスです。 機械式ジャイロスコープは古くからよく知られており、主にさまざまな慣性システムで使用され、コースとナビゲーションを安定させます。







最新のスマートフォンはMEMSジャイロスコープを使用しており、ベクトルの形式で3つの軸に沿って角回転速度を提供します 。







データの測定単位（ラジアンまたは度）に関係なく、デバイスの角回転速度に直接比例することが重要です。 明らかに、理想的な静止状態のジャイロスコープはゼロを与えるはずです： しかし、これはMEMSジャイロスコープの場合ではありません。 一般に、MEMSジャイロスコープは、既存のすべてのジャイロスコープの中で最も安価で不正確です;静止状態では、強力なゼロドリフトがあります。 ゼロ近くでジャンプするこれらの角速度を方位角に統合すると、誤差が蓄積し始め、その結果、いわゆるジャイロドリフトが発生します。これは多くのファンがVRおもちゃをプレイすることでよく知られています。 ゼロドリフトを減らすには、特別な信号フィルターと角速度のしきい値が使用されますが、これは万能薬ではありません。 VRエクスペリエンス（画像とジャークの慣性があります）、そして2番目に、ドリフトを完全に根絶することはまだ不可能です。 この場合、スマートフォンの他の2つのセンサーが助けとなり、VRエクスペリエンスを維持しながらドリフトをほぼ完全に排除できます。

加速度計

加速度計は、取り付けられている身体の加速度に応答するデバイスです。 スマートフォンの加速度計は、軸に沿った加速度ベクトルを提供します 、測定単位はほとんどの場合m / sですが、私たちにとっても重要ではありません。 静止時には、加速度計は重力ベクトルの方向を示します。この機能を使用して、水平線を安定させることができます（傾斜補正）。 加速度計にも欠点があります。 ジャイロスコープが主に静止しているときにノイズが多い場合、反対に、加速度計は動きやすくなります。そのため、これら2つのセンサーからのデータの組み合わせに賢明にアプローチする必要があります。 さまざまなANNで、クワドロコプターにカルマンフィルターが使用されますが、VRの場合、ここで通常の補完を行うことができると思います。











その結果、ジャイロスコープと加速度計のバンドルによりゲームを作成することができ、同じCardboard SDKがそのように機能します。 しかし、磁力計を使用して除去できる垂直軸の周りにドリフトが残っています。 Cardboard SDKでは、磁力計は磁気ボタンで動作するように指定されているため、すべてのCardboardゲームには常にドリフトコースがあります。

磁力計

磁力計-磁場に応答するデバイス。 静止時、電磁および磁気干渉がない場合、スマートフォンの磁力計は地球の磁気誘導ベクトルの方向を示します 、値は通常マイクロテスラ（μT）です。







惑星の磁場という形でのこの目に見えない支持により、垂直軸の周りの任意の回転を排除することができ、それによりドリフト全体を完全に排除できます。 磁気ドリフト補正が常に機能するわけではなく、どこでも希望どおりに動作するわけではないことに注意してください。 まず、スマートフォンのカバーまたはVRヘルメットカバーの磁石からのわずかな外部磁場は、予測できない結果につながります。 第二に、磁場は惑星のさまざまなコーナーで異なり、磁気誘導ベクトルの方向も異なります。 これは、磁力線が地球の表面にほぼ垂直であり、基点の方向に関する有用な情報を運ばないため、磁力計によるドリフト補正が極の近くで機能しないことを意味します。 私たちの間に極地探検家がいないことを願っています

---

理論

電話の現在の向きのクォータニオンを取得するには、すべてのセンサーから情報を周期的に取得し、それに基づいて前の瞬間に取得したクォータニオンに対して操作を実行する必要があります。 させる -サイクルを開始する前に、必要な方向のクォータニオンに初期値を割り当てます 。

1.ジャイロ測定値を統合する

先ほど言ったように、ジャイロスコープは角速度のベクトルを提供します。 角速度から角座標を取得するには、それらを統合する必要があります。 これは次のように行われます。



1.1。 クォータニオンを宣言する そして次のように設定します：







どこで -サイクルの前回の反復から経過した時間。

1.2。 結果を使用してqを更新 ： 。



説明したアクションの結果、クォータニオンqは既に回転に使用できますが、スマートフォンジャイロの精度が非常に低いため、3軸すべてに沿ってひどく浮いています。

2.水平面の位置合わせ（傾き補正）

加速度計はこれに役立ちます。 要するに、このためには、修正クォータニオンを見つけ、前のステップで取得したクォータニオンを掛ける必要があります。 修正四元数は、ベクトル回転軸と回転角度を使用して形成されます。



2.1。 加速度計ベクトルを四元数として取得します。

2.2。 この加速度計の四元数をジャイロ四元数で回転させます。

2.3。 クォータニオンの正規化されたベクトル部分を取得します ：

2.4。 それを使用して、回転軸を定義するベクトルを見つけます。

2.5。 これで、角度を見つけることができます。

2.6。 ジャイロから四元数を調整します。 どこで -平滑化係数、それが小さい-水平線がより滑らかで長く安定するため、ほとんどの場合の最適値は0.1です。



これで、 qはカメラを上下逆さまにせず、Y軸の周りのわずかなドリフトのみが可能になります。

3.磁力計でY軸周りのドリフトを除去します（ヨー補正）。

スマートフォンのコンパスはかなり気まぐれなものであり、再起動するたびにキャリブレーションを行い、巨大なグランドまたはマグネットに持ち込む必要があります。 VRの場合、キャリブレーションが失われると、ヘッドの回転に対するカメラの予測できない応答が発生します。 99％の場合、平均的なユーザーのコンパスはキャリブレーションされていないため、ドリフト補正機能をデフォルトでオフにしておくことを強くお勧めします。オフにしないと、否定的なレビューを拾うことができます。 また、修正を有効にしてアプリケーションを起動するたびに、キャリブレーションの必要性に関する警告を表示すると便利です。 Androidがキャリブレーション自体を引き継ぎます。これを呼び出すには、スマートフォンを空中で数回「8」または「∞」と描画する必要があります。







Androidがコンパスキャリブレーションのステータスを確認する方法を提供せず、「すべて、ただそれを振る」などのメッセージを表示することは残念です。ユーザーの知的能力に頼らなければなりません。 原則として、混乱して、波を加速度計と見なすことができますが、もちろんこれは行いません。 加速度計を使用した地平線補正とそれほど変わらないアルゴリズムに移りましょう。



3.1。 四元数の形でコンパスベクトルも描画します。

3.2。 そしてターン：

3.3。 この場合の回転軸はY（0、1、0）なので、角度のみが必要です。

3.4。 正解： どこで -と同じ平滑化係数 上



磁力計が適切に較正され、ユーザーが地球の極に地理的に近すぎない場合、ドリフトは完全になくなります。 私の方法は、Oculus Riftで使用されている方法とは多少異なることに注意してください。 エッセンスは次のとおりです。サイクルの最後の数回の繰り返しで、回転の四元数と対応する磁力計の読み取り値が保存されます（いわゆる基準点が作成されます）。 さらに調べます。磁力計の読み取り値が変わらない場合、クォータニオンが「進む」場合、ドリフト角度が計算され、クォータニオンは反対方向に向けられます。 このアプローチはOculusではうまく機能しますが、磁力計の精度が低すぎるため、スマートフォンには適用できません。 私は記事からメソッドを実装しようとしました-スマートフォンで、彼はカメラを引っ張り、同時にドリフトを実際に除去しません。

---

実装

まず、 gdx-setup.jarを使用して空のAndroidプロジェクトを作成します。









典型的なandroid libgdxプロジェクトは、androidとcoreの2つのモジュールに分かれています。 最初のモジュールにはプラットフォーム固有のコードが含まれ、2番目のモジュールには通常、ゲームロジックとレンダリングが含まれます。 コアモジュールとAndroidモジュール間の相互作用は、インターフェイスを介して実行されます。これに基づいて、3つのファイルを作成する必要があります。

1. VRSensorManager-タッチマネージャーインターフェイス
2. VRSensorManagerAndroid-その実装
3. VRCamera-レンダリング用のシンプルなカメラ

そして、2つのプロジェクトファイルに変更を加えます。

1. AndroidLauncher -Androidプロジェクトスタータークラス
2. GdxVR-アプリケーションのメインクラス

プロジェクトのソースコードをgithubリポジトリにアップロードしました。可能な限りコードを文書化しようとしたので、記事内の主要なポイントのみを説明します。

VRSensorManager

センサーでのすべての作業を推測し、Androidモジュールで四元数を計算しました。このインターフェイスを使用して、コアモジュールで四元数を取得します。





ここでの方法はすべて直感的で、誰も質問をしていないと思います。 例のメソッドisGyroAvailableとisMagAvailableはどこにも関与していませんが、誰かに役立つ可能性があるため、ゲームで使用しています。

VRSensorManagerAndroid

理論的には、Androidモジュールでは、センサーからのみ値を取得でき、既にコアにあるそれらから四元数を計算できます。 コードを他のフレームワークに移植しやすくするために、すべてを1か所にまとめることにしました。





ここで、おそらく、いくつかの説明をします。 通常のリスナーを使用してセンサーデータを取得します。このテーマに関する多くのマニュアルがインターネット上にあります。 クォータニオンを使用した作業を、理論部分に従って3つの方法に分割しました。

1. updateGyroData-ジャイロスコープの角速度の統合
2. updateAccData-加速度計による地平線の安定化
3. updateMagData-コンパスのドリフト補正

電話機に常に加速度計があると仮定した場合、センサーの組み合わせは4つしかありません。それらはすべてVRControlMode列挙で定義されています。

 private enum VRControlMode { ACC_ONLY, ACC_GYRO, ACC_MAG, ACC_GYRO_MAG }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

デバイスセンサーの組み合わせはコンストラクターで決定され、getHeadQuaternionメソッドが呼び出されると、それに応じて何らかの方法で四元数が形成されます。 このアプローチの利点は、利用可能なセンサーに応じてupdateGyroData / updateAccData / updateMagDataメソッドの呼び出しを組み合わせて、電話に加速度計しかない場合でもアプリケーションが動作するようにすることです。 さらに良いことに、加速度計に加えて電話にコンパスがある場合、このバンドルはほぼジャイロスコープのように動作し、頭を360°回転させることができます。 この場合、通常のVR体験に疑問の余地はありませんが、「お使いの携帯電話にはジャイロスコープがありません」というソウルレスな碑文よりも優れていますか？ useDriftCorrectionメソッドも興味深いです。リスナーに影響を与えずに、磁力計の使用をオンザフライでオン/オフできます（技術的には、updateMagDataの呼び出しが停止します）。

VRカメラ

ステレオペアの形式で画像を表示するには、視差ベースと呼ばれる2つのカメラが必要です。 したがって、VRCameraにはPerspectiveCameraの2つのインスタンスが含まれます。 一般に、このクラスでは、カメラでの作業のみが実行されます（クォータニオンで回転して移動します）。GdxVRのメインクラスにステレオペアのレンダリングを直接配置しました。





ここで最も興味深いメソッドは、コンストラクタと更新です。 コンストラクターは、視野角（fov）、カメラ間の距離（視差）、および近くと遠くのクリッピングプレーン（near、far）までの距離を取ります。

 VRCamera(float fov, float parallax, float near, float far)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

更新メソッドでは、VRSensorManagerからクォータニオンを取得し、カメラを（±視差、0、0）に移動し、回転させてから、元の位置に戻します。 このアプローチでは、カメラ間に常に特定の視差ベースが存在し、ユーザーは頭の向きに応じて立体画像を見ることができます。 カメラのビューマトリックスを直接操作することに注意してください。つまり、カメラの方向とアップベクトルは更新されません。 したがって、VRCameraは2つのベクトルを導入し、それらの値はクォータニオンを使用して計算されます。

AndroidLauncher

スタータークラスでは、アプリケーションを初期化するときに、VRSensorManagerAndroidのインスタンスを作成し、ゲームのメインクラス（私の場合はGdxVR）に渡す必要があります。

  @Override protected void onCreate (Bundle savedInstanceState) { super.onCreate(savedInstanceState); AndroidApplicationConfiguration config = new AndroidApplicationConfiguration(); config.useWakelock = true; config.useAccelerometer = false; config.useGyroscope = false; config.useCompass = false; vrSensorManagerAndroid = new VRSensorManagerAndroid(this.getContext()); initialize(new GdxVR(vrSensorManagerAndroid), config); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、アプリケーションを非表示/デプロイするときにリスナーを無効化/登録することを忘れないでください。

  @Override public void onPause() { vrSensorManagerAndroid.endTracking(); super.onPause(); } @Override public void onResume() { super.onResume(); vrSensorManagerAndroid.startTracking(); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

完全なスタータークラスコード：





room.g3dbモデルファイルとtexture.pngテクスチャをアセットフォルダにドロップすることを忘れないでください。これらは次のステップで役立ちます。 ここからダウンロードできます。 他のどのシーンのモデルも適しています。私はあまり気にせず、完成したモデルを自分のゲームのレベルから取りました。3D効果は、多くの小さなディテールが存在するためによく感じられます。

Gdxvr

最後に、メインクラスに進みました。 まず、VRSensorManagerとその中でコンストラクターを宣言する必要があります。これは、AndroidLauncherからこのクラスのインスタンスへの参照を受け入れます。

 static VRSensorManager vrSensorManager; GdxVR(VRSensorManager vrSensorManager) { GdxVR.vrSensorManager = vrSensorManager; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

全体としてのコード：





createメソッドでは、画面サイズ（幅が2で除算された理由がわかります）を確認し、シーンモデルをロードしてから、カメラを作成して配置します。

 vrCamera = new VRCamera(90, 0.4f, 0.1f, 30f); vrCamera.setPosition(-1.7f, 3f, 3f);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

例として、ドリフト補正をオンにしました。誰かが起動後にカメラに問題がある場合は、コンパスを調整する理由を探してください。

 vrSensorManager.useDriftCorrection(true);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

renderメソッドでは、すべてのレンダリングの前に、カメラの更新を呼び出す必要があります。

 vrCamera.update();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステレオペアは、標準のビューポートを使用して実装されます。 ビューポートを画面の左半分に調整し、左目用の絵を描きます。

 Gdx.gl.glViewport(0, 0, scrHalfWidth, scrHeight); modelBatch.begin(vrCamera.getLeftCam()); modelBatch.render(roomInstance); modelBatch.end();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

正しいものについてもまったく同じです：

 Gdx.gl.glViewport(scrHalfWidth, 0, scrHalfWidth, scrHeight); modelBatch.begin(vrCamera.getRightCam()); modelBatch.render(roomInstance); modelBatch.end();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

---

おわりに

すべてが正しく行われたら、スマートフォンをVRメガネに挿入して、自分で作成した仮想世界に没頭できます。









新しい現実へようこそ！ 第2部ではサウンドの操作について説明しますが、今日はすべて揃っています。 ご質問がありましたら、ご清聴ありがとうございました。コメントでお答えします。

---

ソース

1. 相補フィルタリングによるクォータニオンとIMUセンサーの融合
2. 助けて！ コックピットが漂流している