GearVRと段ボール箱の違い、または遅延の追求

免責事項：この投稿は、 closedcircles.comのかなり編集されたチャットログに基づいて作成されたため、プレゼンテーションスタイルと明確な質問の可用性に基づいています。

VRについて知っておくべき主な用語は、 モーションからフォトンへのレイテンシです。

言い換えると、頭を回してから、画面を離れた画像の最後の光子（頭の新しい位置の視点から描画）の間の遅延。

運動から光子への20ミリ秒以下のレイテンシは、プレゼンスに到達できることが経験的に推測されています-つまり 仮想世界で頭を動かしているような感覚。

20ミリ秒未満の値が重要であるかどうかは不明ですが、一般的に目標は20に到達することです。

フックまたは詐欺師によるGearVRが届きます。その方法を説明します。

音訳と翻訳を組み合わせた英語の用語を無料で使用することを事前におaび申し上げます。

GearVRは、誰かが電話を止めているヘッドセットを知らない場合です。 ヘッドセット自体には画面はありません。 レンズとIMUがあります。

IMUは標準のジャイロスコープ+加速度計です。 GearVRに磁力計があるかどうかはわかりませんが、実際はそうではありませんが、実際には磁力計はあまり重要ではありません。

ジャイロと加速度計を使用してデバイスの方向を取得する標準的な方法がありますが、これについては詳しく説明しません。

重要なポイント：GearVRには独自のIMUがあり、最小のレイテンシ（ほとんどの場合約1ミリ秒）で1000 Hzの周波数で新しい方向データを提供します。

これは、携帯電話に内蔵されているセンサーよりも何倍も優れています（Samsung Note 5のジャイロ周波数は200 Hz、レイテンシは10〜15 ms）。

そして、それはどのように供給しますか？ 電話から？

私の知る限り、それはUSB経由で携帯電話から給電されています-内部には鉄がほとんどないので、消費はおそらく最小限です。

したがって、基本的な配置は、IMUデータがあり、それらをフレームの先頭で読み取り、2つのフレーム（ステレオ画像）をレンダリングする必要があるということです。 GearVRには位置追跡はありません-頭の向きのみがわかります。

頭の向きを使用して、2つの目のカメラの近似データが取得されます。条件付きで、頭を右に向けると、目の位置も右に移動します。 頭は首の関節を中心に回転し、この回転点から目がどれだけ離れているかがわかります。

さて、ユーザーの目の間のおよその（平均）距離がわかっているので、単純なジオメトリでは2台のカメラを取得し、2つの画像を描画します。

既に述べたように、GearVRには2つのレンズがあります-それぞれの目に1つです。 レンズは次の2つの理由で必要です。

1. FOVが増加します。 頭に付着した画面のFOVを測定する場合、値は十分に高くありません。画面を十分に小さくできるように、各目で90度以上が必要です。
2. 光学焦点距離を変更します。
   
   レンズがない場合、異なるピクセルは異なる焦点にあります。 画面は非常に近く、異なるピクセルの距離の違いは非常に重要です。

レンズは目から来る光線を「真っ直ぐにします」、それは無限遠で光学焦点の感覚を与えます：

実際、そのようなパラメータを持つレンズにはかなり大きな歪みがあることがわかります-単に両目で画像をレンダリングすると、オブジェクトは著しく歪みます。 レンズの中心（目）から遠ざかるほど大きくなります。

したがって、標準の3Dレンダリングで取得した写真を撮影し、画面に表示するときに歪ませることで、レンズを歪ませた後も同じ結果が得られるようにします。

これを行うには、通常、次のような歪みメッシュが描画されます。

さらに、GPUに余分な時間がかかる場合は、同じパッセージで色収差の補正を試みることができます

（これはレンズの特性によっても得られます）。

実際には、このフィルターはGearVRでデフォルトで無効になっています。これを補正するには、1つのテクスチャサンプリングの代わりに、シェーダーで3つ行う必要があります。これはモバイルハードウェアです。

それで、イントロは終了しました、レイテンシーに対処しましょう:)

提案されたスキームでは、20ミリ秒はなく、一般的にすべてが非常に悪いです。

なぜなら…

• フレームの最初で、IMUデータを読み取ります（たとえば1ミリ秒の遅延）。
• 次に、フレームマトリックスを組み立て、シーンをレンダリングしました。これは、特にAndroidのOpenGLドライバーの品質を考慮して、一般的に時間がかかるプロセスです。
  
  （たとえば、60 FPSがレンダリングされる場合、これは別の16ミリ秒です...）
• 次に、フレームをGPUに渡しました。彼はこのフレームを長時間ハードにペイントし、その後歪みを加えて最終的な画像を取得しました。
  
  （これはさらに16ミリ秒です）
• その後、ディスプレイのスキャンアウトが始まります！

ディスプレイは明らかにCRTではありませんが、データを読み取る「ビーム」の概念はそのままです。ディスプレイコントローラーは、スキャンラインの後ろのスキャンラインディスプレイを読み取り、ピクセルを点灯します。

ディスプレイ全体を読み取るには、16ミリ秒かかります。

携帯電話のスキャンラインは通常「短い」です。VRを使用する場合、携帯電話は横向きモードになり、スキャンラインは左から右に向かう縦縞です（まあ、または逆さまにすると、右から左に...）

したがって、左端のスキャンラインは右端のスキャンラインよりも16ミリ秒早く更新されます。

• 最後に、もう1つの喜びがあります。
  
  説明されているメカニズムは、標準のダブルバッファリング...
  
  勇敢なオペレーティングシステムは、実際にはトリプルバッファリングです。
  
  つまり GPUが画像を描くとき、​​それはディスプレイではなく作曲家に与えられます。作曲家はおそらくそれを他のウィンドウなどと組み合わせます。
  
  そして、もう1フレーム（16 ms）の遅延が得られます。

その結果、レイテンシが65ミリ秒のように短くなりました

20を超える想像を絶するもの。

さらに、別の問題があります...

通常、ディスプレイは完全持続モードで動作します。つまり、スキャンラインが新しい色で点灯し、実質的にフレーム全体がこのモードのままになります。 16ミリ秒

16ミリ秒で頭を十分に回転させることができ、その結果、このスキャンラインの目は網膜のさまざまなポイントで同じ色で登録されます。

そして、頭を回すと汚れます。

したがって、これだけで勝てなければ、GearVRゲームはGoogle Cardboardのように見えます。

勝つ必要があります。

重要な技術は、OculusがTime Warpと呼ぶ技術です。

それは再投影とも呼ばれ、おそらく他の方法でもありますが、私はタイムワープという言葉が好きです。

アイデアは次のとおりです：カメラCでレンダリングされた写真を撮影する場合、カメラCを撮影します。カメラCは、あまり大きくない距離（数十度）でカメラCを回転させます（オフセットはしません）...

最初の2番目の画像は、単純な2D変換によって取得できることがわかります。

これはなぜですか？ 指では、カメラからレンダリングされた画像では、各ピクセルがカメラからこのピクセルが位置する点までの光線に対応しているため、カメラを回転させると、2つの錐台の交点に同じ色のピクセルに対応する光線が含まれることは明らかです。

マトリックスを修正して頭を左右に回転させると、小さな回転角度では、マトリックスを修正したという事実は明らかではありません。

これは実際にはタイムワープが正しく機能しているメインテストです

（レンダリングのマトリックスを修正し、頭をプラスまたはマイナス5度回転できるかどうかを確認します）。

5度以上可能ですが、どこからでも多くの情報を取得できるため、画面のほとんどが黒くなります。

実際、「デバイスを振る」は、位置追跡があるヘッドセットの標準的なストレステストです-頭を固定してから、手を使って頭の高周波数で左右にヘッドセットを動かすので、画像が安定している必要があります-これには、実際には、サブ20ミリ秒が必要です（そして、高品質の追跡）。

聞いてください。GearVRで固定マトリックスビュー\プロダクションでレンダリングし、再生をオンにしてからデバイスの揺れを開始すると、その写真が揺れますか？

うーん、揺れが悪いのは 位置追跡がなく、理解できないもの

まあ、位置追跡がない場合は、揺れます-たとえ小さい場合でも、角度の変化になります。

ええ、はい。しかし、現実の世界では位置が変わりますが、ヘッドセットではそうではありません-つまり 安定した画像は機能しません。

首が落ちない場合は、頭を高周波で左右にひねってみてください:)

タイムワープは簡単に行われます- すでに非常に歪みのあるメッシュを描画しています。

したがって、頂点シェーダー（3D空間）でテクスチャ座標を単に「回転」できます。

ピクセルシェーダーは変更されず、タイムワープは実際には無料です。

どれくらい回す？

今頭を回すことと元の絵が描かれた頭を回すことの違い。

回転が大きくなるほど、空きスペースが多くなり、黒で塗りつぶすことができます

（または、クランプのアドレス指定を行うことができます。小さな回転角度では黒よりも少し良くなりますが、大きな角度では奇妙になります）。

画像を「反転」するメカニズムができたので、待ち時間を減らすためにそれをどのように使用できるかを見てみましょう。

まず、完全な永続性を扱います。これは、モーションからフォトンへの技術的な影響はありませんが、削除する必要があります。

GearVRをサポートする電話の場合、 低持続性モードを含む特別なディスプレイドライバーが作成されます 。

各スキャンラインは必要な色で以前と同様に点灯し、その後すぐに-正確な長さはわかりませんが、3〜4ミリ秒と言って-消えます（黒に変わります）。

かなりの数の人が、知覚の特性のために「点滅」に気付かないことが判明しています。

彼らは、知覚限界は50 Hzの点滅から85 Hzの間で変化すると言います。これは、デスクトップVRヘッドセット（Rift / Vive）が90 Hzの周波数で動作する主な理由の1つです。

さらに、実際の世界では60 Hzの周波数で点滅するパネルよりも、ヘッドセットの低い持続性がよく認識されます。これは、表示されるすべてのものが点滅しているように見え、脳が適応するためです...

参照リンクとビデオ：

https://www.youtube.com/watch?v=_FlV6pgwlrk

https://en.wikipedia.org/wiki/Persistence_of_vision

https://en.wikipedia.org/wiki/Flicker_fusion_threshold

ああ、つまり、すでに画像を「削除」している（画面を消している）ので、これはよりよく知覚されますか？ そして問題は、16ミリ秒すべてを燃やし、頭が動くときですか？

確かに。

前庭眼反射と呼ばれるものがあります：

頭を回すと、目は自動的に反対方向に向きを変えます。

したがって、頭を回すときに、オブジェクトに目を固定し、たとえば、問題なく非常に強いターンで読むことができます。

それは、ピクセルが長時間燃えている場合、網膜に1ピクセルを投影すると、目の回転のためにストリップが発生し、スミア/ゴーストが発生することを意味します。

そして、ピクセルがほぼすぐにオフになった場合、スミアは表示されず、視覚の特殊性のために、高頻度の点滅は点滅として認識されません-私は特に理由がわかりません。

VORは一般にクールなものであり、目の筋肉を備えた前庭装置は自然に直接接続されます。

脳の関与は必要なく、超低遅延:)

頭の動きにより、スミアリングはなくなりましたが、レイテンシは65ミリ秒のままです...

GearVRでレンダーが実際にどのように機能するかを見てみましょう。

フレームレンダリングの開始時にIMUからデータを読み取り、OpenGLコマンドを生成し、それをフレームを描画するGPUに渡すという事実について上記で書いたもの-有効のままです。

これは、ゲームスレッドとゲームGLコンテキストです。

GearVR SDKを作成する別のスレッドがあり、独自のGLコンテキストを持ち、高優先度モードで動作します

（Androidの新しいバージョンでは、このようなコンテキストはEGL拡張を使用して自分で作成できるようになりました）。

高優先度モードは、このコンテキストでGPUによって発行されたコマンドがGPUによってほぼすぐに実行され始めることを意味します。

GearVRをサポートする特定のGPUでのGPUスケジューリングの詳細がわかりません-プリエンプションの粒度はドローコールであると仮定します-つまり 巨大な10ミリ秒のドローコールがない場合は、現在の1ミリ秒と2ミリ秒を終了して、次のミリ秒を開始できます。

NVidiaデスクトップGPUでは、この粒度は通常、描画呼び出しにあります。AMDでは、1ウェーブ（計算用）であると誤解しない限り、デスクトップベンダーは改善に取り組んでいます。 この機能はデスクトップVRでも重要です...

このVRコンテキストの2番目の機能は...

彼がすぐにフロントバッファに描画するもの-スキャンアウトの元となるバッファで -すべての作曲家やその他のナンセンスをスキップします。

すでにわかったように、スキャンアウトには16ミリ秒かかり、厳密な順序でスキャンラインを1つずつ調べます。

スキャンラインは、左から右に向かう縦のストライプです（ランドスケープモード）。そのため、ストライプの半分には左目からの画像が含まれ（8 msスキャン）、ストライプの後半には右目からの画像が含まれます（8 msにスキャン）。

そのため、ディスプレイが左をスキャンしている間、右目を描画しようとすることができます。

念のため-ゲームのフレームから直接三角形を描くという意味ではありません！

ここでは、非常に正確なタイミングと明確な保証が必要なので、ゲームは最終的にそこにフレームを描画し、VRコンテキストはタイムワープを使用してフレームを調整します。

したがって、この同じVRスレッドは2回起動します。vsync間隔が開始されたときと、その8ミリ秒後（スキャンアウトの途中）です。

新鮮なIMUデータ（待ち時間1ミリ秒）を読み取り、 2つの修正回転行列を生成します。

なぜ2つ？

スキャンアウトにより、左眼の左走査線と左眼の右走査線は（光子放出時間の観点から）時間的に8ミリ秒離れているため、理想的には、それらを別々に補正する必要があります。

したがって、IMUデータ（レイテンシ1ミリ秒）を読み取り、ジャイロスコープデータを使用して前方予測のために2つの頭部の向きを生成します。

最初を8ミリ秒、2番目を16ミリ秒で予測します（理由は明らかです）。

次に、ディストーションメッシュの半分が右目より上にある優先度の高いコンテキストで描画呼び出しを送信します。GPUがそれを拾い上げ、十分に迅速に描画することを願っています。

スキャンアウトの向きを生成してから8ミリ秒後、画面のデータを描画した部分に到達し、表示を開始します。

その結果、各眼の左端の走査線の光子放出に対する完全な待ち時間は約9ミリ秒であり、右端のそれは約17ミリ秒です。

（Amigaで30年前にRace -the-Beamラスタライザを書いた人-cry）

実際、歪みメッシュを縦縞にカットし、より明確なタイミング保証を持っている場合-私が理解しているように、これは現在のGPUでは不可能です-それから、モーションからフォトンを10 ms未満に減らすことができます。

ご覧のとおり、現在のレイテンシの半分（8ミリ秒）は、GPUでのドローコールに適合して描画するための安全バッファであり、半分はスキャンラインの最悪のスキャンアウトレイテンシです。

ストライプにカットし、より明確なタイミングを持っている場合、それを解決しようとすることができます。

または、タイムワープをスキャンアウトコントローラーに直接統合する場合、ワープ操作はテクスチャの双線形サンプリングであり、それほど難しくありません。

しかし、概して、現在のレイテンシは十分です。 より敏感な人のまばたきの問題を解消するためにディスプレイ周波数を90 Hzに上げると、同じテクノロジーですぐに約10ミリ秒になります。

はい、8ミリ秒は一般的に任意のバッファを話します

理論的に可能であり、より少ない

理論的には、可能性が低く、実質的に顕著に少なく、おそらく危険になります。

ドローコールベースのプリエンプションの場合、これも考慮する必要があります。

モバイルのVRでは特に短く、1-2回のドローコールでシーン全体を詰め込む傾向があります

OpenGLは遅いため、Unityは遅いなどです。

合計で、彼らはvsyncの直後に目を覚ましました-この時点でスキャンアウトは左目を処理し始めました-そして、右目をフロントバッファに描画しました。

その後、vsyncインターバルの中間までスリープ状態になり、目が覚めました-この時点で、スキャンアウトが右目を処理し始め、左目をフロントバッファーに描画しました。

広告無限。

タイムワープには面白い問題があることに注意してください...

彼は写真を引き締めることしかできません。

どのようにシフトするかわからない-変位は、非閉塞の問題から始まり、深度バッファ、より多くのリソースなどが必要です。

しかし、実際には2つの目があり、頭を回すと目が動き、同時に回転します。

したがって、補正のタイムワープが多いほど、ステレオ画像はより不正確になり、焦点を合わせることが難しくなります。

実際には、20〜30ミリ秒のタイムワープが目に見える問題を引き起こすことはありませんが、おそらく収束が機能しなくなるような巨大な回転速度を除きます。

GearVRが実行できるもう2つのポイントは、通常のAndroidでは不可能です...

まず、レンダーストリームでリアルタイムの優先度を有効にできます （まあ、VRストリームをオンにします）。

あらゆる種類のガベージコレクションストリームがあまり干渉しないように。

第二に、 固定クロック周波数を有効にすることができます（より正確には、必要になります）。

デフォルトでは、CPUおよびGPUの周波数は、負荷およびその他の要因によって異なります。

実際には、Androidでは、これらのメカニズムは非常に奇妙に動作し、数秒間フレームあたり16ミリ秒に収まるはずの負荷が収まらないという事実につながる可能性があります。

そのため、SDKは動的調整を無効にし、アプリケーションがCPU / GPUの固定周波数スケールを個別に選択できるようにします。

ここで、明確にすることを意味します。 この全サイクルは何ですか-タイムワープに関するこの特別なスレッド用です

そして、アプリケーションの実際のレンダリングはそれに平行です

はい、私はそれを上のどこかに書いた。 レンダースレッドは、「次のフレームのコマンドをGPUに送信し終えたので、それを保持します」という機能を通じて、このタイムワープスレッドと対話します。

したがって、2つの独立したスレッドと2つの実際に独立したコンテキスト（同期に関する問題が発生しないように、おそらくフェンスが最初のコンテキストに挿入されます）。

また、アプリケーションでは、ドライバーのCPUに16ミリ秒、レンダリングに16ミリ秒が残っている場合があります

原則として、できます。 たぶんCPUで40ミリ秒。 :)

残りがタイムワープによって取り除かれるように、これを減らすために必要な数値は次のとおりです。

明確に言うのは難しいです。 コンテンツに大きく依存しています。 一般に、Oculusは、安定した60 fps（16 ms cpu / gpu）を維持し、タイムワープをカウントして、これらの余分な20-30 msのレイテンシを取り除き、突然のフレームスパイクを滑らかにすることをお勧めします。

しかし、コンテンツがプラスまたはマイナスの静的な場合（たとえば、アドベンチャーゲームを想像してください）、SDKには、16ではなく33ミリ秒ごとにフレームを提供するモードがあります。

タイムワープはほぼ完璧に機能します（ほぼ-コーナリング時の目の動きについては上記を参照）

60 FPSですが、遅延は32ミリ秒ですか？

20-30、それは、ドライバーがGPUに対して具体的にどのように機能するかに依存します。GPUは、通常、タイル化されています。

しかし、全体で32。

必要に応じて、主に他のオブジェクトの位置でこれを確認できます。

つまり これは、通常のゲームの標準的な待機時間の質問と違いはありません。キーを押すことによる動きなどに対する反応は、頭部追跡ほど重要ではありません。

ああ、忘れた！

段ボールについて。

上記からわかるように、GearVRのハードウェアには1つの瞬間があります。

低遅延で高リフレッシュレートの優れたセンサー。

それ以外はすべてソフトウェアです。

（まだレンズがありますが、GearVRでは、私が理解しているように、レンズは何でも目立ちません、段ボールデバイスでも同じことを考慮してください）

それについてどこかで詳しく読むことができますか？ レンズ自体について。 オブジェクトが本当にでたらめになるのはなぜだろうか。 そこでは左右の写真が非常に発散しているので、私は集中できません。 そして、実際のオブジェクトで-私はできます。 HTC Viveでのテストは簡単です。コントローラーをヘルメットに持ち込んでから、ヘルメットを取り外して実際に見てください。

輻輳と宿泊施設の競合と呼ばれる問題があります。おそらくこれが原因です...

輻輳は、目が目を向けて物体を見る現象です。

オブジェクトが遠い場合、目はまっすぐに見えます。

オブジェクトが非常に近い場合、たとえば、オブジェクトが鼻の前にある場合、鼻に向きます。

宿泊施設は視覚のまさに焦点であり、目の光学特性が焦点に変わります（ https://en.wikipedia.org/wiki/Accommodation_(eye ））。

したがって、VRでは次のことが起こります。

Vergenceが正しく機能するのは、 各目には独自の画像が与えられ、オブジェクトが近くにある場合、左右の目に異なる画像が表示されます。オブジェクトは非常に変位し、必要に応じて目が回転します。

宿泊施設が機能しないのは、 レンズは単一であり、いかなる方法でも調整されないため、すべての物体は無限遠にあります。

この競合は、さまざまな方法でさまざまな人々によって解決され、オブジェクトが近くなるほど、競合は大きくなります。

t.zを使用したさまざまな携帯電話のセンサーでの実験から判断すると、 レイテンシー...

サムスンとアップルのトラッキングは著しく劣っていますが、Nexus 6のトラッキングは劣っていますが、当然のことです。

（EMNIP 4ミリ秒の更新間隔、平均3ミリ秒の待ち時間）

つまり Nexus 6で-上記のすべてを実行でき、GearVRに匹敵する経験がありますが、段ボール箱に入っています。

問題は、上で書いた事実上すべてをユーザーモードから作成できないことです。カーネルとドライバーにパッチを適用する必要があります。

そのため、アプリケーションの作成者はこれを行うことができませんが、Googleは問題ありません。

昨日、Gear VRでプレイしました-誰かを知っていますが、気になりますが、意識レベルでは遅れに気づきません

まあ、ピクセルは巨大です！

t.zでのGearVRの主な問題。 乗り物酔い-位置追跡の欠如。

頭を動かすと、画像はこの動きを反映しません-前庭と光学系の間に矛盾が生じます

Oculusの将来の方向性はモバイルとARの位置追跡であるという噂がありました

まあ、位置追跡がギア＃1、＃2、＃3に欠けていることは驚くことではありません。

＃4おそらくフルRGBディスプレイ

これまでのところ、位置追跡へのすべての成功したアプローチには、外部カメラが必要です。

または、HoloLensのようなヘッドセット上のカメラの山...

だから私はその亀裂dk2そのギアvrを両方試してみました-同様に役に立たないおもちゃに見えた

まあ、私はまだ目が細くなっています

私も、個人的にはあまり気にしません。

これは私が上で収束について書いたものです

個人的には、カメラにIPDがあるかどうかは気にしません:)

私は両方の目ではなく、片方の目で知覚のほとんどを持っています-どの「焦点」に応じて

ええ-または3Dがひどく見えます

投影球の中にいるように感じました

3Dの世界の中ではない

ところで、斜視を持つ人々にとっては位置追跡がデフォルトでより重要である可能性があります-ステレオビジョンを持っているとき、あなたはそれらに適切なオブジェクトまでの距離を知覚し、それがあまり良くないとき、主な視覚的キューは視差です

視差は主に頭の動きから得られます

特に、砲塔があなたの周りの砲塔で

しかし、ここで私は少し深みを失っており、異なる知覚要因の重要性について良い考えを持っていないので、はっきりとはわかりません。

全体として、デスクトップエクスペリエンスとは異なり、GearVRは私を個人的に挿入しなかったことに同意します。