仮想現実の自動最適化または再投影、タイムワープ、スペースワープの違いは何ですか

仮想現実のためのプロジェクトの最適化には、独自の特別なアプローチが必要です。 3Dゲームを開発する際に注意すべき一般的なことに加えて、VRは多くの厳しい制限を課しています。 どのアプリケーションでも、プレーヤーの動き（ヘッドターンまたはハンドウェーブ）にほぼ瞬時に応答するだけでなく、あらゆるジャンルの「クラシック」ゲームの標準要件をはるかに超える安定したフレームレートを確保する必要があります。



Oculus RiftやHTC Viveなどの最新のヘルメットは、パフォーマンスの低下を滑らかにするために設計された多くの特別な技術をサポートしています。 これにより、FPSの沈下を補正し、人為的にフレームレートを上げることができます。 ユーザーエクスペリエンスを向上させる 最終製品開発者に少し余分な自由を与え、最小システム要件を下げます。 しかし、実際にはすべてが完璧です？ これらのテクノロジーはどのように機能し、それらの違いは何ですか？ これについては、この記事で説明します。



通常のゲームでは、多くの場合30 FPSで十分であり、すでに60が優れた指標と見なされている場合、最新のVRデバイスの最小値は90フレーム/秒です（PS4のSony VRでは60 FPSですが、90が公式に推奨されています）。 ヘルメットを着用しているユーザーの快適さのために、フレームレートは安定している必要があり、ゲーム全体で変わらないことを追加することが重要です。 FPSの短期的な低下、たとえばモニターやテレビでの通常のゲームで30に低下することは、まったく気付かれることはないでしょうが、VRの人にとっては、これは没入効果の完全な破壊を意味します。 絵はすぐにひきつり始め、頭の回転に遅れをとり、乗り物酔いと吐き気がプレイヤーに与えられます。 では、これらの悪影響をすべて部分的に排除するにはどうすればよいでしょうか？

交互投影と同期タイムワープ

（インターリーブ再投影と同期タイムワープ）

最初に、このトピックに近い垂直フレーム同期技術についていくつかの言葉を言う必要があります。 最も基本的なモードでは、メインループの各反復のゲームエンジンは、画面に表示される1つのフレームを生成します。 1回の反復に必要な時間に応じて、フレームレートが変わります。 ゲームのシーンとロジックの複雑さも変わります。 この周波数がモニター画像のリフレッシュレートと一致しない場合、多くの場合、画像が「崩れ」始めます。 この効果に対処するために、垂直同期（V-Sync）が使用されます。これにより、エンジンはクロックパルスの後に厳密に新しいフレームを与えることができ、その周波数はモニター上の画像のリフレッシュレート（通常60 Hz）に比例します。



したがって、最大フレームレートは60になりますが、フレーム準備時間が1/60秒を超える場合、次のフレームは1秒ごとに描画され、FPSは1秒あたり30フレームに2回だけドロップします。







前述のように、VRプロジェクトでは、同期へのこのアプローチは適用されません。 一貫して高いフレームレートを維持する必要があります。 しかし、エンジンにも1秒あたり90枚の画像を生成する時間がありません。 そして、ここに交互投影と呼ばれるトリックがあります。 FPSが90を下回ったことをシステムが検出するとすぐに、強制的にゲームのフレームレートを2倍（最大45）減らし、前の画像を基準として、2Dだけ角度を変えて中間フレームを「描画」し始めます。今回はプレイヤーの頭が回った。



したがって、ゲームによって生成される毎秒45フレームでは、90がまだ画面に表示されます！ エンジンが再び独自に毎秒90フレームを配信できるようになると、プロジェクションは自動的にオフになります。







この方法では、頭部の回転は正確に補正されますが、空間での動きは補正されないことに注意することが重要です。 このような2D変換による変位の結果は、結果として生じる視差効果のために取得できません。 しかし、通常、頭の回転はその動きよりもはるかに頻繁に速く発生するため、この方法は非常に効果的です。



このアプローチは、Oculus RiftとHTC Viveの両方で最初に実装されました。 SteamVRでは、インターリーブ再投影と呼ばれ、Oculus SDKでは、同期タイムワープと呼ばれます。

最大のマイナス点は、投影のオン/オフを切り替えた瞬間に、ユーザーが顕著な「驚le」と画像の滑らかさの変化に気付くことです。 さらに、ゲームのパフォーマンスがわずかに低下したとしても、実際のフレームレートはすぐに2倍に低下します.2D変換アルゴリズムがどの程度うまく実装されていても、エンジン自体と同じ精度と滑らかさを提供することはできません。 したがって、後で両方のSDKでこのメソッドが改善されました。

非同期投影とタイムワープ

（非同期再投影とタイムワープ）

Oculusは、非同期タイムワープ（ATW）という名前でこのアプローチを実装した最初の製品であり、公式リリース以来Oculus Riftの主要な製品でもあります。 一般に、考え方は同じです-安定した90 FPSを維持するためにフレームのシーケンスを補完しますが、追加プロセス自体はメインレンダリングから独立した別のストリームに割り当てられます。 各クロックパルスの直前に、ATWは、エンジンによって正常に生成されたフレーム、または新しいフレームがまだ準備されていない場合に再生されている前のフレームの結果のいずれかを表示します。 したがって、次の2つのシナリオが可能です。

1. エンジンがフレームをレンダリングすることに成功-このフレームはそのまま画面に表示され、ATWバッファーに入ります。
2. エンジンはフレームをレンダリングできませんでした。未完成のフレームは、次のVSyncティックまで「遅延」され、ATWバッファーからの前のフレームの2D再生の結果が画面に表示されます。

これにより、ゲームエンジンを人為的に制限することなく、最も能力の高い頻度でフレームを生成できます。 同時に、ATWはゲームを「ヘッジ」し、必要なときに厳密に再投影することでパフォーマンスの低下を補正します。 その結果、再投影モードを変更しても画像の「驚く」ことはなく、エンジンの「有用な」フレームはほとんど破棄されず、一般的にユーザーはより自然に感じます。



ゲーム開発者にとって、このテクノロジーのサポートには費用はかかりません。VRアプリケーションで機能します。 しかし、SDK、OS、およびビデオカードメーカーの側では、このような方法の実装には、かなりの追加の共同作業が必要でした。 GPU用の最新のハードウェアとソフトウェアは、非常に高い帯域幅用に最適化されていますが、ATWに必要なフレームの連続性用には最適化されていません。 Oculusは、Microsoft、NVidia、およびAMDと緊密に連携して、プロセッサーのマイクロコードとGPUコアドライバーを適合させ、ATWのサポートを改善する必要がありました。 これらの拡張機能は、AMDのLiquid VRおよびNVIDIAのVRWorksと呼ばれます。



2016年の終わりに、Valveは非同期再投影と呼ばれるこのメソッドのバージョンも導入しました。 しかし、会社自体によると、すべてがそれほど明確ではないことが判明しました：調査によれば、投影を切り替えるときの特定のジャークと「フリンチ」の減少にもかかわらず、2D変換の結果として定期的にランダムに発生する「偽」フレームもプレイヤーに迷惑として感じられます要因。 すべてが完全に独立しているため、必要に応じてSteamVR設定でこの機能を無効にして、従来の同期再投影に戻すことができます。

非同期スペースワープ

（非同期スペースワープ）

すでに述べたように、説明されているすべての方法はフレームのシーケンスを補完し、プレイヤーの頭の回転のみを補正することができます。 しかし、プレイヤーも横に移動した場合はどうなりますか？ レビューの位置が変わり、視差効果により、従来の2D変換では、信頼性の高い中間フレームを生成するのに十分ではありません。 その結果、FPSが沈下する瞬間にプレイヤーが頭を積極的に動かすと、周囲の「世界」全体がひきつり、震え、没入の効果を破壊します。 この問題を解決するために、Oculusは非同期タイムワープ上で動作する別のテクノロジーを開発し、Spacewarp（英語のスペース-スペース）またはASWと呼びました。



タイムワープとは異なり、ここでは、「中間」フレームを生成するときに、キャラクター、カメラ、VRコントローラー、およびプレーヤーの動きが考慮されます。 ASWは、視点をシフトすることで作成された視差効果を処理し、その結果、遠方のオブジェクトに対して近くのオブジェクトを移動します。 このために、最後にレンダリングされたフレームの追加の深度バッファーが使用されます。ASWは、どのオブジェクトが背景にあり、どれが遠くにあるかを認識します。 その結果、「中間」フレームでは、プレイヤーの動きに応じて視点をシフトできるだけでなく、他のオブジェクトに対するあるオブジェクトの動きをシミュレートすることも可能になります。



もちろん、システムは、近くのオブジェクトによってブロックされたエリアの背後にあるものを見つけることができないため、実際には、対応するゾーンは「ストレッチ」によって周囲の環境から生成されます。 これは、次の図で明確に示されています。







ASWはATWと密接にリンクしており、それぞれがタスクを実行します。 タイムワープは、視聴者から一定の距離にある静止画像に最適であり、スペースワープは、プレーヤーの近くでオブジェクトを移動させる役割を果たします。



また、ASWサポートはWindows 8以降にのみ存在することにも注意してください。 そして、最良の実装はWindows 10でのみ利用可能です。 マイクロソフトがこの方向で追加の作業を実行したのはその中にありました。 HTC Vive向けのこのテクノロジーのアナログはまだ発表されていません。

技術の結論

もちろん、再投影、ATW、ASWは、開発者とエンドユーザーの両方の生活を楽にします。これにより、仮想現実をより現実に近づけ、3Dレンダリングの欠陥を滑らかにできますが、万能薬とは見なすべきではありません。 理論的には、これらの方法はパフォーマンスバーを毎秒45フレームまたはそれ以下に下げることができるように思えるかもしれませんが、実際にはこれは常にそうではありません。 プレイヤーがどのような仮想世界にいるのか、そこで行われているイベントや彼の動きに応じて、ビデオストリームを人為的に「追加」するすべての方法は、さまざまなアーティファクト、ジャーク、画像の「震え」を引き起こす可能性があります。レベル。



ユーザー側では、 Oculus RiftであろうとHTC Viveであろうと、VRヘルメットを使い始めたばかりの場合は、すべてのヘルプシステムをデフォルトでオンのままにしておきます。 システムが最も生産的でない場合、これは特に重要です。 ほとんどの場合、この場合、仮想現実に没頭する体験が最高になり、サポートされるコンテンツの範囲が拡大します。 ただし、すべての人は個人であり、VRについて話すとき、これは二重に真実です。 一方にとって快適なものは、他方で持続的な拒否を引き起こす可能性があります。 そのため、すべてがスムーズに見えるが、時々何かが混乱し、何かが本来のように動いていないことに気づいた場合、乗り物酔い感があります-ASWを順番に無効にしてからATWを無効にして、古典的な再投影に戻ります。 おそらくこれがまさにあなたが必要とするものです。



開発者の側からの主なアドバイスは1つです。最新の再投影方法では最適化にあまり注意を払わず、安定したフレームレートですべての問題を解決できるという事実に頼らないでください。 90 FPSは今でもあなたが努力すべき「ゴールドスタンダード」であり、より弱いシステムやゲームの最も難しい瞬間に余裕を残すことを忘れないでください。 しかし、予期せぬ瞬間にそのような技術がユーザーの「鋭い角」を滑らかにし、いくつかの欠陥を隠し、仮想世界に没頭することを完全に楽しむことができることを認識することはまだ素晴らしいことです！