World of TanksのOculus Riftのmodの作成方法

背景

約1年半前、DK1はMinskスタジオWargamingの開発者の手に渡りました。 1か月後、Team FortressとQuakeでFull 3Dで十分なプレイをした全員が、Oculus in the Tanksにパッチを当てるというアイデアを思いつきました。 Oculusを使用したプロセス、結果、落とし穴について-以下をお読みください。



World of Tanksでは、一定数のゲーム周辺機器をサポートしています。これにより、プレーヤーのUX（振動スケールなど）が拡張されます。 しかし、20億ドルのOculus Riftの登場により、プレイヤーの席を喜ばせるだけでなく、新しい「アイキャンディー」を贈る時期でもあると判断しました。



正直なところ、誰がそれがどのように見えるべきか、どのようにプレーヤーを助けるかを知りませんでした。 modを開発するタスクは、彼らが言うように「ちょうどlulzのために」設定されました。 ゆっくりと、脳が主なタスクについて考えることを拒否すると、統合に着手しました。OculusSDKをダウンロードし、インストールして、例のソースコードの処理を開始しました。



仕事は最初の開発キットの使用を開始しましたが、これは精神的にはやや危険でした。 実際、最初の開発キットの画面解像度は非常に低かったです。 幸いなことに、私たちはすぐにHDバージョンを手に入れました。

SDK

DK1のSDKバージョン0.2.4で開発を開始しました。 次に、HDプロトタイプを受け取るときに、SDKの新しいバージョンは必要ありませんでした。 そのため、90％の時間をかなり古いものの、それにもかかわらず、ニーズに合ったSDKバージョンを使用しました。 その後、Oculus modの作業がほぼ完了したときに、DK2が登場しました。 そして、古いSDKはもはや彼には適さないことが判明しました。 しかし、これは本当に問題なのでしょうか？ すでにバージョン0.4.2の新しいSDKをダウンロードします。 突然、彼は完全に書き換えられたことが判明しました。 デバイスのラッパー全体をほとんど変更し、さまざまな変更を加える必要がありました。 しかし、最も興味深いことはレンダリングで起こりました。 以前のピクセルシェーダーが非常にシンプルだった場合、新しいバージョンでは変更されて複雑になりました。 そして、欠点はレンズです。 このような決定が行われた理由はわかりませんが、レンズの副作用はひどい色収差であり、視野の端から中心に向かって減少します。 この欠陥を修正するために、ピクセルシェーダーが書き直されました。 解決策は少なくとも奇妙です。奇妙な工学的解決策のためにアプリケーションのパフォーマンスを低下させることです。 しかし！ 探究心と機知は銀河を救います：DK1とHD PのレンズはDK2にとっても優れていることが判明しました。 また、副作用もありません。 行くぞ

初期化

デバイス自体の初期化、コンテキストの取得のプロセスは、例から完全に転送されます-Ctrl + C Ctrl + Vの動作 ここには落とし穴はありません。

レンダリング

デバイスの立体画像は、2つの異なる角度からシーンをレンダリングし、それぞれの画像を対応する目に提供することにより、古典的な方法で取得されます。 詳細については、 こちらをご覧ください 。



これに従って、立体画像を構築するための最初のアルゴリズムは次のとおりでした。



1.マトリックスのインストール



目ごとにわずかな変位でレンダリングする必要があるため、最初に元のビューマトリックスを変更する必要があります。 各目に必要な変換マトリックスは、Oculus Rift SDKによって提供されます。 変更は次のとおりです。



•追加の変換のマトリックスを取得します。

•転置（Oculus Riftは異なる座標系を使用します）。

•左の行列に元の行列を掛けます。



2.マトリックスを変更して2回レンダリングする



左目のビューマトリックスを変更し、レンダリングコンテキストに設定した後、通常どおりにレンダリングします。 その後、右目用にビューマトリックスを再度変更し、レンダリングコンテキストで公開して、再度描画します。



3.レンズ歪みのポストエフェクト



視覚認識ゾーンをより完全に満たすために、Oculusはオブジェクトのジオメトリの歪みという形で副作用を与えるレンズを使用します。 この効果を抑制するために、追加のポストエフェクトが最終レンダリングに適用され、画像を反対方向に歪めます。



4.最終画像を出力する



最後に、両眼のレンダリングを組み合わせて画像を形成します。各眼は、画面の対応する半分に描画され、それらにポストディストーション効果を適用します。

課題

開発中、私たちはすぐに、ゲームでのORの作業に関する明確で完全に機能するガイドラインがないことをすぐに発見しました。 ORサポートを使用して複数の異なるゲームを実行する場合、各ゲームには、oculusで異なるインターフェイスとコントロールの実装があります。 私たちが知る限り、Oculus Riftの開発者は厳密な要件とルールを特に作成していません。 彼らのアイデアは、ゲーム開発者が自分で実験することです。 このため、開発プロセス中に、Oculusとの統合を複数回やり直す必要がありました：すでに準備ができているように見えますが、ある時点で何かが正しくなく、何かが煩わしく、その結果、ロジックの半分を捨てなければなりませんでした。



さらに2、3の機能を追加しました。 まず、World of Tanksでは、カメラは基本的に戦車の上にぶら下がっており、このモードでの眼球の頭の回転は設計上、実際の世界の経験に対応していません。 あなたが運転している技術にあなたの人生をかけることはできません（そして時にはそれはとても役に立つかもしれません...）。



さらに、World of TanksはPvPゲームであり、すべての戦闘で29人の他の15人のプレイヤーと対戦します。 その結果、Oculusはユーザーの戦闘スキルにそれほど打撃を与えるべきではありません。 このニュアンスは、開発中に追加のトラブルを追加します。 少し脱線して、一般的なマルチプレイヤーゲームでのOculus Riftの適用性を考慮すると、このデバイスはすべてのクラスのゲームに適しているわけではありません。 Quake 3およびTeam Fortress 2レベルのダイナミクスを使用するプロジェクトでは、oculusは良いことよりも害を及ぼすことがあります。 Oculusでは、人の目を通して世界を見ているように見えますが、そのようなゲームの動きのダイナミクスは現実とはまったく異なります。 すでに述べたように、ゲームで一人称カメラを使用しない場合、空間の向きに問題があり、周囲を見回すと何をしているのかが完全にはわかりません。 まず第一に、Oculus Riftは、プレーヤーの没入感が最前線にあるシングルプレーヤーゲームに適用可能であり、「不便」を伴う制御も許容されるようです。

一般的なUIの問題

ただし、他のほとんどのゲームと同様、このゲームでは、UIのほぼ全体（格納庫と戦闘の両方）が画面の両側に配置されています。 また、追加の変更を行わずにUI出力を生成すると、次の問題が発生します。 Oculusの設計上の特徴により、画像の中心部分のみが視野に入ります。 そして、UIは、この部分に落ちません（または部分的に落ちます）。











ここに、私たちが試したこの問題を解決するいくつかの方法があります。



1.インターフェイスを縮小して、画面の中央に表示され、スコープ内に収まります。 これを行うには、別のレンダーターゲットに出力し、後処理中にそれを課す必要があります。



この方法はUIの可視性の問題を解決しますが、情報コンテンツと可読性を壊滅的に低下させます。



2. Oculus方向マトリックスを使用してUIを配置します。つまり、ユーザーが3DシーンだけでなくUIも検査できるようにします。



この方法には、最初の欠点はありません。情報の内容と読みやすさは、デバイスの解像度によってのみ制限されます。 しかし、欠点があります：通常のアクション（カルーセルで戦車を見る、シルバーのバランスを確認するなど）を実行するには、多くの頭の動きが必要であり、前の動きに続いて、3DシーンのUIとカメラの動きを同期させることは困難です。



3.前の方法を組み合わせます。つまり、 インターフェースを「スケーリング」すると同時に、検査する機会を与えます。 主な問題は、スケールのそのようなパラメーターの選択です。これにより、テキストの読みやすさが維持され、多数の頭の動きを取り除くことができます。



最初は、格納庫と戦闘のインターフェースを分離しませんでした。 さらに、UIを検査するためのOculus方向マトリックスの使用は、戦闘インターフェースに触発されました。 可視領域のほぼ全体が3Dシーンで占められており、これは正しいように見えましたが、自分の戦車の「強さのユニット」の数やミニマップからの仲間/敵の位置を見つける能力の欠如は、フル3Dで元気いっぱいの戦車チョッパーを楽しませることには寄与しませんでした。 そこで、「検査済み」UIについて考えました。たとえば、ミニマップを表示するには、頭を少し傾けたり傾けたりする必要がありました。これは、ゲームのインターフェイスを知っている人にとっては完全に自然な動きです。 そして、私たちが説明した問題に出くわしました：ミニマップ、戦車の人形、貝殻の数を求めて絶えず頭を回転させた後、首が痛くなり始めました。



前述のように、ハイブリッドバージョンの使用が進化しました。現在、インターフェイスの一部が最初に表示され、完全な検査のために、ヘッドによって小さな「微調整」のみが必要になりました。



問題は解決されたように見えますが、私たちの出版社の人たちを見て、このオプションも却下しました。



情報を取得するための動きの自然さにもかかわらず、積極的なアクションを実行するために頭を回してすぐに元の位置に戻る必要性は、不快であり、ゲームから喜びを得るのを妨げると考えられていました。 格納庫にはアクティブなアクションがないため、ハイブリッドオプションを残すことが決定されました。HDプロトタイプが間に合うようになるまでに、小さなUIスケールで適切なテキスト品質が得られました。



同じHDプロトタイプでは、解像度が向上したため、より多くの3Dシーンが可視領域に配置され始めました。 戦闘UIを使用した実験を停止し、静的であるがカスタマイズ可能にして、ランタイムで要素の位置とサイズを直接変更できるようにすることにしました。



これらの問題を解決するとともに、もう1つのポイントについて考える必要がありました。UIの一部の要素は、他の要素（方向インジケーター、テクニカルマーカー、観光スポットなど）と一緒になってはいけません。 レンダリングの順序を調整する必要がありました。インターフェイス要素の一部が3Dシーンとともに描画されるようになりました。

カメラ管理

Oculusは画像出力デバイスだけでなく、入力デバイスでもあります。 入力は、空間内のデバイスの方向の四元数（DK1およびHD P-マトリックス）です。 そのため、このデータをUIの配置だけでなく、カメラ制御にも使用したいと考えました。

格納庫

格納庫では、カメラの制御方式は次のように作成されました。タンクの傾斜角と「セルフィ​​ースティック」の長さはマウスで制御されます。 この「スティック」の最後に、Oculusを使用して方向を制御できるカメラがあります。周囲を見て、戦車だけでなく周囲の領域も調べます。

アーケードモード

アーケードモードでは、マウスの回転は、以前と同様に、照準が行われる座標系を回転させ、頭部はこの座標系の眼球内で回転します。

スナイパーモード

当初、私たちは頭で狙う機会を作りました。 しかし、射撃の精度が低く、首に負荷がかかり、マウスと頭の動きを同期させるのが難しいため、頭の回転速度と戦車の砲塔のため、彼らはすぐにこのアプローチを放棄しました。



その後、彼らはある種のTeam Fortress照準システムを作成しようとしました。カメラは頭の動きによって制御されますが、視界はマウスでしか動かせず、より的を絞った射撃のために視界を動かすことができるスペースがあります。 プロトタイプは悪くありませんでしたが、使用の難しさは残りました。



そのため、カメラは頭とマウスで制御される、最も簡単で効果的なオプションについて説明することにしました。 つまり、頭が動いても照準点は変わりません。カメラの方向だけが変わります。 また、マウスが移動すると、照準点とカメラの方向が変化します。

戦略モード

当初、Oculusを使用してアートをプレイすることは計画されていなかったため、戦略モードに改善はありません。

ガンナーモード

Oculusを入力デバイスとして使用する他の方法に関するアイデアを使い果たした後、デバイスの長所と短所について議論し、プレイヤーが仮想3Dの世界で自分を仮想戦車ではなく仮想人として想像する方が簡単になることを提案しました。 そして、彼らは戦車での役割を強調することにしました。プレイヤーは試してみたいと思います。この役割は射手の役割でした。 戦車のノードに取り付けることができるカメラが既にあったので、残っているのは、プレイヤーが戦車の内部や樽を通して見ることができないように、位置を調整して視野を制限することだけでした。 テストでは、人気とHDでのモデル開発時の可用性のために、2つの戦車ISとTiger Iを選択しました。 実装には数日しかかかりませんでしたが、最終的にモードはゲームプレイの面で最も面白くて珍しいことが判明しました。



これまでの政権の名前は「浮動」です。誰かがそれを「砲手のカメラ」と呼び、誰かがそれを「司令官の砲塔のカメラ」と呼びます。 このモードの主な機能は、その中のカメラが実際の戦車タワーの座標系にハングアップすると同時に、Oculus Riftを使用してヘッドターンが許可されることです。 プレイヤーの戦車全体が隠れていないため、車の大部分を見ることができます。 しかし、この観点では、タンクは数十メートル離れたカメラを通してよりもはるかに印象的です。 同時に、このモードでカメラをマウントするタワーのポイントの問題が発生しました。 ISおよびTiger Iについては、ハードコードオプションを作成しました。その中のカメラはバレルの隣にマウントされます。 自動モードで残りの数百の戦車のポイントを生成するのは簡単ではなく、手動処理には時間がかかりすぎます。 このため、キーを使用してカメラの位置を手動で調整するオプションは残されています。

結論

Oculus Riftは非常に興味深いデバイスであり、ゲームに新しい感覚をもたらします。 しかし、よくあることですが、そのようなデバイスの生産準備の整った統合を作成することは、決して数日の問題ではありません。 既存のゲームにサポートを組み込むことにした場合（元々VRで作成されたものではありません）、次のものが必要になります。



1.ゲーム内メニューの部分的な変更。 仮想空間に完全に統合することを拒否した場合でも（要素をゲームオブジェクトに投影し、現実世界の座標に配置するなど）、メニュー表示を調整する必要があります。



2.直接的なゲームプレイUIの強力で、おそらく根本的な変更。 Oculus Riftには最大の解像度はありません。HUDをゲームから取り出してOculusの目の前に置くと、インターフェイス要素が占めるスペースが大きくなりすぎます。 さらに、「目の前を飛ぶ」という感覚は去りません。 つまり、UIをカットし、目に何かを置き、背中に何かを置く必要があり、これにはUIが頭の回転に反応する必要があります。 ゲームオブジェクト（コックピット、ヘルメットなど）に投影された戦闘UIは、レンダリング時に画面上でピクセルを占有しすぎる可能性があり、そこからの情報コンテンツはありません。



3.ゲーム用カメラのアーキテクチャは拡張可能でなければなりません。 Oculusは、画面上の画像出力デバイスであるだけでなく、頭の向きの入力デバイスでもあります。 そのため、このデータを何らかの方法でゲームカメラに「プッシュ」する必要があります。 また、見回す機会が必要な場合、ゲーム内の照準システムはカメラの向きに依存しない必要があります。 私たちの場合、たとえば、砲手のカメラは、狙撃モードとアーケードモードのロジックの構成によって取得されます。 また、レビューロジックと照準ロジックを分離することで、Oculusを既存の制御モードに統合しやすくします。



4.最後になりますが、同様に重要です。Oculusには、それに固有の管理システムが必要です。 眼球での動きがマウスでの動きと同じである実装は適切でない場合があります（このオプションは、おそらく、パイロットの頭を回すロジックが通常とにかく実装され、コックピットからの眺めがメインモードであるフライトシミュレーターにすぐに適合します）レビュー）。



つまり、Oculusの利点は次のとおりです。

•協力のための十分な開放性。

•SDK開発。

•PR;

•ジョン・カーマック（笑）。



短所：

•ゲームプレイの統合に関する一般的な推奨事項の欠如。

•0.4.2の色収差を伴う奇妙さ。

•サードパーソンゲームでの知覚の難しさ（特に、ヒーローがヒューマノイドではなく戦車の場合）。

•すべてのヘルメットに共通する問題：

• フォーカス
• 画面解像度（HDバージョンでも（sic！））;
• 長時間の使用による不快感（首+頭痛）。

このリンクから mod自体をダウンロードできます。