写真測量法を使用してゲーム用の石を作成する

セバスチャン・ファン・エルバーディングは、多くの写真の助けを借りて、見事な三次元の石と岩を作成する彼のアプローチについて話しています。 詳細については、 gumroad.com / sebvheのチュートリアルをご覧ください 。

はじめに

こんにちは、私の名前はセバスチャンです。私はブリュッセルに住んでいます。最高のフライドポテト、ビール、チョコレートの故郷です！ 現在、Starbreeze Studios（ストックホルム）で環境アーティストとして働いています。 私はForza Horizo​​n 3のプレイグラウンドゲームで働いていました。これは、AAAクラスのゲームで写真測量を使用する絶好の機会でした。







過去4年間、写真測量の実験を数多く行ってきました。 すぐに、私はテクスチャとマテリアルの研究を始めましたが、それについてはほとんど知りませんでした。 約1年前、写真測量法を使用してテクスチャを作成する方法に関するチュートリアルをリリースしました。



執筆以来、私のワークフローは少し変わりましたが、このチュートリアルはこれから説明する内容にも適用されます。 このインタビューで理解できないものを見つけた場合、おそらくチュートリアルで詳細な説明を見つけるでしょう。





2014年の最初のシームレススキャン（左）と最後のスキャンの1つ（右）

写真測量

通常、人々は写真測量法を静的にスキャンされたメッシュ（メッシュ）をゲームに転送する方法として認識しています。 環境スキャンで作業するとき、彼らは常に、ユニークな非反復グリッド上の4-16キロピクセルの側面を持つ巨大なユニークなテクスチャを扱います。 その好例がUE4 Kiteデモです。 しかし、カイトなどの映画用ビデオに適したものは、特に大きな表面でのリアルタイムでの使用にはまったく適用できません。







UE4 Marketplace Rock Texture Setで作業していたとき、これは私にとって重要でした。 小さな岩の多い峡谷を作っていると想像してください。 間違いは、4〜8個の大きな岩のセットをスキャンし、そこから峡谷を組み立てようとすることです。 その結果、一辺が4キロピクセルの4つのユニークなテクスチャを取得する可能性があります。 代わりに、高さマップに美しいシェイプを書き込むことにより、非常に優れたシームレスな石のテクスチャを作成するよう努めています。 次に、非常に単純なキャニオングリッドを作成します。これに対して、結果のテクスチャに基づいて変位を適用します。 このようにして、岩に1つの4kテクスチャのみが使用されているシーン全体を取得します。





UE4でオフセット付きのキャニオンエンベロープグリッドをすばやく作成し、1つのシームレスな石のテクスチャと美しさのための雪を使用します。



高さマップに基づいて3Dエディターで事前に簡単にオフセットを実行し、テッセレーションを使用する代わりに最適化されたグリッドをインポートできます。 選択は、環境の重要性と利用可能なリソースに依存します。



この方法は、メモリの消費量がはるかに少なく、（複数のグリッドをスキャンするのに比べて）非常に短い時間で済み、設計をはるかに高速に反復できると考えています。 シーンを砂漠の峡谷に変えたい場合は、砂漠の岩のテクスチャを1つスキャンするだけで十分です。





バイオームを置き換えるためにスキャンする必要があるグリッドの数を想像してください。この場合、必要なテクスチャは1つだけです（さらに雪、砂、または苔）。



ただし、ステッチを非表示または削除することをお勧めします。 私のテッセレーションマテリアルを使用すると、100％の縫い目を削除できます。



最終的に、写真測量法は非常に柔軟である可能性があり、従来の「ハード」な使用法の外側で考える必要があります。

テクニック

実際、カメラとコンピューター以外は必要ありません。 良いアナロジー：ギターを演奏するために、ギブソンを2,000ドルで必要とせず、シンプルなギターで100ドルで多く達成できます。 最終的に、職人技は機器以上のものを意味します。 写真測量で作業するときは、非常にシンプルな機器を使用します。 アップグレードしたいと思いますが、これまでのところ、貧弱な機器の制限がスキャンの質の低さを改善するためのトリッキーな方法を見つけるのに役立ったと思います。





市場で最も安価なDSLRの1つであるCanon 100D / Rebel SL1で費やしたすべてのスキャン作業は、たった約400ドルです。



ただし、スキャンの品質を改善するにはある程度の努力が必要です。

1. 手動露出：技術的には、自動設定で低品質のカメラを使用することは可能ですが、実際には、手動露出の不足は非常に限られています。 すべての写真の設定が同じである必要があります。そうしないと、カメラは暗い写真を補正し始め、ソフトウェアが写真を相互にリンクすること、および照明情報を削除することがはるかに困難になります。 現在、ほとんどすべてのカメラと携帯電話に手動シャッター機能があります。
2. 優れたSDカード/高速な書き込み：最初はそれほど明白ではありませんが、世界を変えることができます。 長い間、私は遅いSDカードを使用し、ショットの間に約5秒待たなければなりませんでした（カードのバッファメモリがいっぱいになるとすぐに）。 数百フレームを撮影する場合、ショット間の5秒が非常に長くなります。
3. RAWファイル：これがDSLRをお勧めする主な理由です。 RAWファイル形式には、通常のJPG（圧縮アーティファクトもある）よりもはるかに多くの情報とダイナミックレンジが含まれています。 これにより、画像の前処理、品質の向上、カラーバランスの達成、ビネットの除去が可能になります。
   
   
   
   さらに、スキャンを処理する前に照明に関する情報を減らすことができるため、処理後のこの情報の削除が簡単になります。 RAWファイルは非常に大きくなる可能性があるため、SDカードを選択する際にはこれを考慮する必要があります。

そして今、私が使用していない機器について：

1. 三脚：そうです、少なくとも屋外で撮影するときは、三脚を使うことはめったにありません。 これは私の個人的な選択です。 私にとっては、大口径よりも速いシャッタースピードがより重要です（これについては後で詳しく説明します）。 誤解しないでください、三脚を使用すると確かにスキャンの品質が向上しますが、欠点があります-時間、各ショットに三脚を設置するのに多くの時間がかかります（そして数秒でさえ非常に大きな量を与えます）。 屋外で撮影する場合、照明条件が理想的となることはめったにないので、通常は、スキャン時の照明条件の段階的な変化を避けるために、できるだけ迅速に（ただし手間をかけずに）努力します。 屋内でスキャンしている場合、または照明条件が安定している場合、三脚を使用しない理由はありません。 さらに、おそらくあなたのために費やされた時間と品質の間の良い妥協は一脚になる可能性があります。
   
   
   
   
2. カラーキャリブレーター（カラーチェッカー）：コストが高いことを除いて、使用しない正当な理由はありません-X-Rite Passportで約100ドル。 カラーキャリブレータは、正しいカラーキャリブレーションを提供します。 すぐに自分で購入します。
   
   
   
   
   
   
3. クロムボールとHDR照明に関する情報を削除するためのすべての機器：私の意見では、これは少なくともテクスチャの場合は時間とお金の無駄に過ぎませんが、360度の大規模なスキャンには役立ちます。 デフォルトでは、テクスチャをスキャンする場合、削除するサーフェスはほとんどの場合一方向に見え、スキャン全体の照明はほぼ同じです。 Photoshopでの数分間の作業で照明の残りを取り除くことができ、HDRI照明に関する情報の削除に時間を浪費することはありません。

コンピューターについて話しましょう。標準的なゲーム用デスクトップコンピューターがあれば、処理に問題はありません。 少なくとも16 GBのRAMと適切なグラフィックカードを搭載することをお勧めします。 私はGTX670と16 GBのRAMを使用しています。これはかなり標準的なセットです。 おそらくボトルネックはメモリになります。

照明

路上では制御できないため、適切なタイミングを待つ以外に選択肢がないため、適切な照明を実現することは非常に困難です。 一般に、次の2つの点を回避する必要があります。

1. 雨：スキャンするときは、乾燥している必要があります。 素材によっては、雨が反射するか暗くなることがあります。
   
   
2. 条件の変化：均一で曇りの良い空が見つからない場合は、晴れていても少なくとも何か安定するように努力します。その場合、日陰で何かをスキャンできます。 雲の移動は、文字通り数秒で明るさを劇的に変化させる可能性があるので、避けてください。

これは最悪の例の1つです。



あなたの目標は、均一で非常に明るい曇り空です。 あまりにも長く待たないでください、それを得る可能性はそれほど高くありません！

良い素材を得るために通常何枚の写真を撮る必要がありますか？

ショットの数は、使用するソフトウェア（後ほど）、スキャンする表面のサイズ、および目的の詳細レベルに大きく依存します。 必要以上に写真を撮る方が常に良いです。



もちろん、オーバーレイは重要です。 写真測量ソフトウェアは、異なる画像の特徴を比較して、フレームの空間位置を決定します。 したがって、いくつかの画像は同じ部分を持っている必要があります。































だから、あなたはどこから始めて、見つかった表面をスキャンしたいですか？



覚えておいて、狭い口径を高いシャッタースピードに変更するので、三脚を放棄できると言ったのですか？ 私は常に上から下に撮影するので、ぼけがほとんどない狭い被写界深度を買うことができます（ただし、ここでは靴でフレームに入らないように注意する必要があります！）。 これは最良の結果を提供するだけでなく、被写体がフレーム全体でカメラからほぼ同じ距離にあることを意味し、被写界深度のぼやけの量を減らします。 もちろん、これは比較的平坦な表面のスキャンに適用されます。





出典：Agisoftユーザーガイド



そして今、オーバーレイのために：自分がGoogle Earth地図製作者であると想像してください。まず、地球全体、最初のショットでオブジェクト全体をキャプチャし、さまざまな詳細レベルを追加します。 まず、少なくとも8つ以上のグローバルショットを撮ります。 恐らくそれらは上から下まで作ることができず、心配することなく、オブジェクトの周りを移動するだけで、より正確に被写界深度で移動できます。 これで、各写真に、以下のより正確な写真が添付される表面のすべての特徴的な特徴があります。



次に、最初のズームレベルを作成する必要があります。上から下に、サイズの約1/4の写真を撮ります。 それらが互いに50％以上重なり合うようにします。 表面の1 / 8、1 / 16などについて再度繰り返します。これはすべて、必要な詳細レベルによって異なります。



このような操作アルゴリズムにより、近くの画像が隣接する画像と混ざり合わないようになります。バインディングのために、前のレベルの詳細に依存できます。



もちろん、実際にはすべてを目で見ているので、巻尺を携帯する必要はありません。 さらに、この原則は常に機能するとは限りません。たとえば、砂をスキャンする場合は、スキャンプロセス中に砂を踏むべきではありません。 しかし、この原則を常に覚えておくことは良いことです。







この例では、一般的なショットは青で強調表示され、上から下へのショットの最初のレベルは緑で表示され、上から下への他の詳細ビューは赤で表示されます。

ソフトウェア

Agisoft Photoscanとかなり新しいReality Captureパッケージの2つの主要な競合他社があります。 主にPhotoscanを使用していましたが、最近Reality Captureの使用を開始しました。 一方が他方よりはるかに優れているとは言えませんが、最近、業界はReality Captureに傾いているようです。



各パッケージの長所と短所を次に示します。 忘れないでください、私はまだReality Captureにかなり慣れていないので、いくつかの点で誤解される可能性があります。

	Agisoftフォトスキャン	リアリティキャプチャ
長所	優れたドキュメントとオンラインチュートリアル	処理がめちゃくちゃ速いので、コーヒーを飲む時間すらありません！
	スナップ後に不要なポイントを削除する優れたフィルタリングツール。 Reality Captureほど多くの穴を開けていないようです	シンプルなコンピューターで何千ものショットを処理できます
	私の意見では、Agisoftのテクスチャ品質は少し良くなっています。	プログラムは決して落ちませんでした、それは言及する価値があるほどまれです
	スタンドアロンのライセンスはかなり安く、179ドルで、長期的に見るとReality Captureよりも安い。
短所	かなり遅く、大量のRAMを使用し、平凡なコンピューターでは、スキャンの解像度をほとんど調整できます。	より多くの穴を作成し、もう少し手動でスナップする必要があります。 ただし、ここでの問題は私の設定にあり、まだ不完全です。
	コンピューターがすべてを処理できない可能性があるため、写真を慎重に選択する必要があります。	ほとんどのパラメータは非常に神秘的であり、ドキュメントと例がありません。
	同じ理由で、超高解像度グリッドを実現することはほとんど不可能です。	ワンクリックソリューションアプローチに似すぎます。 機能する場合は便利ですが、機能しない場合は、修正時に多くの問題が発生します。
		サブスクリプションシステムにより、長期的に（6か月から）より高価になります。

Reality Captureを開始することを初心者にアドバイスする価値があると思います。画質が悪い場合はより寛容です。また、Agisoftがコンピューターで提供できない低品質の画像を高画質で補うことができます。



ただし、時々写真測量を使用する予定がある場合は、おそらくAgisoftのスタンドアロンライセンスを選択する方が安価です。

特徴

優れた芸術的ビジョンを事前に考慮しないと、見事な詳細スキャンがゲームで美しく見えない場合があります。



最も重要で難しいことはタイリングです。 特にスキャン用のサーフェスを検索する場合は、常に覚えておく価値があります。 多くの人が私に尋ねます：「テクスチャを配置するより速い方法はありますか、それは例えばSubstanceを使用して自動化できますか？」



90％のケースでは、この方法は違います。



このような方法の存在に対する信念は、タイリングはステッチの除去であるという信念から生じたと思います。 はい、おそらくそうですが、テクスチャ結合プロセスの10％未満です。 実際の作業は、表面の周波数と特性のバランスを取り、繰り返し繰り返してもテクスチャがきれいに見えるようにすることです。 ほとんどの場合、これはまだ自動化できません。



おそらく、このプロセスは「配置」ではなく「接続」と呼ばれるべきです。



縫い目だけに焦点を合わせたり、テクスチャの断片を動かしたり、あまりにも目立つ小石を除去したりしないでください...





「継ぎ目を取り除く」だけでは、長い岩（左）から正方形のシームレステクスチャ（右）に移動することはできません。



Photoshopでテクスチャをシームレスにする方法により、特に5,000万ポリゴンのメッシュで作業する場合、3Dエディタと比較してオブジェクトを非常に簡単に移動できます。



必要なすべてのカードを焼くためのテクスチャオフセットを除き、私はほとんどZBrushを使用しません。 時々私はいくつかのアーティファクトをすばやく修正できますが、通常これは起こらず、ZBrushでは何もしません。

照明情報を削除する

3Dオブジェクトをスキャンする場合、照明を取り除くことは非常に大きな問題です。 テクスチャについては、それほど重要ではありません。 ほとんどの場合、この問題は迅速かつ簡潔に解決されます。 最も重要なことは、スキャン時に均一な照明を使用することです。 達成できた場合は、AO（アンビエントオクルージョン）カードを使用して、拡散カードからブラックアウトを削除します。 その後、いくつかのフラグメントを手動で修正する必要がある場合があります。







30分以上照明情報の削除に費やすことはほとんどありません。

法線マップ

法線マップは非常に簡単に作成されますが、注意すべき点が2つあります。

1. オーバーハングを避けてください：撮影中もこれを覚えておいて、飛行機で移動するときにどのエリアが間違っているかを把握し、とにかく撮影することにした場合の修正方法を知っておく必要があります。 チュートリアルで説明したように、ほとんどの問題は特別な低ポリゴンモデルを作成することで解決できます。 しかし、これはトリッキーな問題です。プロセスのかなり遠くまで登るまで気付かないかもしれません。 私の最初のスキャンでは、張り出しに起因する多くの捻rainがありました。
   
   
   
   
2. 
   
   最初のスキャンでの張り出しの例。 私が現在使用している特別な低ポリゴンメッシュはこれを修正します。
   
   
   
   スキャンが非常に細かい法線マップに対して十分に詳細であると期待しないでください。 アルベドを法線マップに変換し、スキャン法線の上に小さな部品を置くことにより、高周波部品を再生成する必要があります。
   
   

適切な種類のマテリアルを選択するために、反射マップを使用することが重要だと思うのはなぜですか？

非常に難しい質問です！



PBRはゲームで広く使用されているため、アーティストの意見は分かれています。 一部の人々は、システムを100％正確にしたいので、反射マップを使用する価値がないと主張しています。 技術的には間違っているものの、一部のオブジェクトはより良く見えると言う人もいます。 両方とも正しいと言えますが、特定のケースでは反射マップを使用する傾向があります。 さらに、おそらくあなたが思うほど不正確ではないでしょう。 説明させてください：



有機テクスチャを平面に焼き付けると、非常に複雑な形状、葉、小さな小石などを単純化しすぎてしまいます。







これらすべての不規則性は、単純な粗さと法線マップでは模倣できません。 これの主な理由は、これらすべての小さな詳細が互いに影を落とすことです。 光は苔の複雑なパターンに「絡み合って」おり、反射して戻ることはできません。



テッセレーションはこれらの小さな影を取り戻すことができますが、細かい部分については十分ではありません。



AOカードでこの問題を解決できますか？



はい、おそらくですが、AOカードの問題は、グリッドの影付き部分でのみ実際に機能し、直接光で照らされたすべての部分が非常に平らで「プラスチック」のままであることです。



反射マップを使用すると、複雑な有機フォームの複雑な動作を簡単にシミュレートできます。





反射マップなし（左）と反射マップあり（右）。 反射マップを使用すると、ごみや非常に小さな小石がプラスチックに見えないことに注意してください。



同時に、反射マップを慎重に処理する必要があります。 なぜそれをしているのか、その背後にあるロジックを常に理解してください。 反射マップの必要性も、使用するエンジンに大きく依存しています。



反射マップを使用する場合、変更する反射の量を制御するために、線形補間を使用してその一部のみを入力に渡します。



テクスチャには数分しかかからないため、常に反射マップを作成しますが、その結果、主に草やコケなどの特別な場合にのみ使用します。







私の他の作品はArtStationで見ることができます！



セバスチャン・ファン・エルバーディング、スターブリーズスタジオの環境アーティスト。