_{高解像度-クリックで}

こんにちは、Habr！

この投稿では、 The Foundryの Nukeという素晴らしいプログラムについてお話したいと思いますが、これについてはこの投稿で既に説明しましたが、3Dグラフィックス全般、特に3D合成から遠く離れた読者から多くの質問を投げかけました。

2つの文で説明すると、Nyukは合成と後処理の世界標準であり、職人以外の予算で大多数のハリウッド映画の主要なツールの1つでした。

私が言えること-アバター、トロン：レガシー、トランスフォーマー、ウォッチメン、ロードオブザリング、その他のハリウッドの大ヒット作のほとんどは、核で作られました。

私は約3年前に彼に会い、すぐに彼に恋に落ちました。これは、これまでに見た中で最も巧妙なプログラムの1つです-使用されるアプローチと使いやすさの両方の面で。

この投稿はレッスンではありませんが、それが構築されている概念と原則の指についての説明です-どのような動物であるか、なぜ必要なのか、何で食べられるのか、そしてどれだけ美味しいのか。

投稿を書く過程で、私が説明したいことはすべて、どの投稿にも一連の記事にも収まらないことに気付きました。投稿は長いことが判明しましたが、これは氷山の一角です-それは私が共有したいすべての0.01％未満を説明しています。

面白い？

猫へようこそ！ ご注意 多くのトラフィック、ジョブ、ダミー、およびかまれたUFO。

はじめに、このプログラムを最も明確に表すビデオをいくつか紹介します。

小さなコメント ：Photoshopと比較していくつかのことを説明します。すべての読者に馴染みがあるため、合成ソフトウェアと比較することは意味がありません：それに慣れている読者はほとんどおらず、誰もが私なしで知っている馴染みのある読者です。

2番目の小さな発言 ：カルマを受け取り（ありがとう！）、最も適切なブログに転送しました。この場合、これは「3Dグラフィックス」ではなく「画像処理」です。これは、この特定の投稿の素材が彼に適しているためです。Nyukは主にビデオ処理用に調整され、膨大なツールを備えていますが、画像-単一のフレームのように。 3Dグラフィックスでは大きな意味を持ちますが、それなしでは違います。

これは何ですか

遠くから始めましょう。

むかしむかし、最初の7つの最大値、スキャンラインレンダーの優位性、そして私の子供時代、3Dパッケージ（たとえば、3ds max）の終了時に、当時はクールに見えたが、今は何もない、笑顔を除いて、引き起こさないでください。

大規模なスタジオ（ILM、Weta、Pixar、DreamWorks、Digital Domain、Blurなど）では、パイプラインと呼ばれる「分業」を使用しました。昔から、モデルやジオメトリを作成する人もいれば、テクスチャを描画する人もいます。 3番目のアニメーション、4番目のレンダリング、5番目は合成、ポストエフェクト、および後処理に従事し、6番目は販売され、7番目は映画館からの興行収入を受け取ります。

レンダリングから後処理までのパイプラインの部分、つまり、合成、後効果、および後処理（VFXと総称）に興味があります。

このすべてのアクションの目標は、カメラから取得した2次元画像（ジョブとティーポットを見て）に3次元オブジェクトを可能な限り統合し、このオブジェクトがそこにあるような錯覚を作成するか、いくつかの異なる3次元シーン（または1つでも）を収集することです）、最後に、すべてを完成した外観にする-視聴者が見るもの（たとえば、映画館で）。

このアプローチの技術的要素は、次の原則に基づいています。

シーンを計算した後、3Dパッケージは最終画像ではなく、パスと呼ばれる「半製品」の「スープセット」を出力します。これは、オブジェクトの色、グレア、反射/屈折、照明、影、アンビエントオクルージョン、深度、あらゆる種類のマスク、さらにはデータパス（少し後）で、ピクセルの色が何らかの値（たとえば、ワールド座標でのこのピクセルの位置、または移動の方向と速度）をエンコードします。

なんで？

さて、なぜ、あなたはすぐにjpeg形式で完成した画像を得ることができるのであれば、パスで庭をフェンスする必要がありますか？

そして、このアプローチの柔軟性とその機能は驚くべきものです。何かを修正したい場合、毎回シーンを一から数時間、数日、さらには数え直す必要はありません。Photoshopのように、目的のパスを調整するだけで、これをリアルタイムで行うことができます唯一の違いは、PhotoshopがNukeの機能とパワーの99％を夢見ていないことです。これについては、Jobsでの写真ヒキガエルの例を使用して説明します。

Nukeの中核にある基本原則

1. HDRおよび32ビットカラー

32ビットが曲がってサポートされ、通常使用できないPhotoshopとは異なり、Nyukは完全に32ビットの線形空間です。

つまり、従来のチャネルあたり8ビットの整数（True Color-3チャネルの合計で24ビット）の代わりに、nukeはチャネルごとに浮動小数点形式（通常のフロート）で32ビットを使用します。データ型floatでサポートされる範囲に含まれます-負のものも含みます。

フロートビューのモニター画面に表示されるすべての色は0〜1の範囲にありますが、ピクセルの色が法外な値を持つことを妨げるものはありません。たとえば、次のとおりです。

このスクリーンショットでは、赤と緑のコンポーネントの中央にある青のストリップの色は、マイナス6000、および青-通常約50億の値を持っています。

なぜこんなに広い範囲の色が必要なのですか？良い質問-答えます。

それらは、同じ色空間で「黒よりも黒」と「白よりも白」の非常に深い影の両方を持ち、損失や丸め誤差なしで自由に動作するために必要です（これは重要です）：露出、シフト、さまざまな数学的操作を実行するなど。

さらに、これにより、3Dパケットからデータパスを取得することが可能になります。これは、原則としてチャネルあたり8ビットの通常の整数を使用する場合は不可能です。

大きなダイナミックレンジの画像を保存するためのファイル形式は多数ありますが、最もよく使用されるのはexrであり、柔軟性の事実上の業界標準になっています：1つのファイル内に任意のカラー形式で無制限のパスを保存できます（非常に印象的なサイズに達することができますが-画像ごとにギガバイトから平均4000x5000を取得します）。

要約すると、色の観点では、パイプラインは次のようになります。

1）3Dパッケージからすべてのパスをexr形式で取得し、数（数十、数百）ギガバイトのチャンネルあたり32ビットの浮動小数点数で取得します。

2）それらをNyukにダウンロードして、すべての色補正を実行し、すべての効果を追加するなどして、最終的なjpg（ビデオの場合はavi）をチャネルあたり8ビットで数メガバイトの出力で取得します。

また、核にアップロードされた8ビット画像（sRGB）は逆ガンマ補正の対象となるため、色空間が線形になり、表示ウィンドウおよび出力で-直接ガンマ補正が行われますが、推測する。

ただし、32ビットイメージはそれ自体線形です-変更されません。

線形性とは何ですか？数学的操作（特定の式に基づく2つの画像の平凡な重ね合わせでさえ）が、予測可能で均一な性質を持つため。

2.手続き型非破壊ツリーアプローチ

核の基礎はノードのツリー（ノードグラフ）です。これにより、各ノード（ノード）は何らかのアクションであるため、少しも失うことなく、何でも何でも柔軟に編集できます。つまり、アクション：画像のアップロード、複数の画像のオーバーレイ、ぼかし、他の画像との混合など：心が望むものはすべて大きな選択肢です。各ノードには多数の設定があり、それらはパイプと呼ばれる指向グラフのエッジによって相互接続されます。

このすべてを、シンプルでありながら非常に手間のかかる例で示します（ジョブを実行したときに、ここから UFOをベクトルでスケッチし、この例を単純化するためにjpegとして保存しました）。

1）乗算モードで2つの画像をオーバーレイします（多くのブレンドモードはPhotoshopとまったく同じです）：

2）AppleのようにUFOを噛む-ベクトルで円を描き、ハブラロから差し引く。

3）ツリーの別のブランチで、青いチャネルをhabralから他のチャネルにコピーし、モノクロ画像を取得します-青いチャネルの強度は約0.4であったため、ロゴは灰色になり、灰色を黒に下げて黒のロゴを取得し、ぼかします。

4）ぼやけた黒いロゴを乗算モードでUFOに配置し、ツリーの両方のブランチを結合して、結果をファイルに出力します。

なぜ私はこれをすべて見せたのですか？そして、木の力を示すために。

非常に単純化：2つのレイヤーを強制し、それらをぼかす必要があるとします。

Photoshopでこれを実装するには、2つのオプションがあります。

1）私たちはそれらを結合/崩壊させ、それによって両方を不可逆的に失い、フィルターを洗い流します。そして、もしあなたが何かが気に入らず、変える必要があるなら？最初から始めます。

2）それらを複製して非表示にし、段落1を繰り返します。

さて、元のレイヤーのバックアップがあり、必要に応じて変更できます。しかし、その後、問題はより深刻になります- それらを繰り返すためにそれらでどのような操作が実行されたかを心で覚えておく必要があります。そして忘れたら？もう一度やって！

唯一の解決方法は、アクションごとに個別のアクションを作成する（倒錯）か、履歴を反映するように各レイヤーに名前を付けることです。

レイヤーの数が少ない画像であっても、これは激しい、洗脳の名前につながり、レイヤーの数が多い画像については話しません。 3年前にいくつかのpsdがあり、数千のアクティブなレイヤーがあります。編集はもちろん、それらを開きたくありません。

核はアクション（プロシージャルアプローチ）で動作するため、設計上、原則としてPhotoshopについて上記で説明したような問題はありません。他のソースイメージをツリーの入力に送信し、必要なものを取得できます。

ところで、核でMergeからチェーンを作成する場合、それはlayerとまったく同じになります。

ちなみに、nukeスクリプトはかなりの重量があります-私がやった最大のスクリプトは約500kbでしたが、同時に巨大でした。

別の例として、ジョブを使用した写真ジョブを見てみましょう。

約3時間かかりましたが、ツリーのスクリーンショット：

まず、Google検索からこの写真を選択しました（大きなクリック）：

なぜこの特定の画像を選択したのですか？ Photoshopに類似性のない多くのものをデモンストレーションするのに理想的であるだけでなく、Macbook画面に顔の反射があるため、将来的には役立ちます。

次に、3ds maxでシンプルなシーンを作成しました。そこで、ティーポットプリミティブのサイトヘッダーからハブのロゴを配置し、1つのソースで安価に点灯させ、環境にHDRIマップを投げて、ティーポットにさまざまな種類の反射があるようにしました。

また、目で見て、カメラには見えないが、アンビエントオクルージョンでケトルをシェーディングし、指からの接触シャドウをシミュレートするいくつかのシリンダーを作成しました。

計算後、すべてのパスで32ビットのexrを取得し、さらにアンビエントオクルージョンで別のexrを取得しました。

ここにあります：

1）レンダーウィンドウに表示され、合成を使用しない場合に多くの人が最終として使用する平坦化された画像（投稿の冒頭を参照）。ビューティーパスとも呼ばれます。

しかし、これは私たちのためではありません-これは私たちにとって十分ではないので、先に進みます。

2）上記の写真を構成するパス：

拡散パス -オブジェクトのフラットテクスチャとその色

照明パス -影と照明。一般に、これらのすべては別々のパスで行われますが、この場合、単純化のためにそれらを1つにまとめました。

反射パス -シーン内にあるすべての反射

スペキュラパス -光源からのグレア

アンビエントオクルージョンパス

シリンダーからのシェーディングが指の配置と一致しないことが後で明らかになったので、私はこのシェーディングを核で手動で再描画しました。

次の式を使用して、これらのコンポーネントからビューティパスを受け取ります。

美しさ=拡散*照明+鏡面反射+反射

拡散*照明：

拡散光*照明+鏡面反射：

拡散*照明+鏡面反射+反射（反射を通過させるためにMacbookモニターからの反射が追加されました-これについては以下で説明します）：

次に、AOからコンタクトシャドウを追加する必要があります-結果のビューティーにアンビエントオクルージョンを掛けます：

注意：ハンドルの近くに影を追加し、リアリズムを追加します。

ティーポットの色が元の写真の色にできるだけ近くなるように色補正を行います（ただし、32ビット色がなければこれはほとんど不可能です-損失と丸めが多すぎます）。

3） Z-Depthパス -画像深度。データパスの1つは、カメラからカメラまでの距離をエンコードするピクセルの色です。ピクセルが明るいほど、見る人に近くなります。

被写界深度、デフォーカス、ボケ/畳み込みなどの効果に使用されます。また、同じスペース内に両方とも深さのあるパスがある場合、深さを考慮して2つの画像を重ね合わせるのにも便利です。