ニューラルネットワークグラフィックスはどのように役立ちましたか

1943年、アメリカの神経心理学者McCallockとPittsはニューラルネットワークのコンピューターモデルを開発し、1958年に最初の実用的な単層ネットワークがいくつかの文字を認識しました。 現在、ニューラルネットワークは何にも使用されていません。為替レートの予測、病気の診断、自動操縦、およびコンピューターゲームでのグラフィックスの構築です。 最後の話です。



Evgeni Tumanovは 、 NVIDIAでディープラーニングエンジニアとして働いています。 HighLoad ++カンファレンスでのスピーチの結果に基づいて、グラフィックスでの機械学習とディープラーニングの使用に関するストーリーを準備しました。 機械学習は、NLP、コンピュータービジョン、推奨システム、および検索タスクで終わりません。 この分野に精通していない場合でも、分野や業界の記事からベストプラクティスを適用できます。





ストーリーは3つの部分で構成されます。 機械学習の助けを借りて解決されるグラフ内のタスクを確認し、主なアイデアを導き出し、このアイデアを特定のタスク、具体的にはクラウドのレンダリングに適用する場合について説明します。

グラフィックスの教師付きDL / ML、またはグラフィックスの教師トレーニング

2つのタスクグループを分析しましょう。 まず、それらを簡単に示します。



現実世界またはレンダリングエンジン ：

• 信じられないほどのアニメーションの作成：移動、顔のアニメーション。
• レンダリングされた画像の後処理：スーパーサンプリング、アンチエイリアス。
• スローモーション：フレーム補間。
• 材料の生成。

タスクの2番目のグループは、現在「 ヘビーアルゴリズム 」と呼ばれています。 雲などの複雑なオブジェクトのレンダリングや、水、煙などの物理シミュレーションなどのタスクが含まれます。



私たちの目標は、2つのグループの根本的な違いを理解することです。 タスクをさらに詳しく考えてみましょう。

信じられないほどのアニメーションの作成：移動、顔のアニメーション

過去数年にわたって、研究者が美しいアニメーションを生成する新しい方法を提案した多くの記事が登場しました 。 アーティストの作品を使用することは高価であり、それらをアルゴリズムに置き換えることは誰にとっても非常に有益です。 1年前、NVIDIAでは、ゲームのキャラクターの顔のアニメーションに取り組んでいるプロジェクトに取り組んでいました。ヒーローの顔を音声の音声トラックと同期させることです。 これがアニメーションで最も難しい瞬間であるため、顔のすべてのポイント、特に唇が動くように、顔を「復活」させました。 手動でアーティストがこれを高価に、そして長期間実行します。 この問題を解決し、そのためのデータセットを作成するためのオプションは何ですか？



最初のオプションは、 母音を識別することです。母音で口が開き、口で母音が開きます 。 これは単純なアルゴリズムですが、単純すぎます。 ゲームでは、より高い品質が必要です。 2番目のオプションは、 人々に異なるテキストを読んでもらい、顔を書き留めてから、発音した文字を表情と比較することです。 これは良いアイデアであり、Remedy Entertainmentとの共同プロジェクトでそうしました。 唯一の違いは、ゲームではビデオではなくドットの3Dモデルを表示していることです。 データセットを組み立てるには、顔の特定のポイントがどのように動くかを理解する必要があります。 俳優を選び、さまざまなイントネーションのテキストを読むように頼み、さまざまな角度から非常に優れたカメラで撮影した後、各フレームで顔の3Dモデルを復元し、音声で顔のポイントの位置を予測しました。

画像後処理のレンダリング：スーパーサンプリング、アンチエイリアス

特定のゲームのケースを考えてみましょう。異なる解像度で画像を生成するエンジンがあります。 1000×500ピクセルの解像度で画像をレンダリングし、2000×1000のプレーヤーを表示したい-これはきれいになります。 このタスクのためにデータセットを組み立てる方法は？



最初に画像を高解像度でレンダリングし、次に品質を下げてから、システムをトレーニングして画像を低解像度から高解像度に変換します。

スローモーション：フレーム補間

ビデオがあり、フレームを補間するために、ネットワークに中央にフレームを追加する必要があります。 アイデアは明らかです-多数のフレームで実際のビデオを撮影し、中間フレームを削除して、ネットワークによって削除されたものを予測しようとします。

マテリアル生成

材料の生成についてはあまり詳しく説明しません。 その本質は、たとえば、いくつかの照明角度で木片を取り、他の角度からビューを補間することです。



問題の最初のグループを調べました。 2番目は根本的に異なります。 雲などの複雑なオブジェクトのレンダリングについては後で説明しますが、ここでは物理シミュレーションを扱います。

水と煙の物理シミュレーション

移動する固体オブジェクトが配置されているプールを想像してください。 流体粒子の動きを予測したい。 時間tにプール内に粒子があり、時間t +Δtでそれらの位置を取得します。 パーティクルごとに、ニューラルネットワークを呼び出して、次のフレームでの答えを取得します。



この問題を解決するために、流体の運動を記述するNavier-Stokes方程式 を使用します。 もっともらしい物理的に正しい水のシミュレーションを行うには、方程式または近似を解く必要があります。 これは計算的な方法で行うことができ、その多くは過去50年間に発明されたものです。SPH、FLIP、または位置ベースの流体アルゴリズムです。

最初のタスクグループと2番目のタスクグループの違い

最初のグループでは、アルゴリズムの教師は上記のようなものです。個人の場合のように実際の生活からの録音、または例えば画像のレンダリングなどのエンジンからの録音です。 問題の2番目のグループでは、計算数学の方法を使用します。 このテーマの区分から、アイデアが成長します。

主なアイデア

古典的な計算大学の方法では、長く、困難で、解くのが難しい計算的に難しいタスクがあります。 それを解決し、加速するために、おそらく少し品質を失うために、次のものが必要です。

• コードが最も長く機能するタスクで最も時間のかかる場所を見つけます。
• この行が生成するものを参照してください。
• ニューラルネットワークまたはその他の機械学習アルゴリズムを使用して、ラインの結果を予測してください。

これは一般的な方法論であり、主なアイデアは機械学習のアプリケーションを見つける方法に関するレシピです。 このアイデアを役立てるにはどうすればよいですか？ 正確な答えはありません-創造性を使用して、あなたの作品を見て、見つけてください。 私はグラフィックスをやっており、他の分野にはあまり馴染みがありませんが、物理学、化学、ロボット工学などの学術環境では、間違いなくアプリケーションを見つけることができると思います。 職場で複雑な物理方程式を解くと、このアイデアへの応用も見つかるかもしれません。 明確にするために、特定のケースを検討します。

クラウドレンダリングタスク

6か月前にNVIDIAでこのプロジェクトを行いました。タスクは、物理的に正しい雲を描くことです。これは、空間内の液滴の密度として表されます。

クラウドは物理的に複雑なオブジェクトであり、固体オブジェクトとしてモデル化できない液滴の懸濁液です。

テクスチャを押し付けて雲にレンダリングすることはできません。水滴は幾何学的に3D空間に配置するのが難しく、それ自体が複雑であるためです。



太陽が輝いている水滴を見て、目からのベクトルと滴上の太陽が平行である場合、光の強度に大きなピークがあります。 これは、誰もが見た物理現象を説明しています。晴れた天気では、雲の境界の1つは非常に明るく、ほとんど白です。 雲の境界線を見ています。視線とこの境界線から太陽までのベクトルはほぼ平行です。





クラウドは物理的に複雑なオブジェクトであり、古典的なアルゴリズムによるレンダリングには多くの時間が必要です。 古典的なアルゴリズムについては少し後で説明します。 パラメータによっては、プロセスに数時間から数日かかる場合があります。 あなたがアーティストであり、特殊効果のある映画を描いていると想像してください。 さまざまな照明を使用した複雑なシーンがあります。 クラウドトポロジを1つ作成しました-気に入らないので、再描画してすぐに回答を得たいと考えています。 1つのパラメーターの変更からできるだけ早く回答を得ることが重要です。 これは問題です。 それでは、このプロセスをスピードアップしてみましょう。

従来のソリューション

問題を解決するには、この複雑な方程式を解く必要があります。





方程式は厳しいですが、物理的な意味を理解しましょう。 雲を貫通する雲が貫通するビームを考えてみましょう。 この方向からカメラに光はどのように入射しますか？ まず、光は雲からの光線の出口に到達し、この光線に沿って雲の中を伝播します。



「方向に沿った光の伝播」の2番目の方法では、方程式の積分項です。 その物理的な意味は次のとおりです。



ビーム上の雲の内側のセグメントを考えます-入口点から出口点まで。 積分はこのセグメント上で正確に実行され、その上の各ポイントに対して、いわゆる間接光エネルギーL（x、ω） -積分I _1の意味-ポイントでの間接照明を考慮します。 さまざまな方法で滴が日光を反射するという事実のために表示されます。 したがって、周囲の小滴からの膨大な量の媒介光線がポイントになります。 I ₁は、光線上の点を囲む球体上の積分です。 古典的なアルゴリズムでは、 モンテカルロ法を使用してカウントされます。



古典的なアルゴリズム。

• ピクセルから画像をレンダリングし、カメラの中心からピクセルへ、そしてさらに進む光線を生成します。
• ビームを雲と交差させ、入口と出口を見つけます。
• 方程式の最後の項、クロス、太陽との接続について考えます。
• 重要度サンプリングの開始

モンテカルロ推定値I ₁をどのように検討するかは分析しません。これは難しく、それほど重要ではないからです。 これは、アルゴリズム全体の中で最も長く、最も難しい部分であると言えば十分です。

ニューラルネットワークを接続します

古典的なアルゴリズムの主なアイデアと説明から、レシピはこのタスクにニューラルネットワークを適用する方法に従います。 最も難しいのは、モンテカルロスコアを計算することです。 それはある点での間接照明を意味する数値を与え、これはまさに私たちが予測したいものです。





出口を決定しました。今、入口を理解します-その情報から、その点での間接光の大きさは明らかです。 ポイントを囲む水滴の多くから反射されるのは光です。 ライトトポロジは、ポイント周辺の密度トポロジ、光源への方向、カメラへの方向に強く影響されます。





ニューラルネットワークへの入り口を構築するには、局所密度を記述します。 これを行うには多くの方法がありますが、私たちは記事Deep Scattering：Rendering Atmospheric Clouds with Radiance Predicting Neural Networks、Kallwcit et al。 2017年から多くのアイデアが生まれました。



簡単に言うと、点の周囲の密度を局所的に表現する方法は次のようになります。

• かなり小さな定数を修正します 。 それをクラウド内の平均自由行路にします。
  
  
• 5 * 5 * 9のように、固定サイズの長方形のグリッドをセグメント上の点の周りに描きます。 この立方体の中心がポイントになります。 グリッドステップは小さな固定定数です。 グリッドノードで、クラウドの密度を測定します。
• 定数を2倍に増やして 、より大きなグリッドを描画し、同じことを行います-グリッドのノードで密度を測定します。
• 前の手順を数回繰り返します。 これを10回行い、手順の後、10個のグリッド（10個のテンソルを取得しました。各テンソルにはクラウド密度が格納され、各テンソルはポイント周辺のますます大きな近傍をカバーします）。

このアプローチにより、小さなエリアの最も詳細な説明が得られます。ポイントに近いほど、詳細な説明になります。 ネットワークの出力と入力を決定し、それを訓練する方法を理解することは残っています。

トレーニング

トポロジが異なる100種類のクラウドを生成します。 従来のアルゴリズムを使用して単純にレンダリングし、モンテカルロ積分を実行する行にアルゴリズムが受け取るものを書き留め、ポイントに対応するプロパティを書き留めます。 したがって、学習するデータセットを取得します。

何を教えるか、またはネットワークアーキテクチャ

このタスクのネットワークアーキテクチャは重要ではありません。何も理解していなくても心配する必要はありません。これは私が伝えたかった最も重要なことではありません。 次のアーキテクチャを使用しました。各ポイントには10​​個のテンソルがあり、各テンソルはますます大規模なグリッドで計算されます。 これらのテンソルはそれぞれ、対応するブロックに分類されます。

• 最初の最初の通常の完全に接続されたレイヤー 。
• アクティブ化されていない2番目の完全に接続されたレイヤーで、最初の完全に接続されたレイヤーを終了した後。

アクティブ化されていない完全に接続されたレイヤーは、単純にマトリックスによる乗算です。 行列を乗算した結果に、前の残差ブロックからの出力を追加してから、アクティベーションを適用します。





ポイントを取り、各グリッドの値を数え、得られたテンソルを対応する残差ブロックに入れます-そして、ネットワークの生産モードであるニューラルネットワークの推論を行うことができます。 これを行い、雲の写真を取得するようにしました。

結果

最初の観察-必要なものが得られました。モンテカルロ推定と比較して、ニューラルネットワーク呼び出しはより速く動作します。



しかし、トレーニングの結果には別の観察結果があります。これはサンプル数の収束です。 何言ってるの？





画像をレンダリングするとき、それを小さなタイルに切り取りましょう-ピクセルの正方形、たとえば16 * 16。 一般性を失うことなく、1つの画像タイルを検討してください。 このタイルをレンダリングするとき、カメラからの各ピクセルに対して、1ピクセルに対応する多くの光線をリリー​​スし、光線に少しノイズを追加して、光線がわずかに異なるようにします。 これらの光線はアンチエイリアスと呼ばれ、最終画像のノイズを減らすために発明されました。

• 各ピクセルに対していくつかのアンチエイリアシングレイをリリースします。
• カメラからのビームの内側、雲、セグメント上で、モンテカルロ評価を実行するか、それらのネットワークを呼び出すポイントのn個のサンプルを計算します。

光源との接続に対応するサンプルがまだあります。 これらは、ポイントを光源、たとえば太陽に接続すると表示されます。 太陽は互いに平行に地球に落ちる光線であるため、これは簡単です。 たとえば、光源としての空ははるかに複雑です。なぜなら、空は方向に色の関数を持つ無限遠の球体として表されているからです。 ベクトルが空に対して垂直にまっすぐに見える場合、色は青です。 低いほど明るくなります。 球体の底には通常、地球を模した中立的な色、緑、茶色があります。



ポイントを空に接続して、そこにどれだけの光が入るかを理解するとき、真実に収束する答えを得るために、常にいくつかの光線を放出します。 より良いグレードを得るために、複数のレイをリリースします。 したがって、 パイプラインレンダリング全体には非常に多くのサンプルが必要です。



ニューラルネットワークをトレーニングすると、平均的なソリューションを学習できることがわかりました。 サンプルの数を修正すると、古典的なアルゴリズムがピクチャ列の左の行に収束し、ネットワークが右に学習することがわかります。 これは、元の方法が悪いことを意味するものではありません-より速く収束するだけです。 サンプルの数を増やすと、元のメソッドは取得するものにより近くなります。



取得したかった主な結果は、レンダリング速度の向上です。 サンプルパラメーターを使用した特定の解像度の特定のクラウドでは、ネットワークと従来の方法で得られた画像はほぼ同じであることがわかりますが、適切な画像は800倍速くなります。

実装

3Dモデリング用のオープンソースプログラム-Blenderがあり 、これは古典的なアルゴリズムを実装しています。 私たち自身はアルゴリズムを作成しませんでしたが、このプログラムを使用しました。アルゴリズムに必要なすべてを書き留めて、Blenderでトレーニングしました。 生産もプログラムで行われました： TensorFlowでネットワークをトレーニングし、 TensorRTを使用してC ++に転送しました。コードが開いているため、すでにTensorRTネットワークがBlenderに統合されました。



Blenderのすべてを行ったので、ソリューションにはプログラムのすべての機能があります。あらゆる種類のシーンと多くの雲をレンダリングできます。 ソリューションのクラウドは、キューブを作成することで定義されます。キューブの内部では、3Dプログラムの特定の方法で密度関数を決定します。 このプロセス-キャッシュ密度を最適化しました。 ユーザーがシーンのさまざまなセットアップのヒープに同じ雲を描きたい場合：照明条件が異なり、オブジェクトがステージ上にある場合、雲の密度を絶えず再計算する必要はありません。 何が起こった、あなたはビデオを見ることができます。



結論として、私が伝えたかった主なアイデアをもう一度繰り返します ： あなたの仕事で長くて難しい場合、何かを特定の計算アルゴリズムと考えており、これがあなたに合わない場合-コードの最も難しい場所を見つけて、ニューラルネットワークに置き換えます多分これはあなたを助けるでしょう。

ニューラルネットワークと人工知能は、4月のSaint HighLoad ++ 2019で議論する新しいトピックの1つです。 すでにこのトピックに関するいくつかのアプリケーションを受け取っています。もしあなたがクールな経験を持っているなら、必ずしもニューラルネットワークではない場合は、 3月1日までにレポートを提出してください。 スピーカーの間でお会いできてうれしいです。



プログラムがどのように形成され、どのレポートが受け入れられるかを把握するには、 ニュースレターを購読してください。 その中で、テーマ別のレポートのコレクション、記事ダイジェスト、新しいビデオのみを公開しています。