CUDAでCinemaDNGのコンバーターとプレーヤーを作成した方法

Habréにはすでに2つの記事（ 1と2 ）がありましたが、どちらもCUDAのJPEGアルゴリズムによる画像の高速圧縮の実装に関するものです。 次に、もう1つのはるかに大きなタスク、CUDAのDNGシリーズの画像用のコンバーターとビデオプレーヤーの作成方法について説明します。 同時に、DNG形式のソースデータのすべての処理がNVIDIAグラフィックカードで実行されるようになったため、非常に高速な操作が可能になりました。





blackmagicdesign.comから取得した DNGソースイメージ



DNG形式で動作する非常に多数のRAWコンバーターがすでに世界に存在しているという事実にもかかわらず、私たちはもう1つを作成することにしましたが、非常に高速で、拒否や並べ替えなどに使用できます。 DNGビデオプレーヤーもありますが、通常は低解像度で動作するため、DNG形式で撮影した素材を最大解像度で表示するのは問題です。 コンバーターの助けを借りて、一連のDNG画像をリアルタイムでフル解像度で表示できるように、非常に高速に画像を処理しようとしました。 当然、速度に加えて、許容可能な処理品質とノイズ低減を得る必要があり、成功したように思えます。



念のため、DNGは、ビデオカメラまたはカメラでキャプチャされたRAWデータ用のAdobeのオープンソース形式であることを思い出させてください。 ビデオの場合を考えますが、写真の場合もタスクはほとんど同じです。



問題の説明：かなり高速なSSDには、最大4Kまたは4.6Kの解像度のDNG形式（すべてのフレームが圧縮されている）の一連の画像があり（たとえば、BlackMagic Designの最新モデルのURSAまたはURSAミニビデオカメラの場合）、リアルタイムで読み取る必要があります。デコード、必要なすべての処理を行い、最大解像度で24〜30フレーム/秒の範囲の特定の周波数でモニターにビデオをスムーズに出力します（プロキシを使用せずに、つまりコピーを削減します）。



かなり前からCUDAで画像とビデオを処理するアルゴリズムとソフトウェアを開発していたため、ビデオカメラのRAWデータを操作するために必要なすべての機能を実装した独自の高速SDKを自由に使用できました。 その結果、現在、画像処理スキーム全体は次のようになっています。



1. SSDを使用したDNGファイルのマルチスレッド読み取り

2. DNGファイルの解析、タイルの受信

3. DNGイメージのマルチスレッドデコード

4.デコードされた画像をビデオカードに転送する

5. DNGのトリミング

6.ソースデータを線形化し、16ビットにします

7.白と黒のレベルを適用する

8.ホワイトバランス

9.露出補正

10.ディバイヤの前のシュモダフ

11. Debyer（デモモザイク）

12.デベイヤー後のノイズ

13.色変換、温度、色合い

14. RGBの曲線とレベル

15. HSVの曲線とレベル

16.トリミングとサイズ変更（指定されたズームの場合）

17.シャープネス

18.モニタープロファイルとガンマのオーバーレイ

19.データをチャネルごとに8ビットに変換する

20. CUDAメモリからOpenGLテクスチャにデータをコピーし、V-Syncを受信した後にモニターに出力する

21.各フレームのヒストグラムとパレードの計算とモニターへの出力



説明からわかるように、内部データ表示形式はチャネルごとに16ビットです。 これは一見思われるほど悪くはありません。 精度が非常に重要なコードのすべてのセクションは、フロート（ノイズリダクション、サイズ変更、シャープ）でカウントされ、各ステージの処理の最終結果は16ビットで保存されます。 多くのディーラーは整数アルゴリズムであるため、一度に16ビットですが、いくつかの段階はまだフロートで行う必要があります。 また、ホワイトバランスと露出補正など、隣接する処理段階を組み合わせて、中間の丸めの数を減らすこともあります。 32ビットの実装と結果を視覚的に比較しましたが、大きな違いは見つかりませんでした。 これは、ソフトウェアの処理の中間段階の数が比較的少ないことが原因であると思われます。



私は、ディベイヤー、つまりデモザイクアルゴリズムについていくつかの言葉を言いたいです。 多くの場合、コンバータは双線形アルゴリズムまたはその類似物を使用して計算時間を短縮します。これは最も高速なオプションの1つであるためです。 実際、これはCPUにも当てはまりますが、ピークS / N比（PSNR）の観点から再構成された画像の品質を見ると、ディベイヤーのテストに使用されるKodak画像の標準セットでは、バイリニアアルゴリズムは31 dB未満しか生成しません。 プログラムのHQLIおよびDFPDディベイヤーアルゴリズムは、同じフレームセットで36 dBと39 dBを提供します。 GPUのディベイヤーのパフォーマンスはCPUの何倍も高いため、バイリニアディベイヤーの必要はなく、より良いアルゴリズムを使用できます。 ビデオカードでJPEGコーデックを作成したとき、さまざまなディーラーの品質係数に応じてPSNRを測定し、興味深い結果を得ました：最終画像の低いPSNRは、少なくとも75％の品質のジープアーティファクトではなく、バイリニアデベイヤーによって決定されます。 要約は簡単です。品質が必要な場合は、バイリニアディベイヤーを使用しない方が良いでしょう。 PSNRメトリック（SSIMなど）が非常にarbitrary意的であることは明らかですが、これは常にではありませんが、ほとんどの場合に機能する客観的な基準です。



近い将来、GPU用の新しいデバッガーアルゴリズムの開発を完了し、コダックセットで40.7 dBのPSNRを実現する必要があります。 CPUのバージョンは準備ができており、コマンドラインを使用したテストアプリケーションはパブリックドメインにあります。 これにより、すべてのdebyerアルゴリズムをテストして比較できます。



新しいディベイヤーアルゴリズムはMG（マルチグラディエント）と呼ばれ、私たちが作成したもので、他のRAWコンバーターにはありません。



2Kから4Kの解像度で24-30 fpsのフレーム周波数でDNG形式の10/12/14ビットソースデータをリアルタイムで実装するには、各アルゴリズムを慎重に最適化する必要があります。 この場合、SSD、CPU、GPUの最高速度を達成する必要があります。 鉄のこれら3つの成分のいずれかの性能が不十分な場合、リアルタイムは機能しません。 4K-4.6K解像度の場合、NVIDIA GeForce GTX 980および1080ビデオカードを使用すると、リアルタイムよりも高速な処理速度を達成しました。



優れたハードウェアでは、DNGプレーヤーはスムーズに動作し、画像をフルスクリーンにスケーリングできます。 OpenGLハードウェアのサイズ変更は無効になっています。これは、特にサイズが小さい場合に、重大なアーティファクトを生成するバイリニアサイズ変更アルゴリズムがデフォルトになっているためです。 この問題を解決するために、Lanczosアルゴリズムに従って常にCUDAにサイズ変更し、ウィンドウと同じサイズの既製の画像をOpenGLに転送します。 同時に、追加の時間遅延が発生しますが、画質は向上します。





このサイトから撮影したDNG画像、カメラマンのジョー・ブローリー、BlackMagic Ursa Mini 4.6Kのテストショット。



結果を任意のコンテナに保存するには、ユーザーが自分でインストールする必要がある外部FFmpegを使用できます。指定したコマンドラインでプログラムから実行できます。 したがって、たとえば、外部FFmpegを使用して、出力を10ビット444 ProResに圧縮し、MOVコンテナーに保存できます。 FFmpegの助けがなければ、プログラム自体は処理されたフレームを一連の16ビットTIFFまたは8/12ビットJPEG画像として保存でき、各フレームのヘッダーにカラープロファイルが埋め込まれます。



写真を同じ方法で処理することもできます。 しかし、写真にはさまざまなクローズド形式が含まれているため、完全な作業のためにlibrawを接続する必要がありますが、現時点では、Adobe DNG Converterを使用してソースデータをDNGに予備変換するオプションしかありません。 私たちのプログラムは当初写真に焦点を合わせていなかったため、多くの重要な機能が欠落しています。 SDKには、ソフトウェアの作成に基づいて、必要な機能の一部が既に実装されているため、おそらく写真用のクイックコンバーターも作成します。 この場合、ジープ内のビデオカードも圧縮するため、写真のバッチ処理は非常に高速になります。 優れたカードでは、1つの50メガピクセル画像の処理時間は、SSDからの画像読み込み時間よりも短くなります。 ただし、このような大きなファイルを使用するには、少なくとも8 GBのメモリを備えたGPUが必要です。



上記の画像処理スキームは、色収差抑制モジュールがまだないため、3D LUTをまだ接続できず、フレーム間ノイズリダクションの準備ができていないため、編集コーデックがまだ外部にあり、多くのものがまだ欠落しているため、十分に完了していません。 これはすべてすぐに行われます。 ただし、CUDAで一連のDNG画像を処理するためのスキーム全体の実装が、1つのビデオカードでも、リアルタイムで最大解像度で可能であることはすでに明らかです。



Adobe Premiere Pro 2015、BlackMagic DaVinci Resolve 12、およびビデオカードを含むこの分野における他の多くのユニバーサルプロフェッショナルソリューションの存在を知っています。 私たちのタスクは、アセンブリコーデックを使用したファイル管理、ノンリニア編集、グレーディング、圧縮のプログラムの競合他社を作成することではありませんでした-これらの分野では、既存のソリューションがうまく機能しますが、加速と改善の余地があります。 ビデオカードでの非常に高速でかなり高品質のデータ処理のためのソリューションを作成し、ユーザーは何をしたかを評価できます。



重要な点に注意したい：私たちのアプローチでは、多くのアプリケーションでよくあるように、画像処理でGPUの特定のアルゴリズムを高速化することについて話していません。 このプログラムでは、一連のDNG画像のすべての処理がビデオカードで実行されます。これは、この分野で知られているすべてのソリューションとの根本的な違いです。 私たちの観点から見ると、これは作業速度を上げる最適なアプローチであり、リアルタイムアプリケーションの品質を向上させる興味深い機会です。



ユーザーが一般的な画像処理スキームの各段階の実行時間に関する情報を取得できるように、特定の画像の各アルゴリズムのビデオカードの動作時間を測定および表示する特別なモジュールを作成しました。 Benchmarksモジュールを有効にすると、使用メモリのメインデータ、画像パラメーター、および関連する処理アルゴリズムのリストが実行時間とともに画面に表示されます。



DNGシリーズのクイックプレビューの問題を解決するために、別の操作モードを作成しました。 この機能は、DNG形式の素材の拒否と並べ替えに従事しているユーザーから非常に要求されました。 これで、エクスプローラーからコンテキストメニューを使用してプログラムを起動し、プレーヤーでこのフォルダーにある一連のDNGイメージからビデオを表示できます。



この方向性を開発するための有望なオプションは、Adobe Premiere ProおよびAfter Effects用のプラグインの作成です。 この場合、スピードと品質を組み合わせて、FFmpegを使用せずにさまざまな編集コーデックを使用して結果を保存することができます。 このようなプラグインを編集コーデックの代わりに使用して、DNGでチャンネルごとに16ビットの解像度を持つ既製のフレームを作成し、それらを直接After Effectsに転送することで、ProResからのデコードステージが不要になります。



また、このプロジェクトの別の興味深い側面に取り組んでいます-ビデオカードで高速JPEG2000コーデックを作成し、編集コーデックとして使用しています。 このようなコーデックは、16ビットデータをリアルタイムで処理でき、他の編集コーデックと比較してより高い品質を提供します。 10/12ビットデータの圧縮でさえ、現在よりも高い品質で実行できます。 このようなJPEG2000コーデックはリアルタイムで動作し、広く使用されているProRes、DNxHD、DNxHRと比較してより高い品質を提供します。 現在、CPU上のこのようなJPEG2000コーデックはすでにAdobe Premiere Proに含まれていますが、非常に遅いため、実用的にはほとんど役に立ちません。 高速JPEG2000コーデックはすべてを劇的に変更し、その後のインストールのために中間素材の品質を改善します。



私たちは画像処理の品質の改善に取り組んでおり、近い将来、Adobe Camera Rawより悪くない新しいMG討論者のリリースを期待しています（私たちの観点からは、ACR討論者は非常に良いです）。 また、現在のリリースのDFPDディベイヤーはAdobe Premiere Pro 2015よりも明らかに優れています。無料版では、デベイヤーの前と後のノイズサプレッサーがありますが、これはDaVinci Resolveの無料バージョンではなく、Premiere Proにはリアルタイムノイズリダクションがありません有料版。 各プログラムには長所と短所があるため、多くの比較を長時間行うことができますが、最終的には誰もが自分のニーズとタスクを満たすツールを自分自身で見つけることができます。



Windows-7 / 8/10（64ビット）用のプログラムの無料デモバージョンはここからダウンロードでき、CinemaDNG画像のテストシリーズはここから取得できます 。 このプログラムは、MLVをDNGに変換した後、代替のマジックランタンファームウェアを使用して、Canon 5D Mark IIIのビデオでも機能します。



提示されたソリューションの品質と速度についてのコメントに感謝します。 繰り返しになりますが、このプログラムはNVIDIAグラフィックスカードでのみ機能し、4K DNGイメージを使用するには、GPUに少なくとも2 GBのメモリが必要です。 残念ながら、このプログラムはAMDおよびIntelビデオカードでは動作しません。 そして、NVIDIAグラフィックスカードのメモリ全体のほとんどが他のアプリケーションによって占有されている場合、悲しいかな。 高い処理速度を実現するには、高速のSSD、CPU、およびGPUが必要です。