ニューラルネットワークを使用した画質の改善

今日は、画質を改善するための興味深いアプローチについてお話したいと思います。 アプローチの正式名称はスーパーレゾリューションです。 ソフトウェアによる画像品質の向上は、デジタル画像の出現以来知られていますが、過去3年間に、ニューラルネットワークの使用によって飛躍的な進歩がありました。









超解像技術を使用して画質を改善する例。



画像強調には、主に4つのアプローチがあります：予測モデル（エッジモデル）、エッジベースの手法（画像手法）、画像統計手法（統計手法）、パッチベース（またはサンプルベース）手法（パターンに基づく手法）。 最高の品質は、パッチベースの（またはサンプルベースの）メソッド（パターンに基づくメソッド）によって提供されます。



記事[1]では、最初に、一連のフィルターを使用する従来のアプローチから、エンドツーエンドの原理で動作する単一の畳み込みニューラルネットワークに切り替えることが提案されました。



たたみ込みニューラルネットワークアプローチでは、次の機能を組み合わせました。



1）パッチを抽出して表示します。

2）非線形ディスプレイ。

3）再構成。









ニューラルネットワークの動作原理の可視化とスパースコーディング法による通信[1]



畳み込みニューラルネットワークアプローチは、高い応答速度を維持しながら、既知の方法と比較して品質が向上しています。





フィルターの数に応じた品質と応答時間。



この調査の著者によると、ネットワークアーキテクチャは、トレーニングサンプルのサイズよりも品質に影響を与えました。



画質を改善する分野での研究の継続は、[損傷した画像]を復元することができたより深いアーキテクチャを考慮した作業です[2]。





左側が「破損した画像」、中央が復元された画像、右側が元の画像です。



[3]では、画像を改善するタスクはGANを使用して解決されます。





画質を改善するタスクにおけるGANの原理の可視化[3]



GANを使用すると、テクスチャの品質が向上し、処理された画像が非常に写実的になり、視覚的に元の画像と区別することが困難になりました。





GANとオリジナルを使用して復元された画像の比較。



超解像技術は、画像およびビデオ処理ですでに使用されています。 そのため、Yandexは映画検索での古いソビエト映画の品質を改善し、Robin VideoはSuper Resolutionを使用してクラウドベースのビデオ監視の画質を改善し、顧客が画質を維持しながらよりシンプルで安価なカメラを使用できるようにしました。



次の記事では、スーパーレゾリューションアプローチの技術的な実装について詳しく説明しようとします。