ピンぼけでぼやけた画像を復元します。 練習する

少し前に、ハブの焦点がぼけてぼやけた画像の復元に関する記事の最初の部分を公​​開しました。 コメントから判断すると、このトピックは多くの関心を呼び起こしたので、この方向を継続し、一見単純な式の実際の実装にどのような問題が現れるかを示すことにしました。



これに加えて、ぼけやぼけを解消するための基本的なアルゴリズムを実装するデモプログラムを作成しました。 このプログラムは、ソースコードとディストリビューションとともにGitHubに投稿されています。



実際のぼかし画像（合成ぼかしなし）の処理結果を以下に示します。 元の画像は、EF 85mm / 1.8レンズを備えたCanon 500Dカメラで撮影されました。 フォーカスを手動で設定して、ぼやけを取得しました。 ご覧のとおり、テキストは完全に判読不能であり、Windows 7ダイアログボックスのみが推測されます。







そして、処理の結果は次のとおりです。







いくつかの特徴的な歪みが見られますが、ほとんどのテキストは非常によく読まれます。



カットの下で、デコンボリューションの問題の詳細な説明、それらを解決する方法、および多くの例と比較。 注意、たくさんの写真！

理論を思い出してください

理論の詳細な説明は最初の部分にありましたが、それでも要点を簡単に思い出してください。 元の画像の各ピクセルからの歪みの過程で、焦点ぼけの場合は特定のスポットが取得され、従来のスミアの場合はセグメントが取得されます。 これはすべて互いに重なり合っており、その結果、歪んだ画像が得られます-これは画像の畳み込みまたは畳み込みと呼ばれます。 1つのピクセルが不鮮明になる法則は、歪み関数と呼ばれます。 他の同義語は、PSF（点広がり関数、つまり点の分布関数）、歪曲演算子の核、カーネルなどです。



元の画像を復元するには、ノイズを忘れずに、何らかの方法で畳み込みを逆にする必要があります。 しかし、これはそれほど単純ではありません。「額で」と言われるように行動すると、許容可能な時間では解決できない巨大な方程式系が得られます。



しかし、フーリエ変換と畳み込み定理が助けになります。空間領域での畳み込み演算は、周波数領域での通常の乗算​​（さらに、行列乗算ではなく、要素ごとの乗算）と同等であると述べています。 したがって、逆畳み込み演算は、周波数領域での除算と同等です。 したがって、歪みプロセスは次のように書き換えることができます。



（1）

ここで、すべての要素は対応する関数のフーリエ画像です。

G（u、v）は歪みの結果、つまり 結果として観察されるもの（ぼやけた画像またはピンぼけした画像）

H（u、v）-歪み関数、PSF

F（u、v）-歪みのない元の画像

N（u、v）-加法性ノイズ



そのため、元の画像F（u、v）の最大近似を復元する必要があります。 右と左の部分をH（u、v）で割るだけでは機能しません。 非常に小さなノイズが存在する場合でも（実際の画像では常に）、N（u、v）/ H（u、v）という用語が支配的となり、元の画像がノイズの下に完全に隠れてしまうという事実につながります。



この問題を解決するために、より持続可能な方法が開発されており、その1つがWienerフィルターです。 彼は画像とノイズをランダムなプロセスと見なし、これらの値の標準偏差が最小になるように、歪みのない画像fの推定値f 'を見つけます。



（2）



ここでの関数Sは、それぞれノイズと元の画像のエネルギースペクトルを示しています-これらの量はめったにわからないため、S _n / S _{fの部分は}定数Kに置き換えられます。

PSFの入手方法

それでは、説明したウィナーフィルターを出発点としてみましょう。一般的に言えば、他にも多くのアプローチがありますが、それらはすべてほぼ同じ結果をもたらします。 したがって、以下で説明するすべては、デコンボリューションの他の方法にも当てはまります。



主なタスクは、ポイント分布関数（PSF）の推定値を取得することです。 これを行うには、いくつかの方法があります。

1.モデリング。 非常に困難で時間がかかる 現代のレンズは、ダース、他の異なるレンズ、光学素子で構成されており、その一部は形状が非球面であり、各ガラスには特定の波長の光線の屈折という独自の特性があります。 その結果、開口、反射などの影響を考慮して、このような複雑な光学システムでの光の伝播を正しく計算するタスク ほとんど不可能になります。 そして、おそらく、そのソリューションは、最新のレンズの開発者のみが利用できます。

2.直接観察。 PSFは、イメージのすべてのポイントが変化するものであることを思い出してください。 つまり 黒の背景とその上に1つの白いドットを形成し、目的のデフォーカス値で撮影すると、PSFが直接取得されます。 単純に思えますが、多くのニュアンスと微妙さがあります。

3.計算または間接観察。 歪みプロセスの式（1）を見て、H（u、v）を取得する方法を考えますか？ 解決策はすぐに得られます-元のF（u、v）画像と歪んだG（u、v）画像が必要です。 次に、歪んだ画像のフーリエ変換を元の画像のフーリエ変換に分割すると、目的のPSFが得られます。

ボケについて

詳細に進む前に、光学に関する焦点外れの理論について少し説明します。 理想的なレンズはそれぞれ円の形のPSFを持ち、各点は特定の直径の円になります。 ところで、これは多くの人にとって驚きです。なぜなら、 一見すると、焦点がぼけているだけで画像全体が暗くなっているように見えます。 これはまた、Photoshopのガウスのぼかしが、レンズで見られる背景パターン（ボケとも呼ばれる）にまったく似ていない理由を説明しています。 実際、これらは2つの異なるタイプのぼかしです。ガウスによれば、各ポイントはファジースポット（ガウスベル）に変わり、デフォーカスは各ポイントを円に変えます。 したがって、異なる結果。



しかし、理想的なレンズはなく、実際には理想的な円から1つまたは別の偏差が生じます。 これが各レンズのユニークなボケパターンを形成するものであり、写真家は美しいボケのレンズに多額のお金を費やす必要があります:)ボケは3つのタイプに分けられます。

-ニュートラル。 これは、円に最も近いアプローチです。

-ソフト。 エッジが中央よりも明るくない場合

-タフ。 エッジが中央よりも明るい場合。



以下の図はこれを示しています。







さらに、ボケのタイプ-ソフトかハードかは、フロントフォーカスかリアフォーカスかによっても異なります。 つまり カメラは被写体の前または後ろに焦点を合わせます。 たとえば、レンズのフロントフォーカスにソフトなボケパターンがある場合（たとえば、フォーカスが顔にあり、背景がぼやけている場合）、同じレンズのボケはバックフォーカスで硬くなります。 そしてその逆。 中立的なボケのみが焦点のタイプから変化しません。



しかし、これだけではありません。各レンズには特定の幾何学的歪みがあるため、PSFのタイプも位置に依存します。 中央-円に近く、端に沿って-楕円および他の平らな図形。 これは次の写真にはっきりと示されています-右下隅に注意してください。







ここで、PSFを取得する最後の2つの方法を詳しく見てみましょう。

PSF-直接観察

上記のように、黒の背景と白のドットを形成する必要があります。 しかし、プリンターで1つのドットを印刷するだけでは十分ではありません。 黒い背景と白い点の明るさには、はるかに大きな差が必要です。 1つのポイントは大きな円でぼやけます-したがって、ぼやけた後に見えるようにするには、より大きな明るさが必要です。



これを行うために、マレビッチの黒い四角を印刷しました（はい、大量のトナーが必要でしたが、科学のためにできません！）。 紙はまだよく見え、針で小さな穴を開けました。 それから彼は200ワットのランプと黒いシートとホイルのサンドイッチのシンプルな構造を作りました。 このように見えた：







それから彼はランプをつけ、シートでそれを閉じ、一般的な光を消し、キヤノンEF 18-55キットとキヤノンEF 85mm / 1.8ポートレートの2つのレンズを使って写真を撮りました。 結果の写真からPSFを切り取り、プロファイルグラフを作成しました。

クジラのレンズで起こったことは次のとおりです。







Canon EF 85mm / 1.8のポートレートポートレートの場合：







フロントフォーカスとバックフォーカスの場合、同じレンズのボケの性質がハードからソフトにどのように変化するかを明確に見ることができます。 また、PSFの難しさもわかります。理想的な円からはほど遠いです。 ポートレートの場合、レンズの大口径と1.8の小口径により、大きな色収差も見られます。



そして、ここに14の口径を持ついくつかのショットがあります-それは形がどのように円形から正六角形に変わったかを示します：

PSF-計算または間接観察

次のアプローチは間接的な観察です。 このため、上記のように、元のF（u、v）画像と歪んだG（u、v）画像が必要です。 それらを入手するには？ 非常に簡単-カメラを三脚に取り付けて、同じ画像の鮮明な写真とぼやけた写真を1枚ずつ撮る必要があります。 さらに、歪んだ画像のフーリエ変換を元の画像のフーリエ変換で除算することにより、目的のPSFのフーリエ変換を取得します。 次に、逆フーリエ変換を適用して、直接形式のPSFを取得します。

私は2つの写真を撮りました：











そしてその結果、私はまさにそのようなPSFを得ました：







水平線に注意しないでください。これは、MATLABでのフーリエ変換後のアーティファクトです。 結果は平凡です-多くのノイズとPSFの詳細はあまり見えません。 ただし、メソッドには存在する権利があります。



説明した方法は、ぼやけた画像を復元するときにPSFを構築するために使用できます。 なぜなら 元の画像の復元の品質は、この関数が実際の関数にどれだけ近いかに直接依存します。 疑わしいと実際のPSFが一致しない場合、「リンギング」、ハロー、明瞭度の低下という形で多数のアーティファクトが観察されます。 ほとんどの場合、PSFは円形であると想定されていますが、最大限の回復を実現するには、一般的なレンズからいくつかのオプションを試して、この関数の形式を試してみることをお勧めします。その他の条件。

エッジ効果

次の問題は、ウィナーフィルターを直接適用すると、画像の端に一種の「リンギング」が生じることです。 その理由は、指で説明されている場合、次のとおりです-エッジ上にあるポイントに対してデコンボリューションが行われると、アセンブリには画像のエッジの外側にある十分なピクセルがなく、ゼロまたは反対側から取得されますWienerフィルターとフーリエ変換の実装から）。 次のようになります。







これを回避する1つの解決策は、画像のエッジを前処理することです。 同じPSFを使用してぼやけています。 実際には、これは次のように実装されます-入力画像F（x、y）が取得され、PSFを使用してぼかされ、F '（x、y）が取得されます。そして、最終入力画像F' '（x、y）はF（x、y ）およびF '（x、y）は重み関数を使用し、エッジで値1（点全体がぼやけたF'（x、y）から取得されます）、および画像のエッジからPSFの半径以上の距離で値を取得します0.結果はこれです-エッジのリンギングが消えました：

実用的な実装

ぼけた画像とぼけた画像の復元を示すプログラムを作成しました。 Qtを使用してC ++で記述されています。 フーリエ変換の実装として、私は最速のオープンソース実装としてFFTWライブラリを選択しました。 私のプログラムはSmartDeblurと呼ばれ、github.com / Y-Vladimir / SmartDeblurからダウンロードできます。すべてのソースはGPL v3ライセンスの下で開かれています。

メインウィンドウのスクリーンショット：







主な機能：

-高速。 2048 * 1500ピクセルのサイズの画像の処理には、プレビューモード（設定スライダーが移動している場合）で約300ミリ秒、完了モード（設定スライダーを離した場合）で1.5秒かかります。

-リアルタイムモードでのパラメータの選択。 プレビューボタンをクリックする必要はありません。すべてが自動的に行われ、歪み設定のスライダーを動かすだけです。

-すべての処理は、フル解像度の画像用です。 つまり 小さなプレビューウィンドウと[適用]ボタンはありません。

-ぼやけた画像やピンぼけした画像の回復をサポート

-ビューPSFを調整する可能性



開発の主な重点は速度に置かれました。 その結果、市販のアナログを10倍上回ることが判明しました。 すべての処理は、別のスレッドで成人向けに行われます。 300 msの間、プログラムは新しいPSFを生成し、3つのフーリエ変換を行い、Wienerデコンボリューションを行い、結果を表示します。これはすべて、2048 * 1500ピクセルのサイズの画像に対して行われます。 仕上げモードでは、12個のフーリエ変換が実行されます（各チャネルに3つ、さらにエッジ効果を抑制するために各チャネルに1つ）-これには約1.5秒かかります。 すべての時間はCore i7プロセッサー用です。



プログラムには多くのバグと機能がありますが、一部の設定では画像が波打っているとしましょう。 正確な理由を見つけることはできませんでしたが、おそらく-FFTWライブラリの機能です。



まあ、一般に、開発プロセス中に、FFTWのように多くの隠れた問題を回避する必要がありました（たとえば、423 * 440などの片側の奇数サイズの画像はサポートされていません）。 Qtに問題がありました-アンチエイリアスをオンにして線をレンダリングすると、正確に機能しないことが判明しました。 角度の値によっては、線がピクセルの端数にジャンプし、強い波紋の形でアーチファクトが生じました。 この問題を回避するには、次の行を追加しました。

// Workarround to have high accuracy, otherwise drawLine method has some micro-mistakes in the rendering QPen pen = kernelPainter.pen(); pen.setWidthF(1.01); kernelPainter.setPen(pen);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

比較

処理の品質を市販のアナログと比較することは残っています。

私は2つの最も有名なプログラムを選びました

1. Topaz InFocus-www.topazlabs.com/infocus

2.フォーカスマジック-www.focusmagic.com



実験の純度のために、公式サイトにリストされている広告画像を使用します-それらのプログラムのパラメーターが最適に選択されていることが保証されています（開発者が慎重に画像を選択し、サイトで広告に公開する前にパラメーターを選択したと思います）

それでは、行こう-グリースの回収：

Topaz InFocus Webサイトの例をご覧ください。



www.topazlabs.com/infocus/_images/licenseplate_compare.jpg





これらのパラメーターを使用して処理します。





この結果を取得します：





Topaz InFocus Webサイトの結果：







結果は非常によく似ています。これは、Topaz InFocusの基礎が同様のデコンボリューションアルゴリズムに加えて、平滑化ノイズと下線の輪郭の形で後処理を使用することを示唆しています。



このプログラムのサイトで深刻なデフォーカスの例は見つかりませんでしたが、これは意図されていません（最大ぼかし半径は数ピクセルです）。

もう1つ注意することができます-傾斜角は正確に45度で、スミアの長さは10ピクセルでした。 これは、画像が人工的にぼやけていることを示唆しています。 この事実は、回復品質が非常に優れているという事実にも裏付けられています。



例2は焦点ぼけを復元しています。 これを行うには、Focus MagicのWebサイト（ www.focusmagic.com/focusing-examples.htm）から例を取ります。







この結果を得ました：

SmartDeblur結果	フォーカスマジック結果

何が良いかはそれほど明らかではありません。

おわりに

これで私はこの記事を終了したいと思います。 私はまだ多くのことを書きたかったのですが、すでに長いテキストが判明しました。 SmartDeblurをダウンロードして実際の画像でテストしてみてください。残念ながら、ぼけた画像やぼやけた画像はあまりないので、すべてが削除されました。

そして、あなたのフィードバックと成功した/失敗した回復の例を私に送ってくれれば（プロファイルに石鹸があります）、特に感謝します。 さて、すべてのバグ、コメント、提案を報告してください-として アプリケーションはまだいくらか湿っていて、少し不安定です。

PSソースはまだスタイルの点ではあまりきれいではありません-まだ多くのメモリリークがあり、まだスマートポインターに転送することができていないため、いくつかの画像の後にファイルを開くことができません。 しかし、全体的には機能します。



SmartDeblurリンク： github.com/Y-Vladimir/SmartDeblur



UPD： 続行するリンク



--





ウラジミール・ユジコフ