空間および周波数画像処理の基礎。 Yandexからの講義

今日は、画像処理の古典的で最も簡単な方法についてお話します。 この講義から学ばなければならないこと：

• ヒストグラムを作成します。
• ヒストグラムを変更して、画像で何ができるかを理解します。
• ノイズを抑制し、そのタイプについて学びます。

さらに、空間領域での画像の表現とは何か、周波数領域での画像の表現は何を意味するのかを理解します。



これを行う理由を理解せずに画像を改善することは不可能です。 目標は2つあります。それを修正して、自分が一番好きなものにするか、変換して、コンピューターがその兆候のいくつかを数え、有用な情報を抽出しやすくすることです。

空間エリア

画像はxとyの関数として表されることを思い出してください。 本格的な画像について話している場合、この関数の各値は3桁の数値であり、各色チャネルの値です。







空間領域で画像を表現することは、画像を理解して見るためにどのように使用されるかです。 xとyがあり、各ポイントに何らかの強度値またはカラーチャネル値があります。



このスライドでは、LenaとOpenCVライブラリのロゴが、赤、緑、青の3つのカラーチャンネルでレイアウトされています。







光源がない場合、黒色になります。 3つの原色すべてのソースを組み合わせると、白になります。 これは、暗い領域では、このカラーチャネルの収束がないことを意味します。



これは通常の空間表現です。 さらに、主に白黒写真に焦点を当てますが、原則として、すべてのアルゴリズムはカラー画像に適用できます。



タスクを簡素化するために、イメージが1次元であると想像してください。 左から右に向かう線は、明るさのすべての変化を表示します。 開始時のスプラッシュは、1組の白いピクセルに対応しており、灰色の領域があり、それから再び白になります。 黒に落ちます。 つまり、この線に沿って、輝度の変化を追跡できます。







別の例を見てみましょう。







明るさのデータを除いて、信号に含まれる情報を他にどのように説明できますか？ これをコンポーネントに分解することができます。たとえば、全体的な傾向を追跡するために曲線を非常に滑らかにします。 私たちと一緒に、最初にダウンし、次にアップし、次にダウンして何度もアップします。 このことに対して、ほぼ漸近的な近似が得られます。



さらに詳細を見ることができます。 詳細のバーストはどれくらい小さいですか。 私が言及していること：原則として、この関数は高調波成分に分解できます。 フーリエ級数が何であるかを覚えている人にとって、同じ名前の定理によれば、任意の関数（周期的であると言われていますが、これは一般に任意の関数です）は、ここに示されている異なる周波数と振幅の正弦と余弦の合計として表すことができます。 この人為的に生成された関数は、これら4つの関数の合計です。



それについて何ができますか？ これらの正弦波と余弦波のセットによって与えられる一定の基礎があると想像してください。 各基底関数の頻度を知っています。 次に、元の関数を表すために、各基底関数を乗算する必要がある係数であるスカラーのみを知る必要があります。



フーリエ変換の基本的な考え方は、任意の画像をサインとコサインの合計として表すことができるということです。 なんで？ 周期関数は常にサインとコサインの合計として表現できるためです。 非周期関数は、その下のグラフの面積が有限である場合（これは常に画像に当てはまります）、正弦波と余弦の合計として表すこともできます。 そのような関数を完全に正確に表すには、無限に多くの関数がなければなりませんが、それでも実行できます。



そのような用語の頻度は、画像を特徴付けます。 各画像について、どの基本周波数が優先されるかを示します。



基底関数の係数について何が言えますか？ 基底関数の前に高い周波数の大きな係数がある場合、これは明るさが非常に頻繁に変化することを意味します。 この写真は、小さな地域での明るさの多くの違いを示しています。 画像が低周波数の滑らかな正弦波で記述されている場合、これは、画像に多くの均一な領域があるか、明るさが滑らかに変化するか、たとえば画像が「退屈」したことを意味します。



したがって、周波数領域マッピングを使用して画像を記述することができます。



元の信号を取得し、同じ振幅と異なる周波数の振動の合計として提示し、それらにロック係数を乗算し、そのような新しい基準に沿って元の関数の拡張を取得します。



ここで、携帯電話を使用して誰かに写真を転送しようとしているとします。 以前は、230個すべての輝度値を渡す必要がありました。 しかし、今では、受信側と受信側が基本的な機能を「知っている」場合、送信される情報の量は大幅に削減されます。 実質的に少ないパラメーターを使用して同じ情報を転送できます。



フーリエ変換が画像処理で非常に人気があるのはなぜですか？ これにより、送信される情報の量を大幅に削減でき、元の形式でイメージを復元できます。 また、フーリエ変換はフィルタリングプロセスを容易にしますが、それについては後で詳しく説明します。 フーリエ変換は可逆的であるという点で優れています。 関数を係数付きの周波数成分に分解しましたが、周波数表現から空間表現に行き来できます。



理論的には、関数を正弦波の無限のセットとして表すことができますが、実際には（無限大には到達できないため）最初のいくつかの項（最大の係数を持つ）のみに制限されます。 空間領域に復元されると、画像は元の画像とわずかに異なります。つまり、情報の一部が回復不能に失われます。 ただし、限られた数のコンポーネントを使用すると、イメージを十分に復元できます。



周波数の所定の基準でスカラーの値を計算する方法は？ フーリエ変換では、基本関数として正弦波と余弦波があります。 また、逆フーリエ変換があります。これにより、周波数に依存する係数のセットから空間領域の元の表現を復元できます。



ここで、高調波は、前のスライドで描かれたまさにサインとコサインです。 固定周波数ごとに、xの特定の関数があります。



同じ名前の場合、多かれ少なかれ明確になることを願っています。 ここで、2次元の場合を見てみましょう。なぜなら、私たちの絵は2次元だからです。



ここで、2次元の高調波を構築することもできます。これは、4つのパラメーターx、y（2方向）およびx方向とy方向の2つの周波数に既に依存しています。



たとえば、そのような正方形を考えてみましょう。 ここでは、上面図と異性体の両方が描かれています。 ハーモニカが角から角へスムーズに移動する様子がわかります。 ここで、再び直接フーリエ変換を適用できます。逆もまた同様です。ここでは、空間表現を再度取得するために2つの固定周波数の係数が既にあります。



ここで、いわゆるフーリエスペクトルによる直接変換の結果を視覚化するときに理解できることを見てみましょう。 フーリエ変換について説明していますが、基底関数として高調波ではなく他の関数を選択する他の信号変換も使用できます。 多くの場合、[ウェーブレット]は基本機能として使用されます。 ある意味で、それらはサインやコサインよりも成功しています。



スカラーの値からひょうを考えてみましょう。 ここに離散的なケースがあります-固定関数uとvの基底関数はどのように見えるか。 それらをそれぞれ軸uおよびvに沿って配置します。 この構成では、フーリエスペクトルは係数の値のマッピングです。 中心では周波数がゼロであり、端に向かって周波数が増加することを理解することが重要です。



さらに、各セルがパラメーターFの値を追加し始めた場合、拡張時に取得した係数です。 係数が大きいほど、スペクトル上で明るく表示されます。 つまり、フーリエスペクトルを視覚化します。 係数F = 0の場合、黒で表示します。 大きいほど、色が明るくなります。



2次元スペクトルでは、1つのピクセルのみがu = 0、v = 0、次のピクセル-U = -1、V = 0に対応します。 ピクセル値は、変換から取得した係数に等しくなります。 中心係数は、画像表現におけるこの高調波の重要性に対応することが重要です。中心は、周波数がゼロの高調波です。 つまり、写真で、ここで非常に大きな応答がある場合、これは写真が実際にその明るさを変えないことを意味します。 ここの写真に暗いスポットがあり、周辺部が明るい場合、斑点があります-各点と各方向で輝度に違いがあります。



画像はスペクトルではなく、2次元の正弦波の視覚化です。



この写真を見てみましょう。 通常、スペクトルの対数を描画します。そうしないと、非常に暗くなります。 しかし、ほとんどの写真では、写真に多くの同種の領域があるため、中央の明るいスポットが典型的です。 周波数がゼロのとき、明るさに違いはないことに注意してください。 輝度に差がある場合、スペクトルのどの点にこの差が寄与するかは、輪郭の方向、差の方向に依存します。 ここにはエッジがありますが、それらは周辺に塗られており、鮮明な反応は得られません。

空間処理

画像を使ってできることを見てみましょう。 空間領域で最も単純で最も直感的な変換から始めましょう。

写真を反転

輝度が0から255に変化する場合、ピクセルごとに255から以前の値を引いた値を書き込みます。 黒は白になり、白は黒になります。



画像のプレゼンテーションの最も簡単で実用的なタイプの1つは、ヒストグラムです。 任意の画像について、輝度がゼロのピクセルの数、輝度が50、100などのピクセルの数などを計算し、ある種の頻度分布を取得できます。



この図では、レナは125を超えるすべての輝度ポイントを切り取ります。ヒストグラムを左にシフトして、暗い図にします。 2番目の図では、逆のことが言えます-明るいピクセルのみがあり、ヒストグラムは右にシフトします。







次の写真はぼやけており、はっきりとした輪郭がありません。 このような画像は、中央のどこかにある明るさの列と、スペクトルの端にエネルギーがないことによって特徴付けられます。



2番目のLenaでは、このスライドから処理が行われ、各輪郭が強調されます。つまり、輝度の差がより強くなります。 ここで、ヒストグラムは明るさの全範囲を占めます。







ヒストグラムで何ができますか？ ヒストグラムの形状は、すでにその特性について多くのことを伝えることができます。 次に、ヒストグラムを使用して何かを実行し、その形状を変更して画像の外観を良くします。



暗い画像の場合、ヒストグラムを右に引き伸ばすと、画像は明るくなり、明るい画像の場合はその逆になります。 これはすべてのフォームに当てはまります。 画像のヒストグラムが周波数範囲全体をカバーしていない場合、均一にストレッチすると、画像はよりコントラストになり、細部がよりよく見えるようになります。



ヒストグラムの線形変換を行いました。 スクリーニングまたは線形化と呼ばれる非線形変換を行うことができます。 これにより、各輝度のピクセル数がほぼ同じで、元のヒストグラムをより均一にすることができます。







このようにします。 この式で、x _kは特定の明るさのレベル、n _kはそのような明るさのピクセル数、nはピクセルの総数です。 ピクセルを選択し、ピクセルが色x _kになる確率を取得します。 つまり、ピクセル数n _kをピクセルの総数で割ったものです。 実際には-共有。



均一な確率密度を取得してみましょう。つまり、色ごとに同じ確率で取得できます。 これは、次の変換によって実現されます。 _数式を使用して色x _kのピクセルからy _kの新しい輝度値を計算する場合、つまりiからこの色までのすべての確率を取り、番号を付けると、ヒストグラムはより均一になります。 つまり、元の暗い画像はこのように見えましたが、この画像の明るさに適応を適用すると、この形状のヒストグラムになります。 ご覧のとおり、これらはすべての可能な値に均等に分散されており、画像は次のようになります。



明るい画像についても同じことを行います。 また、最初は写真が同じ写真から取得されたため、ヒストグラムは実質的に一致します。



シャープでぼやけた画像のイコライゼーションの結果を次に示します。 画像はシャープな画像に対してあまり変化していないことがわかりますが、ヒストグラムは少し滑らかになっています。

二値化

私たちはすでにカラー画像を放棄しており、グレーについてさまざまなグラデーションがある白黒についてのみ話している。 二値化は、画像を拒否したときの画像のm笑の続きです。 その結果、白黒のみの写真が得られます。 黒にするピクセルと白にするピクセルを理解する必要があります。



これにより、多くのタスクの詳細な画像分析が簡単になります。 たとえば、テキスト付きの画像がある場合、画像内のすべての文字が白（または黒）で、背景がその逆であると便利です。 次の文字認識アルゴリズムを使用すると、このような画像を簡単に操作できます。 つまり、オブジェクトから写真を明確に分離する場合は、2値化が適しています。



最も単純なタイプの二値化-しきい値について話しましょう。 このタイプは実際には写真にはあまり適していませんが、それでも時々使用されます。







ヒストグラムにしきい値二値化を適用すると、画像には2種類のピクセルがあります：暗い部分と明るい部分。 通常、より多くのピクセルが背景に一致すると想定されます。 このことから、ここではさらに多く、暗く、暗い背景を持ち、1つ以上の明るいオブジェクトがあると結論付けます。 オブジェクトは合成できます。 ここには、異なる色の2つの明るいオブジェクトがあります。



これらは非常に美しいヒストグラムであり、人生ではそのようなものはほとんどありません。 しかし、背景をオブジェクトから分離するためにしきい値を描画する必要がある場所を理解するのは簡単です。 ここで、それらの間のしきい値を正確に取得し、しきい値より明るいすべてのピクセルを白に、暗いピクセルを黒にすると、背景からオブジェクトを完全に分離します。 必要な明るさの範囲を選択したら、画像からオブジェクトを切り取ります。



二値化は、しきい値の計算方法に基づいてタイプによって異なります。 グローバル2値化では、しきい値は画像内のすべてのポイントで同じです。 ローカルおよび動的な2値化では、しきい値はポイントの座標に依存します。 適応二値化では、しきい値はこの時点の輝度値にも依存します。



グローバル2値化のしきい値の選択は次のとおりです。 これは手動で行うことができますが、当然、誰も手動で何もしたくないのですが、自動的にしきい値を選択できます。

最も単純なアルゴリズムは次のとおりです。まず、任意のしきい値を取得し、このしきい値の画像を2つの領域に分割します。 それらの1つには、しきい値より大きい値を持つピクセルが含まれ、もう1つにはしきい値より小さいピクセルが含まれます。 これらの領域について、平均輝度値を計算します。 その後、それらの半合計を新しいしきい値と見なします。 アルゴリズムは、特定の反復回数の後、結果の輝度が別の所定のしきい値よりも低くなると、作業を終了します。



この写真は、ローカル2値化の利点を示しています。







二値化がグローバルである場合、画像全体のグローバルしきい値が選択され、結果は画像bのようになります。 ここのピクセルは、ほぼ同じ輝度レベルの1つの領域にあるため、この部分はすべて白色で照らされています。 その場合、ローカルの2値化の最も単純なバージョン（つまり、画像をセグメントに分割し、各セグメントのしきい値を個別に選択する）を適用すると、2値化の結果はすでに良く見えます。



この図では、ヒストグラムが美しい可能性があります。 ピークがあり、谷にはゼロ値がないかもしれません。 これは明るい部分と暗い部分です。 つまり、しきい値を選択しましたが、このオブジェクトを強調表示するような方法で選択することはできません。しきい値が1つしかない場合、ピクセルを黒または白にする基準は画像内のすべてのピクセルで同じであるためです。 さらに、色は同じで、単一のしきい値があるため、異なるコンポーネントに起因することはありません。



複雑な画像を2値化する場合は、まずそれを適切にセグメント化する必要があります。 最も簡単な方法は、固定グリッドをオーバーレイすることです。 セグメント化の方法がわかっている場合は、各エリアでグローバルなしきい値を選択すると、2値化が機能します。



これらの2つの領域では、完全に黒いピクセルがあり、明るいピクセルがあるため、すべてが悪いです。 小さな正方形ごとにしきい値を見つけて、この小さな正方形の内側に適用します。

接続されたコンポーネントの抽出

黒と白のピクセルのみで構成されるバイナリイメージがあるとします。 この方法で、接続された領域にピクセルの所属をマークします。この領域内のすべてのピクセルは同じ色であり、互いに接続されています。







接続されているすべての白をすべて黒から分離します。 4つと8つの接続された領域は区別されます。 4つの連結された近傍では、垂直および水平に位置するピクセルのみが考慮され、8つの連結された領域では、斜めの近傍も考慮されます。



最も単純なアルゴリズムは2パスで、次のように機能します。 左上隅から開始し、最初のピクセルに番号を割り当てます。 次に、右に移動して、ピクセルの色が既にマークされている色と一致するかどうかを確認します。 一致する場合は、同じラベルを割り当てます。 このピクセルがゼロでマークされている場合、このピクセルもゼロマーカーを受け取ります。 そして、ここにすべてのゼロがあるので、行の終わりに到達します。 さらに、2行目の3番目のピクセルの色は、既にマークされた近傍の色と一致しません。 エリアカウンターを増やして、このピクセルに次のエリアの番号を割り当てます-1.ここに移動します。このエリアには既にラベルのある同じ色の隣人がいます。同じラベルが割り当てられています。 次に、カウンターを増やして、2、3、4、5、6、7の番号を割り当てます。これが最初のパスの結果です。 2番目のパスでは、同じ色の隣人が異なるラベルを保持している領域のみを組み合わせる必要があります。 結果はこの種の画像です。







これは、ある色の背景、別の色の1つの連結成分、および3番目の色の2番目の連結成分です。 黒地に赤と白のコンポーネント。



すでに最初のパスで、複数のラベルが1つのコンポーネントに対応するという情報が蓄積されています。 それらがすべて同じ色であり、1と2が同じコンポーネントに属していることは明らかです。 この情報は、2回目のパスで記録され、番号が付け直されます。



どこで使用されていますか？ これは、画像をセグメント化する1つの方法です。 最も単純な例は、画像がバイナリの場合、カラーイメージで接続されたコンポーネントを強調表示することができます。 そこだけで、1つのコンポーネントを結合するための基準はフルカラーマッチングではありませんが、しきい値によって異なります。

フィルタリングアルゴリズム

これはより複雑なトピックです。 簡単に言えば、フィルタリングとは、特定の機能を画像に適用することです。 フィルタリング操作は畳み込みと呼ばれます。 次のように実行されます。



空間領域に画像があり、フィルター（別名マスク、別名コア）があることを想像してください-いくつかの機能。 離散的な場合、値を持つ配列です。 このマスクを画像の一部に押し付けます。 次に、マスクの中央要素の下にあるピクセルの値が、ピクセル値の加重合計にマスク値を掛けたものとして計算されます。 つまり、画像にマスクを配置し、中心の下にあるピクセルの値は、ピクセル値にマスクの係数を加え、値に別の場所の係数を掛けたものとして計算されます。







マスクは、いわば絵の上を滑るので、各ピクセルにそれを課さなければなりません。 境界ピクセルでは、次のことが起こります。 フィルター処理を実行できるようにするために、2つのオプションを選択します。フィルターに合わせて切り取られるため、出力画像は元の画像より小さくなります。つまり、フィルターの半分を上下、左右から切り取ります。 または、元の画像を増やしています。 ほとんどの場合、黒のピクセルが追加されるか、より正当なことに、画像の端のミラーリングされたピクセルが追加されます。



つまり、そのような画像とそのようなフィルター（3 x 3）があり、その画像で何もしないと、この部分だけがフィルターで除外されます。 両側に1ピクセルずつ失われます。 エッジに沿って黒または白のピクセルを挿入するか、エッジをミラーリングすることにより、元の画像を別のピクセルだけ増やすことができます。 より大きなフィルターがある場合、それに応じてエッジに沿って成長する領域を増やします。



畳み込み演算には、可換性などの多くの快適な特性があります。つまり、最初に何が来ても、画像やフィルターは関係ありません。 結合性。つまり、2つのフィルターがある場合、最初に適用してから2番目に適用するか、これらのフィルターに基づいてフィルターの畳み込みを構築してから、イメージに適用できます。



追加による分布-2つのフィルターを追加し、重みを追加して新しいフィルターを取得するか、最初に1つのフィルターを適用し、次に2番目にフィルターを適用して結果を追加します。 スカラーを括弧から取り出すことができます。 つまり、係数がある場合、すべての重みをある数で除算し、フィルターを適用してから、この定数を結果に掛けることができます。 このようなフィルターで画像を折りたたむとどうなりますか？ 1ピクセルシフト。



フーリエ領域の定理が周波数領域でうまく機能する理由を説明することを約束しました。 畳み込み定理があります。 これは何ですか 畳み込み定理によると、空間領域で畳み込みを行うと、周波数領域でフーリエ変換の結果を乗算することと同じになります。 画像FとフィルターHがあり、それらを折りたたむと、周波数領域で画像とフィルターを作成するのと同じになります。 つまり、画像とフィルターのフーリエ変換係数を見つけ、それらの間で乗算します。 そして反対方向に。 空間領域で乗算を行う場合、これはフーリエ変換の対応する係数の畳み込み演算と同じです。



もちろん、フィルターを画像に使用して、画像全体に長時間移動することもできますが、これはかなり難しい計算タスクです。 フィルタと画像の高速フーリエ変換を実行する方がはるかに簡単です。

フィルター/カーネルとは何か、イメージで何をするか

平均化フィルターは最もよく知られているものの1つです。 ランダムノイズを除去できます。 このフィルターのマトリックスは次のようになります。



フィルターは画像を滑らかにします。 係数をわずかに異なる方法で再配置すると、水平および垂直の輪郭をより明るくする、つまり輝度の差を残すことができます。



カーネルがある場合、それは何かで崩壊します-これらは線形フィルターであり、すべての操作は線形です。 順序統計に基づくフィルターもあります。 ここでは、各ピクセルの値を平均する代わりに、中央値が取られます。



このフィルターは既に非線形です。 中央値フィルターは放出に対する耐性が高く、平均値からの大きな偏差があるため、中央値フィルターは塩や胡pepperなどのノイズの抑制に優れています。



別の非常に一般的なフィルターは、ガウスフィルターです。 これは、次のようなガウス関数による畳み込みです。 半径に依存しています。 以下は、空間領域でのフィルターの表現と周波数領域でのフィルターの表現です。 フィルタ特性のタイプによって、それが画像で何をするかを決定することは可能ですか？



畳み込み定理を思い出してください。 画像の画像にこれを掛けます。 どうなるの？ 高周波を大幅にカットすると、画像がより滑らかになります。 これがスムージングの結果です。



元の画像では、画像はサイズ5の= 1.4およびサイズ2.8のガウスフィルターで平滑化されます。半径が大きいほど、画像はよりぼやけますが、フィルターサイズ（サンプル数）の間に明確な関係はなく、実際には意味がありません小さいサイズで大きいサイズを選択してください。



ここでは、フィルターサイズが3x3（小さい）であり、大きい場合、これはすべての値を反映できないことを意味します。 暗黙のルール-サイズは約5-6です。 ノイズがあり、それを取り除きたい場合は、スムージングを使用する必要があります。 つまり、近傍の値を調べることで各ポイントの値を平均しようとしています。これが何らかの異常値である場合は、この値を削除します。



画像の詳細を強調する必要がある場合があります。 これは、異なる種類のカーネルとの畳み込みを使用して行うこともできます。 たとえば、このようなコアを使用したコンボリューションにより、ポイントフィーチャを選択できます。 残念ながら、ここでははっきりと見えませんが、画像に欠陥があるため、白い点があります。 これがこのフィルターとこの画像の畳み込みの結果です。白い点があります。 これは二値化の結果であり、白い点もあります。



なぜこれらの輪郭が実際にここに残っていないのですか？ 写真では、それらは非常にはっきりと見えます。 畳み込みでは、ポイントがはっきりと見えるようになり、輪郭は実際には見えなくなりました。 その点は孤立しており、その上にマスクが配置されている点の値は、周囲のすべてのものよりもはるかに高いためです。



カーネルの外観をわずかに変更することにより、行を検出できます。 この種のカーネルに問い合わせると、この種の水平線（45°、垂直、および-45°の角度）を検出できます。 以下は、元の画像、-45°のコア、および2値化の処理の例です。



一般に、輪郭とラインとポイントの選択は、ポイントフィーチャの割り当てです。 多くの選択アルゴリズムがありますが、ここではそれらの基本について説明します。



画像の明るさの違いを見つける方法。 明るさの違いは何ですか？ これは、ある色のピクセルがあり、別の色のピクセルになったときです。 写真のプロファイルを見ると、最初はすべてが黒でしたが、一度灰色になりました。 または、スムーズに変化しました。 つまり、明るさのジャンプまたは低下があります。 それを分離するために、単に派生物を取ることができます。 フラットな値（輝度が変化しない場合）では、微分は0です。輝度が変化する場合、差が大きいほど、微分の値は大きくなります。 一次導関数を使用すると、輝度の滑らかな変化のセクションを強調表示できます。 ゼロ交差線のようなものがあります。 導関数の値を計算し、それらを組み合わせると、想像線がこのレベルと交差するこのポイントのどこかに輪郭が位置すると仮定できます。



画像の微分係数を計算するにはどうすればよいですか？また、画像の勾配はどのくらいですか？ xとyに沿って明るさがどれだけ変化するかがわかります。



, , , .



. x - . 1 . .



, , . , , — , , — , — .



, x y. , . , . , .



, . — . , , , , , . , , — , e — , , g — .



, , , — Mexican Hat.



. , , , . , . .



, , , .