ローカルバイナリパターン（LBP）画像記述子とバリエーションの概要

こんにちは、ハブロフスクの住民。 コンピュータビジョンと画像処理に興味のあるプログラマを猫に招待します。 おそらく、テクスチャの低レベルの説明と、機械学習アルゴリズムの属性の設定のためのシンプルだが効果的な数学ツールを見逃しているかもしれません。

はじめに

LBPのトピックはすでにHabréで取り上げられていますが、提案された説明を少し広げて、このパターンのいくつかのバリエーションを共有することにしました。



ご存じのように、コンピューターイメージは同じ数値情報です。 各ピクセルは、白黒画像の場合は数字で表され、色の場合は数字のトリプルで表されます。 一般に、それらは人間の目にとって素晴らしい画像を構成し、それらを変換することは便利ですが、多くの場合、情報が多すぎます。 たとえば、オブジェクト認識の問題では、各ピクセルの値に個別に関心を持つことはめったにありません：画像は多くの場合ノイズが多く、目的の画像はさまざまな方法で提示できるため、アルゴリズムはエラー、一般的な傾向をキャプチャする能力に耐性があることが望ましいです。 このプロパティは、英語のソースの堅牢性（堅牢性）と呼ばれます。



この問題に対処する1つの方法は、画像を前処理し、重要なポイントのみを残し、次のアルゴリズムをそれらに適用することです。 このために、SIFT、SURF、および他のDAISY、機能記述子が発明されました。 彼らの助けを借りて、写真をつなぎ、オブジェクトをマップし、多くの便利なことを行うことができますが、これらの記述子には欠点があります。 特に、発見されたポイントは、ある意味で、真に特別でユニークであり、画像から画像へと再現されることが期待されます。 SIFTを使用して、この画像の半分がレンガの壁であることを理解しないでください。







また、これらの記述子はローカルと呼ばれますが、それでも画像のかなり重要な領域を使用します。 これは計算コストの観点からは良くありません。 この位置を少し緩めましょう。 さらに小さな構造を考慮して、画像を特徴付けることができるでしょうか？

主なアイデア

繰り返しますが、画像の構造を記述する方法を取得したいと思います。

1. すぐに考慮
2. 順序を保持する輝度変換下で不変（ ）
3. 耐ノイズ性
4. テクスチャのばらつきに強い
5. タスクの次元を大幅に縮小します

ローカルバイナリパターンとは何ですか？ 要するに、これは各ピクセルが輝度が減少する方向を記述する方法です。 構築するのは難しくありません。 やってみましょう。

• まず、半径とポイント数を選択する必要があります...ストップ-ストップ、誰が「不正」と言いましたか？ はい、上記のほんの数行で、この記述子は非常にローカルであると書きましたが、「非常にローカル」であるものの定義は画像ごとに異なる場合があります。 ただし、半径1で停止しましょう。以降、各ピクセルについて、8つの隣接するポイントに基づいてLBPを検討します。
• 選択したポイントに番号を付けます。
• 最も外側の各ピクセルと中央の輝度の差を計算します。
• 差が負の場合（輝度が低下する場合）、隣人の代わりに心の1つを書き、負でない場合（> = 0）、ゼロを書きます。
• 形成された円をゼロと1から線に「延長」します。

ちょっと待ってください、それは単なる2進数です！ Local Binary Pattern（Timo Ojala、2002年7月）を巧妙な言葉と呼びます。 数学の観点からは、次のようになります。



ここで、sは関数ステップ（x）（ステップ）であり、次の場合に0を返します。 $$$x> 0$ そして、1 $$$x <0$ 。 $$$g_ {0、1 \ドット7}$ ピクセルの番号付き近傍の輝度値であり、 $$$g_ {c}$ -最も中央のピクセルの輝度値。



以上です。 より数学的に精通した読者は、記述子ビットを方向の輝度微分の兆候と呼びますが、これは原理的ではありません。 要件1-2が簡単に満たされていることは明らかです。 3、おそらく、改善が必要です。これについては少し後で説明します。 しかし、4で何をすべきか？ これをどのように使用するかはまだ明確ではありません。 はい、そしてタスクの寸法をかなり小さくしました。ピクセルの輝度値のバイトの代わりに、方向の輝度変化の兆候のバイトを得ました。 アフィン変換には不変性はありませんが、それを必要としませんでした。最終的に、正方形と菱形のパターンは2つの異なるパターンです。



取得したデータから、すでに何か興味深いものを抽出することができます。それらを実践する方法をすぐに見てみましょう。これに基づいて、それらを改善する方法を考えます。

OK、LBPを数えることを学びました。 次は？

テクスチャ作業が進行中の場所でLBPを使用します。 最も一般的なオプション：テクスチャはプログラムへの入力であり、その前にあるテクスチャを決定します。 これは、ステップの1つ、またはより複雑なアルゴリズムの補助になります。 たとえば、特定の形状ではなく、特定の構造（火、煙、または葉）のみを持つオブジェクトの画像の認識アルゴリズム（Hongda Tian、2011）。 代替方法：画像をセグメント化するときにLBPを使用して、シマウマ上のすべてのストリップを一意のオブジェクトとしてではなく、シマウマ全体として考慮するようにマシンに指示します。 木の後ろの森をご覧ください。



これがどのように発生するかは、タスクと選択したLBPのタイプによって異なります。 写真のLBPから繰り返しパターンを探すことは必ずしも意味がありません。また、確かに、ある画像の記述子を別の画像の記述子と比較するべきではありません。 ノイズ耐性を量で取得することを計画していますが、これは私たちにとってトリックです。結果のコードが多すぎます。 ニューラルネットワークオートエンコーダー（オートエンコーダー）をLBPカードに接続すると、良好な結果が得られます。それは、生の画像からよりも準備されたパターンからより多くの情報を抽出できます。 より簡単なオプションは、結果のすべてのコードを1つのパイルにすくい上げ（ヒストグラムを作成）、それをすでに使用することです。



最初の後者のアプローチは奇妙に見えます。 画像の微小要素の相対位置に関する情報を消去すると、情報は失われますか？ 一般に、はい、1と2が視覚的により似ている3つの画像から例を選択することは可能ですが、1と3はヒストグラムでより似ていることが判明しますが、実際にはこれはほとんどありません。



完全なヒストグラムには冗長な情報も含まれることが多いため、（S。Liao、2009年5月）で提案され、（Jinwang Feng、2015）で開発された手法を使用することをお勧めします。

• 画像内の各ピクセルの記述子を計算します
• ヒストグラムを数える
• ヒストグラムのビンを降順に並べ替えます。 驚くべきことに、（S。Liao、2009年5月）によれば、どのビンを廃棄できるかに関する情報です;ヒストグラムに沿ったそれらのまさに分布は、十分な情報を運びます。 私の意見では、あなたは捨てることができないので、とても信頼できます。
• パターンの特定の所定の割合を含むヒストグラムの一部を残し、残りを破棄します。 同じ研究のグラフは、80％が許容可能な数値であると主張しています。 分布の左側の部分（[ビン番号]、その割合）は、いわゆる支配的パターン（DLBP）です。
• DLBPはニューラルネットワークまたはSVMに供給できます。SVMは、機械学習の魔法と事前に用意されたトレーニングセットを使用して、その前のテクスチャの種類を決定します。

結論として、テクスチャに集中することを強制する人はいないことに注意してください。 AdaBoostトレーニングでは、Haarのような機能の代わりにLBPが正常に使用されます。 統合されたタグが見逃している高周波情報をキャプチャします。

バリエーション

これまでのところ、機械学習の低レベル情報としてLBPを選択することは決定的ではないようです。 上記で説明した欠陥を修正する時が来ました！ LBPのような驚くほど単純な記述子に対して、その存在中に多くのバリエーションが考案されました。



2つの相反する課題に直面しています。 最初：パターンの数を減らして、マシンで噛みやすくします。 多くの場合、ヒストグラムに関心があり、2 ^ 8要素のヒストグラムが許容される場合、2 ^ 24のうち、多くのスペースが必要です。 第二：パターンの情報内容を増やします。 異なるタイプの異なるポイントを区別したいと思います。それらが異なるほど、パターンは強くなるはずです。 別のアイテムをノイズ耐性にする必要があります。

重要なパターン

そもそも、私たちにとって最も興味深いのは、人間の目で認識できるオブジェクト、つまり線の境界、角度、ポイント、またはスポットであることに注意してください。 このようなオブジェクトのエッジに精神的に中心点を配置してLBPを計算すると、円の段階でゼロと1が2つのグループに分かれていることがわかります。 円が「引っ張られる」と、0、1、または2つの遷移0-1または1-0で数字が形成されます。 たとえば、「00111100」、「11111111」、「01111111」は「良い」パターンを指し、「10100000」と「01010101」はそうではありません。



喜ぶ。 これを発見したのは私たちだけではありませんが。 LBPの積極的な研究を開始した作業（Timo Ojala、2002年7月）では、そのようなパターンが関連情報のほとんどを伝えることにも注目されました。 彼らのために、彼らは特別な名前である「均一パターン」（均一パターン）を思いつきました。 その数は簡単に計算できます：8人の隣人に対して1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 1 = 37個（（P + 1）* P / 2 + 1）があります。 さらに、すべての不均一パターンをすくい取るもう1つのマーク。 ずっと良くなりました。





タグのセットを間引く他の方法があります。 たとえば、何らかの理由で不均一なパターンを削除したくない場合は、少なくとも中央のピクセルを中心に画像を回転させることで取得したすべてのパターンを取り除くことができます。 LBPグループを1つにマッピングする1対1の対応を入力するだけで十分です。 たとえば、「実際の」パターンは、右への循環シフト中に最小値を持つものと見なします。 または左に。 贈り物として、記述子はオブジェクトの回転に関して不変です。 （2013年6月）





オブジェクトと背景の色が変わる場合にも、同じパターンを受け入れることができます。 次に、LBPと〜LBPの最小値を「効果的な」パターンと見なすことができます。 このオプションは煙検出作業で使用され、暗い背景に対して明るい灰色に見えるか、白い背景に対して暗い灰色に見える場合があります（Hongda Tian、2011）。



（Yiu-ming Cheung、2014）では、通常、余分な隣人を取り除き、数個のピクセルのみを使用してウルトラローカル記述子をカウントし、共起行列をカウントすることで特徴を「収集」することが提案されていますが、これは通常のようです派生物の計算とそれに続く不正行為。 それらを効果的に実行することは難しいように思えます。









あるいは、2次の明るさの導関数を考慮することができます。4方向のみが必要です。 残念ながら、ノイズの悪影響を受けやすく、画像に関する重要な情報を伝達する可能性は低くなります。 この手法の適用もタスクに大きく依存しています。

耐ノイズ性

しかし、一般的に、デリバティブを考慮する方法を変えるというアイデアは良かったです。 一次導関数に戻り、符号の変更により厳しい制限を導入してみましょう。 中央のピクセルから極端な方向への方向ではなく、極端なピクセルから最も遠い方向への方向を考慮します（Junding Sun、2013）。







輝度が最初のピクセルから中心に、中心から2番目に減少する場合、ピクセルの単位を書きます。 輝度が増加するか、特定の動作がない場合-ゼロ。 残念なことに、明るい孤独なポイントと暗い孤独なポイントに関する情報は失われますが、画像に多くのノイズが含まれていることがわかっている場合は、これで十分です。



一般に、高いノイズレベルが予想される場合は、より多くのポイントを使用して導関数を計算し、選択した円の外側にある近隣の値またはピクセル値で重みを付けて平均することができます。



明るさが変化するかどうかを確認する方法も少し疑わしいようです。 実際、単に導関数の符号を使用すると、LBPは最小限のノイズが存在する場合でも、完全に滑らかな画像上でもファントムパターンを検出します。 このような問題に対処する通常の方法は、ピクセル間の輝度の変化を比較するしきい値を設定することです。 画像の性質に関する追加情報がある場合は、外部から質問することができますが、パラメーターに関する一般的な占いが始まるため、これはあまりクールではありません。 より好ましいオプションは、特定の近傍または画像全体にわたる微分の平均値を計算し、それとすでに比較することです（Jinwang Feng、2015年）。





必要に応じて、より多くのグラデーションを使用できますが、これによりパターンの最大数が増加します。

詳細情報

ローカルバイナリパターンは、3次元のケース（Xiaofeng Fu、2012）、（Guoying Zhao、2007）、（Xie Liping、2014年7月）に簡単に拡張できます。 ビデオをフレームの「スタック」と考える場合、各ピクセルには8個ではなく、9 + 9 + 8 = 26個の隣接ピクセルがあります（コーナーピクセルを削除する場合はそれより少なくなります）。 この場合、LBPを取得するさまざまな方法があります。 最も一般的な2つは次のとおりです。

• 3つの平行な平面。 各ピクセルi、jについて、フレームt-1、t、t + 1の標準LBPを計算します。 次に、それらを連結して書き留めます。または、フレームごとに変化しないパターンのみに関心がある場合は、それらを相互に比較し、結果のLBPが同じ場合にのみ書き込みます。それ以外の場合は、「ゴミ」ラベルを割り当てます。
• 3つの直交面。 各ピクセル（i、j、t）について、3組の近傍を検討します。フレーム内にあるもの、時間的に異なるもの、シリーズ的に同じもの、時間的に異なるもの、列に同じものです。 この方法は、時間とともに変化するパターンにより適しています。 以前よりも多くの計算コストが必要です。

最後に、いくつかの非ローカルフィルターの結果を記述子に添付できます。 たとえば、（Xie Liping、2014年7月）では、ガボールフィルターが使用されています。 これらは周期構造の検出に適していますが、特定の欠点があります。特に、孤立したラインで「呼び出し」ます。 LBPとグローバルフィルターを正しく組み合わせて使用​​すると、両方の欠点がなくなります。 Habrでは、Gaborフィルターの使用について、たとえばhereおよびhereを読むことができます 。

例

理論のない実践は盲目的ですが、実践のない理論は完全に死んでいるので、何かをプログラムしましょう。 この単純なPython 3.4コード（PIL、numpy、matplotlibが必要）は、画像のLBPヒストグラムを読み取って表示します。 わかりやすくするために、最適化のみを使用し、最小輝度差は画像の平均輝度差に比例して設定しました。 結果から、DLBPを計算して機械学習に使用できますが、全体として、これは非常に単純な実装です。 実際のアプリケーションでは、画像に前処理が必要です。 均質な領域の記述子であるゼロは書き込まれないことに注意してください。ほとんどの場合、非常に多くのゼロが存在し、ヒストグラムの正規化を妨げます。 テクスチャスケールの尺度として個別に使用できます。



コード：



テクスチャの例と結果：





同じビンが最大値を持つことが多いことに注意してください。これらは上記の均一なパターンに対応しています。 ただし、異なるテクスチャに対するそれらの分布は異なります。 ノイズレベルとテクスチャのランダム性が高いほど、「ガベージ」LBPが多くなります（ヒストグラムの小さなビンを参照）。

ソースのリスト

• Dong-Chen He、LN（1989）。 テクスチャユニット、テクスチャスペクトル、およびテクスチャ分析。 地球科学およびリモートセンシングシンポジウム。
• Guoying Zhao、MP（2007）。 顔の表情への応用を伴うローカルバイナリパターンを使用した動的テクスチャ認識 パターン分析とマシンインテリジェンスに関するIEEEトランザクション。
• Hongda Tian、WL（2011）。 非冗長ローカルバイナリパターンベースの機能を使用したビデオの煙検出。 ウロンゴン、オーストラリア：ICT Research Institute、Advanced Multimedia Research Lab。
• ジンワン・フェン、YD（2015）。 Dominant –テクスチャ分類用の完成したローカルバイナリパターン。 情報と自動化に関する国際会議の資料。 麗江、中国。
• Junding Sun、GF（2013）。 画像検索用の新しいローカルエッジバイナリパターン。
• S. Liao、MW（2009年5月）。 テクスチャ分類のための支配的なローカルバイナリパターン。 画像処理に関するトランザクション、Vol 18、No 5。
• T.オジャラ、MP（1994）。 分布のカルバック識別に基づく分類によるテクスチャ測定のパフォーマンス評価。 巻 1-コンピュータビジョンと画像処理に関する第12回IAPR国際会議の議事録。
• Timo Ojala、MP（2002年7月）。 多重解像度グレースケールと回転不変テクスチャ分類。 パターン分析とマシンインテリジェンスに関するIEEEトランザクション、971-987。
• Xiaofeng Fu、RW（2012）。 ビデオシーケンスからの顔の表情認識のための時空間ローカルオリエンテーションバイナリパターン ファジィシステムと知識発見に関する国際会議。
• Xie Liping、WH（2014年7月）。 3つの直交平面からの局所Gaborバイナリパターンのヒストグラムシーケンスを使用したビデオベースの表情認識 第33回中国統制会議の議事録。 南京、中国。
• ユミン・チャン、JD（2014）。 画像テクスチャ分析のためのウルトラローカルバイナリパターン。 セキュリティ、パターン分析、およびサイバネティックスに関するIEEE国際会議の資料。 武漢、Hi北、中国。