番号認識：A〜9

すでにHabréで数回、数字の認識がどのように機能するかについての議論がありました。 しかし、数字の認識に対するさまざまなアプローチが示される記事は、まだHabréにはありませんでした。 そのため、ここではすべてがどのように機能するかを理解しようとします。 そして、記事が興味をそそるならば、調査できる実用的なモデルを続けてレイアウトします。

ソフトウェアVS Iron

認識システムを作成するための重要なパラメーターの1つは、写真に使用されるハードウェアです。 照明システムが強力で優れているほど、カメラが優れているほど、数字を認識しやすくなります。 優れた赤外線（IR）フラッドライトは、室内に存在するほこりや汚れを照らすことさえでき、すべての干渉要因を覆い隠します。 私は誰かが同様の「幸福の手紙」を受け取ったと思う。そこでは数字以外には何も見えない。







撮影システムが優れているほど、結果の信頼性が高まります。 良い射撃システムのない最良のアルゴリズムは役に立たない：あなたは常に認識されない数を見つけることができます。 完全に異なる2つのフレームを次に示します。







この記事では、考慮されるのはソフトウェアの部分であり、数値がほとんど見えず、歪みがある場合（カメラの手から簡単に取り外される場合）に重点が置かれています。

アルゴリズム構造

• 予備の番号検索 -番号が含まれるエリアの検出

• 数値の正規化 -正確な数値境界の決定、コントラストの正規化

• テキスト認識 -正規化された画像で見つかったすべてを読み取る

これが基本構造です。 もちろん、数字が直線的に配置され、十分に明るく、状況に応じて優れたテキスト認識アルゴリズムを使用できる場合、最初の2つのポイントは消えます。 一部のアルゴリズムでは、数値の検索とその正規化を組み合わせる場合があります。

パート1：事前検索アルゴリズム

境界および形状分析、輪郭分析

数字を強調表示する最も明白な方法は、長方形の輪郭を探すことです。 はっきりと判読可能な輪郭があり、何にも遮られず、十分に高い解像度と滑らかな境界線がある状況でのみ機能します。







画像はフィルター処理されて境界線が検出され、その後、検出されたすべてのアウトラインが選択および分析されます。 ほとんどすべての学生の画像処理作業は、この方法で行われます。 インターネット上の例はいっぱいです。 それはうまくいきませんが、少なくとも何らかの形で。

境界の一部のみの分析

より興味深い、安定した、実用的なアプローチは、フレームワークの一部のみを分析することです。 輪郭が選択され、その後、すべての垂直線が検索されます。 y軸に沿ってわずかにシフトし、それらの間の距離と長さの正しい比率で、互いに近くに配置された2つのラインについて、数がそれらの間にあるという仮説を考慮します。 本質的に、このアプローチは単純化されたHOGメソッドに似ています。

地域の棒グラフ分析

最も一般的なアプローチ方法の1つは、画像ヒストグラムの分析です（ 1、2 ）。 このアプローチは、番号を持つ領域の周波数応答が近傍の周波数応答と異なるという仮定に基づいています。







画像上で境界線が強調表示されます（画像の高周波空間成分が強調表示されます）。 y軸（場合によってはx軸）の画像の投影が構築されます。 得られた最大投影は、数字の位置と一致する場合があります。

このアプローチには大きなマイナスがあります-背景には碑文やその他の詳細なオブジェクトが含まれている可能性があるため、マシンのサイズはフレームサイズに匹敵する必要があります。

統計分析、分類器

以前のすべての方法のマイナスは何ですか？ 実際の部屋は、汚れで汚れているため、明確な境界線も統計情報もありません。 以下に、このような数値の例をいくつか示します。 そして、モスクワにとって、そのような例は最悪の選択肢ではない、と言わなければなりません。









頻繁には使用されませんが、最良のメソッドはさまざまな分類子に基づくメソッドです。 たとえば、 訓練されたHaarカスケードはうまく機能します。 これらのメソッドを使用すると、数値に固有の関係、ポイント、または勾配の存在を領域で分析できます。 最も美しい方法は、特別に合成された変換に基づいているように思えます。 確かに、私はそれを試しませんでしたが、一見すると、安定して動作するはずです。

このような方法を使用すると、数字だけでなく、困難で非典型的な条件で数字を見つけることができます。 冬にモスクワの中心部で収集された基地の同じHaarカスケードは、約90％の正しい数の検出と、2-3％の誤った捕獲をもたらしました。 境界検出アルゴリズムやヒストグラムは、このような質の悪い画像に対してこのような品質の検出を生成できません。

弱点

実際のアルゴリズムの多くのメソッドは、直接または間接的に数値境界の存在に依存しています。 数値の検出に境界が使用されていない場合でも、さらなる分析に使用できます。

予想外に、統計アルゴリズムの場合、白い車のクロム（明るい）フレームの比較的きれいな数字であっても、汚れた数字よりもはるかに少ない頻度で見つかり、トレーニング中に十分な回数発生しないため、難しい場合があります。

パート2：正規化アルゴリズム

上記のアルゴリズムのほとんどは、数字を正確に検出しないため、その位置をさらに明確にし、画像の品質を向上させる必要があります。 たとえば、この場合、エッジを回転およびトリミングする必要があります。

数字を水平方向に回転させます

数値の近傍のみが残っている場合、境界線の選択は非常にうまく機能し始めます。選択した長い水平線はすべて数値の境界線であるためです。

このような行を区別できる最も簡単なフィルターは、 ハフ変換です。



ハフ変換を使用すると、2つのメインラインを非常に迅速に選択し、それらのイメージをトリミングできます。

コントラスト増加

そして、結果として生じる画像のコントラストを改善することは、何らかの形でより良いです。 厳密に言えば、興味のある空間周波数の領域を強化する必要があります。

レタリング

ターン後、左右の端が不正確な水平方向の数値が得られます。 余分な文字を正確に切り捨てる必要はありません。数字の文字を切り取って、それらを認識したときに動作するだけです。





（図ではすでに二値化操作が実行されています。つまり、ピクセルを2つのクラスに分割するための何らかのルールが使用されています。



水平図の最大値を見つけるだけで十分です。これらは文字のギャップになります。 特に、特定の数の文字が予想され、文字間の距離がほぼ同じ場合、ヒストグラムに従って文字に分割するとうまくいきます。

利用可能な文字を切り取り、それらの認識のための手順に進むだけです。

弱点

数字が著しく汚染されると、シンボル自体を視覚的に読み取ることはできますが、シンボルに分割されたときの周期的な最大値が単に表示されない場合があります。

水平方向の境界線番号は、常に良いガイドではありません。 番号は定期的に曲げることができ（メルセデスCクラス）、アメリカの自動車の部屋のために不適切なほぼ正方形のくぼみに慎重に引っ込めることができます。 そして、リアナンバーの上限は、多くの場合、身体の要素で覆われています。

当然、すべてのそのような問題を考慮するために-これは深刻な番号認識システムのタスクです。

パート3：文字認識アルゴリズム

テキストまたは個々の文字を認識するタスク（光学式文字認識、OCR）は、一方では困難であり、他方では非常に古典的です。 それを解決するための多くのアルゴリズムがあり、そのいくつかは完全に達しました 。 しかし、一方で、最高のオープンソースアルゴリズムはありません。 もちろん、Tesseract OCRとそのアナログのいくつかがありますが、これらのアルゴリズムはすべての問題を解決するわけではありません。 一般に、テキスト認識方法は2つのクラスに分類できます。2値化された画像を扱う形態と輪郭解析に基づく構造的方法と、直接画像解析に基づくラスター法です。 この場合、構造法とラスター法の組み合わせがよく使用されます。

標準のOCRタスクとの違い

まず、ロシアではどの場合でも、車の番号には標準フォントが使用されます。 これは、自動文字認識システムへの贈り物です。 OCRの努力の90％が手書きに費やされています。

第二に、汚れ。







ここでは、特に領域のつながり、文字の分離を確認するために画像が二値化される場合、文字認識の既知の方法の絶対的な大部分を捨てる必要があります。

Tesseract OCR

これは、単一の文字とすぐにテキストの両方を自動的に認識するオープンソースソフトウェアです。 Tesseractは 、あらゆるOS向けであり、安定して動作し、トレーニングしやすいという点で便利です。 しかし、色あせたテキスト、壊れたテキスト、汚れたテキスト、変形したテキストでは非常にうまく機能しません。 私がそれに番号認識を試みたとき、データベースからの番号の20-30％だけが力によって正しく認識されました。 最もクリーンで最も直接的な。 もちろん、既製のライブラリを使用する場合、何かは手の曲率半径に依存します。

K最近傍

非常に理解しやすい文字認識の方法は、その原始性にもか​​かわらず、SVMまたはニューラルネットワークの方法の最も成功した実装をしばしば打ち負かすことができます。

次のように機能します。

1）自分の目と手ですでに適切にクラスに分けられた実際のキャラクターの画像を事前に記録しておく

2）文字間の距離の測定値を入力します（画像が2値化される場合、XOR操作が最適になります）

3）次に、シンボルを認識しようとすると、シンボルとデータベース内のすべてのシンボル間の距離を交互に計算します。 k個の最近傍の中には、さまざまなクラスの代表が存在する場合があります。 当然、どのクラスの代表者が隣人の間でより多いか、認識可能なシンボルはそのクラスに割り当てられるべきです。



理論的には、さまざまな角度で撮影されたキャラクターの例、照明、可能なすべてのスカッフを使用して非常に大きなベースを書く場合、Kニアレストが必要です。 しかし、その後、画像間の距離を非常に迅速に計算する必要があるため、それを二値化してXORを使用します。 しかし、それは汚れた数字や摩耗した数字の場合になります。 二値化は、シンボルを完全に予測不能に変更します。

この方法には非常に重要な利点が1つあります。それは単純で透過的であるため、簡単にデバッグされ、最適な結果に調整されることを意味します。 多くの場合、アルゴリズムの仕組みを理解することは非常に重要です。

相関関係

多くの場合、画像認識で使用される方法は経験的アプローチに基づいています。 しかし、確率論の数学的装置の使用を禁止する人はいません。確率論は、レーダーシステムの信号検出の問題で単純に洗練されています。 車の番号のフォント、カメラのノイズ、または番号のほこりは、伸びのあるガウスと呼ばれます。 シンボルの位置とその傾きについては不確実性がありますが、これらのパラメーターは整理できます。 画像を二値化せずに残しても、信号の振幅、つまりシンボルの明るさはわかりません。

記事の枠組みの中で、この問題に対する厳密な解決策を実際に説明したくありません。 実際、すべて同じですが、入力信号と仮想信号の共分散を計算する操作になります（所定の変位と回転を考慮に入れて）。



Xは入力信号、Yは仮説です。 指定Eは数学的な期待値です。

異なるシンボルから選択する必要がある場合、各シンボルの回転と変位に関する仮説が作成されます。 入力画像にシンボルが含まれていることが確実にわかっている場合、すべての仮説の最大共分散がシンボル、そのオフセット、および傾きを決定します。 ここで、もちろん、さまざまなシンボル（「p」と「c」、「o」と「s」など）の画像の近接性の問題が発生します。 最も簡単なことは、各シンボルの係数の重み行列を入力することです。

これらのメソッドは「テンプレートマッチング」と呼ばれることもあり、その本質を完全に反映しています。 サンプルの設定-入力画像とサンプルを比較します。 パラメーターに何らかの不確実性がある場合は、考えられるすべてのオプションを使用するか、 適応アプローチを使用しますが 、ここでは既に数学を知って理解する必要があります。

この方法の利点：

-ノイズが選択されたモデルと少なくともわずかに一致している場合、予測可能でよく研究された結果。

-私たちの場合のように、フォントが厳密に設定されている場合、非常にほこりっぽい/汚れた/すり減ったキャラクターを見つけることができます。

短所：

-計算が非常に高価です。

ニューラルネットワーク

Habréの人工ニューラルネットワークについては、すでに多くのことが書かれています。 現在、それらは通常2つの世代に分けられています。

-誤差の逆伝播を伴う勾配法によって訓練された古典的な2層ニューラルネットワーク（3層ニューラルネットワークを図に示します）;

-いわゆる深層学習ニューラルネットワークと畳み込みネットワーク。

過去7年間、第2世代のニューラルネットワークは画像認識でさまざまな競争に勝ち、他の方法よりもわずかに優れた結果をもたらしました。

手書き数字画像のオープンベースがあります。 結果表は、ニューラルネットワークに基づくアルゴリズムを含むさまざまな方法の進化を非常に明確に示しています。

また、印刷フォントの場合、最も単純な単層または2層（用語の問題） ネットワークが完全に機能することを別に注意しておく必要があります。

この方法の利点：

-適切なセットアップとトレーニングがあれば、他の既知の方法よりもうまく機能します。

-大きなトレーニングデータアレイを使用すると、キャラクターの歪みに耐性があります。

短所：

-説明されている方法で最も難しい。

-多層ネットワークの異常な動作の診断は、単に不可能です。

おわりに

この記事では、認識の基本的な方法、それらの典型的な不具合とエラーについて検討しました。 おそらくこれは、市内を旅行するとき、またはその逆の場合に、あなたの番号をもう少し読みやすくするのに役立ちます。

また、数字の認識の問題に魔法が完全に欠けていることを示すことができたことを願っています。 すべてが明確で直感的です。 それは、対応する専門分野の学生の学期論文にとって絶対にひどい仕事ではありません。

そして、数日後に、ZlodeiBaalはこの記事が書かれた私たちの仕事に基づいて、数字で小さなレコグナイザーを投稿します。 彼女は拷問を受けることができます。

Z.Y. 記事に記載されているすべての数字は、単純なリクエストによってGoogleおよびYandexから抽出されます。

文学

1）オートナンバープレート認識システムのオンドリマルティンスキーのアルゴリズムと数学の原理-レビュー記事。

2） リアルタイム移動車両ナンバープレートの検出と認識 Kuo-Ming HungおよびChing-Tang Hsieh-ナンバープレート認識へのホログラムアプローチ

3） ニューラルネットワークフレームワークで共分散記述子を使用した堅牢なナンバープレートの検出 Fatih Porikli、Tekin Kocak-数字を検索する際のニューラルネットワークアプローチ

4） ハフ線とテンプレートマッチングを使用した自動ナンバープレート認識 Saqib Rasheed、Asad Naeem、Omer Ishaq-垂直線のHOG記述子を使用した数字の検索

5） 文字認識の方法の調査 Suruchi G. Dedgaonkar、Anjali A. Chandavale、Ashok M. Sapkal-ブナと数字の認識に関する短いレビュー記事

7）教科書「 画像処理の理論の基礎 」、V。R. Krasheninnikov