たまごっちに番号認識を詰め込むことは可能ですか？

Habrでの数字の認識については、かなり前に話しています。 もっと面白いといいのですが。 それがどのように適用されるのか、なぜそれが必要なのか、どこに押し込められるのかを伝える時が来たようです。 そして最も重要なのは、新しいマシンビジョンアルゴリズムの出現により、近年これがどのように変化したかです。







奇妙なことに、番号認識は交通制御だけでなく使用されます。 多数のアプリケーション。 また、各タスクには独自の仕様、ターゲット品質、入力画像、速度要件などがあります。 最も単純で最も一般的なものから始めましょう。

交通規制

まず、交通カメラの使用方法についていくつか話をする価値があります。 私たち自身はこのトピックについて非常に表面的ですが、多くの大企業とコミュニケーションを取り、多かれ少なかれ業界の状況を理解しています。



たとえば、簡単な質問。 あなたの意見では、誰がカメラを設置し、作業を監視しますか？





速度制御



奇妙なことに、これは民間企業の特権です。 交通警察の検査官は、データベースで罰金を受け取り、すべてが正しく記入されていることを確認し、私たちに送ります。 罰金からの利益は50/50に分割されます。 半分はカメラを提供しているコンセッショネアに、半分は予算に割り当てられます。



コンセッションとは、多数のカメラの設置とメンテナンスの契約です。 通常、各地域では数十台のカメラを多数提供しています。 しかし、それはさまざまな方法で起こります。 最も壮大な譲歩の一例は、コサックがどのように罰金を科すかです（ところで、これは唯一のケースではありません）。



現在までに、いくつかの違反が検出されています（リストは完全ではありません。主な違反をリストします）。

1. 速度制御
2. 信号制御
3. ペギング制御
4. 運動制御

移動制御



モスクワを除いて、ちょっとしたことは速度制御です。 ほとんどの罰金の流れがあります。 信号機や車線にあるカメラはすぐに利益を上げなくなり、人々は最初の罰金の後、特に小さな地域の場合、普通に運転を始めます。 しかし、特に大規模なルートでは、スピード違反は安定した利益をもたらします。

ほんの数年前、すべての高速カメラはレーダーでした。 しかし、レーダーはそれらの中で最も高価なものです。 そして約15年間、誰もが彼を追い払おうとしてきました。





三脚からの速度制御



そして、わずか1〜2年前に、彼らは最初のレーダーレスシステムのライセンスを取得しました。 現在、すでにそれらのいくつかがあります。 正直に言うと、今日何人いるのかわかりません。 私には3つのようですが、私は間違っている可能性があります。 多くの新しい番号認識アルゴリズムが登場し、品質が向上し、良質の鉄の価格が低下したという事実に基づいて、カメラの艦隊のグローバルな交換、増加、更新が行われています。 カメラを置いて成果を上げることができるポイントはたくさんあります。 おそらく、設置の80％が今後5年間でレーダーレスシステムに移行するでしょう。



カメラはコンセッショネアによって設定されているため、このトピックは非常に有益で流動的です。

カメラ自体は非常に異なる場所に配置できます。 三脚でも、特別な農場でも、道路の近くに固定式のベッドサイドテーブルでも、簡単な支柱でもかまいません。



約10年前、アルゴリズムは弱く、数値はより悪く認識されていました。 今では携帯電話でも良い品質を得ることができます。 設置場所のばらつきが増えています。

「認識が悪くなった」とはどういう意味ですか？ 実際、適切な照明を備えた頑丈なカメラでは、合格数の約95〜98％を認識することができます。 これは、5〜7年前のニューラルネットワークの前でした。 現在、パーセンテージはわずかに高くなっていますが、それほどではありません。 認識されない数字はすべて、汚れ、雪で汚れており、甘やかされています。 システムが認識しないものの90％-人自身は認識しません。 しかし、劣悪な環境でのカメラの認識は大幅に改善されました。 側面の湾曲した柱に吊るされ、光がほとんど出ないなど。 これはすべて、最小限の設定で機能します。



もちろん、ブリザードでは、認識品質はゼロに低下しますが、気にしません。

市場への参入の難しさと州による規制（新しい番号認識システムの認証は少なくとも半年）にもかかわらず、決定で飽和状態になっています。

パーコン

パーコノフの特徴は、画像の品質がこれまでになく悪化していることです。 射撃は、移動中の車、または歩行者検査官によるものです。 認識されるデータは、次のようになります（レジストラから記録され、アルゴリズムによって認識されるため、これはParkonとは無関係です（ビデオなど））。





認識の品質が低いため、システムが認識したことを常に確認する必要があります（実際のパークオンでは、カメラの方がはるかに優れている、ライトが点灯しているなど）。 さらに、同じ車が駐車場にあるかどうかを確認します。 たとえば、DITでは、私が聞いたように、アルゴリズムはまだ最後の世代のものです。 1年前の罰金の処理は、目ですべてのデータを検証したほぼ100人の労働者のワークショップによって行われました（これらはすべて、現実に一致しないかもしれない地域で広まっているうわさでした）。



ところで、モバイル検査官の場合、データも検証されます。 これは、彼が敵に罰金を課さないようにするための追加の保護です。



新世代のアルゴリズムでは、検証はもはやそれほど重要ではないので、パイプラインが既に更新されていることを本当に願っています。



いずれにせよ、主な問題は番号を認識することではなく、受信した情報に関してシステムを安定させ、エラーを排除することです。

スマートフォン/モバイルデバイスでの認識

歩行者検査官から、あなたはより広いカテゴリー-「スマートフォンでの認識」にスムーズに移行できます。







車のプレート認識は2つの方法に分けられます。 最初の方法は、サーバー上の数字の認識です。 2番目はデバイス上にあります。 デバイスでの認識はより困難です。 2年前にうまくやるのは非現実的でした。



認識の比較に戻ります。 まず、この認識が必要な場所について説明します。



最初のタスクは、入力データを最適化することです。 従業員が路上で何らかのドキュメントに記入する必要がある場合に発生します。 それは、交通検査官、保険代理店、自動車ディーラーでありえます。 従業員は車の写真を撮り、ボタンを押します。 文書では、車の番号は自動的に認識されます。



タスクは良いニュースではありませんが、彼らは冬にはそれが人々を助けると言います。



スマートフォンで番号を認識するときに解決する2番目の問題は、プライベートエリアでの車の制御です。 たとえば、駐車場、荷降ろしエリアなど。 検査官がそこを歩いて、写真のすぐ後にタブレットに必要な情報を表示します。

スマートフォンの認識機能は、次の瞬間と呼ぶことができます。 番号が正しく認識されない場合は、本人が番号を編集します（パーコンでは発生しません）。 また、最初のタスクに対する正しい認識の心理的しきい値は約80％であるため、過去の世代のアルゴリズムでさえ良い仕事をしました。 これらのタスクのいくつかを使用するために、過去のアルゴリズムを試しました。 それはうまくいきますが、経済的効果は疑わしいです。 パイロットは発砲せず、システムの顧客がそのような機能を注文したときに一度だけ使用され、請負業者が私たちに尋ねました。 そして、それでさえショーのためです。



2番目のタスクについては、95％にするとよいでしょう。 最新のアルゴリズムのみがあります。



ある程度のエラーは許容されます。 人々はまだすべてを手動で認識しています。 そして、何かが間違っている場合、彼らはチェックして支配します。

障壁

これが良いか悪いかに関係なく、ロシアは障壁の国です。 そして、障壁はどこにでもあり得ます。 駐車場、企業の領土への入り口、スーパーマーケットへの入り口、夏のコテージや家の領土への入り口などです。







領土と応答速度の制御が必要な場合はいつでも、障壁を付けるのが最も簡単です。 しかし、理解し始めると、ゴミになります。



いいえ、最新の認識アルゴリズムでも100％の品質は得られません。 もちろん、今では認識に大きなブレークスルーがありました。 そして障壁については、品質が急上昇しました。 93〜95％でしたが、97〜98になりました。 成長は、汚れがあり設置が不十分な場所が原因で発生しました。十分な光がなく、大きな角度で、光フィルターの組み合わせが不十分です。 これで、インストールがはるかに簡単になりました。 これはもはやスーパーメガインストーラーではありません。



実際には、ソリューションのユニットは新しいテクノロジーに基づいています。 通常より悪い。



車の2〜5％を領土に入れないことは受け入れられません。 番号の認識を調整できる人が必要です。 ガード？



昔、領土が守っていた大規模な倉庫がこのようになりました。 番号の認識は、警備員がいる隣のブースに結び付けられています。 このようなソリューションの価格は通常50〜10万です。 ハードウェア、カメラ、アルゴリズム、ライトに応じて。 部屋の認識条件は理想に近いです。 トピックを理解しているインストーラーは通常、そのようなソリューションをインストールします。 彼のサービスは、プロジェクトのコストを1ダースまたは2千増やすことができます。



そして、これは認識複合体だけのために、障壁なしです！



モスクワのヤードで人気のある2番目の方法は、電話の障壁です。 番号を呼び出し、あなたの番号がデータベースにある場合、彼らはあなたのためにそれを開きます。 しかし、再び。 誰かが電話を忘れました。 誰かが退院しました。 ゲストが来ました。 その結果、番号によるパスが追加されることがよくあります。 また、優れたカメラを吊るすのは難しく、費用がかかるため、ほとんどのソリューションは旧世代のアルゴリズムに基づいています。警備員は写真を見ています。



さらに、電話に関するテーマはうまく機能しないことがよくあります。人々は、アクセスできるヤードから隣人の不利益に至るまで、専用駐車場を手配します。







ヤードにバリアを設置することに特化した多くの企業があります。 しかし、それらのほとんどがオブジェクトの認識を取得しようとしています。 市場は巨大ですが。 新しいアルゴリズムを作成してから半年間、いくつかのパイロットを立ち上げようとしましたが、そのうちの1つは現在でも正常に機能しています。 任意のヤードの理想的なスキームは、電話/カード+番号認識+認識のためのカメラへのアクセスです

統計

バリアのもう1つの興味深いアプリケーションは、数値による統計です。 ショッピングセンターで使用されることもあります。 人々がどれくらいの頻度で来ているかを知るために（彼らはまだどの車をまだ認識していることが多い）。



洗車機に取り付けて、車を制御できます。 カーサービス、チケット売り場などで

サーバー

サーバー認識は非常に一般的です。 トラフィックルール以外はすべてサーバーで認識できます。 ここでは、サーバー認識のみを使用するタスクを簡単に説明し、一般的な使用に関するもう少し一般的な話を以下に示します。

• 写真の車の数をぼかす。 たとえば、広告サイト。
• 広告データベースの解析。 数字を滑らない人のために。
• サーバーを複数のカメラに接続し、それらからのストリームを認識します。 統計/障壁/観察

jetson'eのバックアップサーバーの1つ（そして、鉄の良い部分が無駄になっているという事実！）：







アルゴリズムはどのように、どこで機能しますか？



アプリケーションを列挙して、すべてを認識する場所と方法を抽象化しました。 グリッドのカスケードをプッシュする場所と処理する場所。



原則として、すべてを一般化する場合、多くのオプションはありません。

• x86計算機を備えたマシン。 過去の世代のアルゴリズムに適しています。 これらは、現在では十分ではありませんが、高性能です。 もちろん、マシンとアルゴリズムの最適化方法に依存します。 数の検索は、1ダースまたは2 fpsのレベルで行われ、数の認識は1/4秒のレベルで行われることが判明しました。 当然、アルゴリズムは異なる場合があります。 誰かが速く、誰かが良い。 これはすべてトレードオフです。 たとえば、検出エリアを対象とする場合は、数百のFPSを作成できます。 これらは、道路上の認識、障壁の認識のために設定されることがよくあります。 彼らは常にエネルギーの問題を抱えています。 ほとんどの場合、これは死にかけているクラスのデバイスです。
• NVIDIAグラフィックカードを搭載したマシン。 これは路上ではありません。 はい、消費電力は高くなります。 しかし、サーバーにはそれらを使用します。 高速で収益性が高い。 ただし、インターネットタスクがある場合に適用されます。
• ARM計算機。 それらに、認識をうまく展開できます。 速度があまり速くないようにします。 しかし、RPi 3では、数字を見つけるために5FPSを、認識に0.5秒を達成することができました。 RPIは最良の計算機ではないことを考えると、これはドラッグできる品質にとって悪くありません。
• ジェットソン このクラスの計算機については、別途言及する必要があります。 Jetsonは認識タスクに最適です。 電力の単位あたりのパフォーマンスは驚異的です。 Jetsonのパフォーマンスは、i5プロセッサーと比較できます。 Jetsonの消費量だけでも10〜15Wです。 実装用の多くのマシンビジョンシステムは、現在それらを実行しています。

すべての使い方



実際には、上記のすべての質問は1つの問題に基づいています。 認識エラーをどうするか？ 品質をどうするか？



認識アルゴリズムを修正する場合、システムの品質は機器の品質（光、レンズ、設置点）によって決まります。



このバンドルの品質を最適化することは、すべてのインストーラーに知られているタスクです。 思い付くものはほとんどありません。 カメラの設置に関与する各オフィスには、独自の開発スタックがあります。 適用されるスタックは、クライアントがタスクのために持っている金額に依存します。

エラーを選択するには-通常、プラントオペレーター。 すべての罰金はそれらを通過します。 駐車制御システムもオペレーターを通過します。 1人のオペレーターで数十個の障壁に対応できます。



スマートフォンで認識される場合-ユーザーが制御します。 認識が統計のためだけである場合、彼らはそれを制御します。 損失の2-3％は許容値と見なされます



何に来たの



私たちは常に、アルゴリズムをテストする/何かにアタッチする、または使用するというオファーを受け取りました。 加えて、彼らは自ら実験を行いました。 完全に実装されるまで、まだ到達していませんが、すでに生産されている他のマシンビジョンシステムに大きな打撃を受けました。



上記の説明からわかるように、数字の認識は不安定なものです。 常にエラーがあります。 1％でも。 アルゴリズムを特別な設定や追加なしであらゆるタスクで機能させるために、アルゴリズムを完全にオークにする方法を考え出したかったのです。



しかし、最初から間違ったことをし始めました。 大量の品質と優れた速度を備えていたため、最初に考えたものの1つは、「RPiで実行せず、すべての障壁にぶら下げてはいけない」というものでした。 このアプローチの鉄のコストは最小限でした。







彼らはRPiを取り出し、バリア制御ボードをはんだ付けせずに箱に詰めました。



しかし、1つの簡単な瞬間を理解しました。 考えられるすべてのアーティファクトを取り除くために、カメラをバリアの上に置くことさえ困難です。 ヘッドライト、太陽、間違った設置角度、またはぼやけを克服できます。 しかし、初めて数字認識を設定しようとしている人が、これらすべての要因をどのように克服するのでしょうか？！



障壁の奥深くに埋め込まれたデバイスに写真を設定することは困難です。 ラップトップを接続し、カメラを構築する必要があります。



Bluetoothで試しました。 同じこと。 電話で写真を表示しても、それほど単純化されません。 完璧に置くことができます。 それでも、しばらくすると、デバイスは動作を停止します。 腸に再び登り、再構成する必要があります。 そして、しばしばランダムに。 ある時点でカメラをノックダウンし、10分間、何が悪いのかを考えます。



または、システムは2日間動作し、突然停止しました。 どうした



約3年前に携帯電話から認識したとき、そのような問題はありませんでした。 エラーを送信しますか？ 認識されなかったフィルタリングを行い、エラーパターンを引き出します-アルゴリズムを終了するか、演算子を再トレーニングします。 その結果、1〜2日でエラーが修正されます。



これは、各バリアの下をrawうよりも明らかに優れています。



その結果、最も安定しているのはサーバーでの認識であることがわかりました。 サーバーでは、エラーの原因を理解し、補正し、表示するのがはるかに簡単です。 その日の統計を構築し、システムがミスをして動作しない時間を見つけることができるツール-それは1時間で書かれています。 認識チャート：







青いグラフ-経時的な認識品質。 赤-時間内の数字を持つフレームの割合。 品質は落ちましたか？ オペレーターコンソールにエラーが発行されます。 また、エラーをすばやく理解するために、最新の認識のマップが表示されます。







一部の数値が捕捉されないことはすぐに明らかです。 どうしたの？ 近づきます：







バックライトが消えて、数字が読めません！



さらに、何かが機能しない場合、多くの場合、エラーはサーバーで修正できます。 カメラが動作しない領域に向けた場合、ホモグラフィをやり直します。 カメラの焦点が合っていない場合は、多くのモデルでリモートで再構築できます。



インストールに問題がある場合は、「カメラの中で10から10:30に太陽が輝いている」という明確な指示を与えることができます。 カメラがインターネットアクセスおよび統計なしでインストールされている場合、そのような計画のエラーを見つけることは非常に困難で退屈です。 このようなエラーが2〜3回発生すると、品質が95％を下回る可能性があり、クライアントはシステムに失望します。



同時に、システム自体が簡単になります。 RPi + Lanカメラ+キーを貼り付けることができます。







または、一般的には、arduinoにGPRSを付けて、カメラを処理し、応答を取得し、バリアを開くタイミングをサーバーに指示できます







（はい、Arduinoは高価で最適なボードではありません。ただし、10個+安定性が必要な場合、開発価格はより高くなります）。



この品質管理ルールは、すべてのDeepLearningシステムに適用されます。間違いは常にあります。そして、顧客がこのシステムを気に入った唯一の方法は、エラーが現れる前にキャッチして対処する方法を定めることです。データベースの収集、統計のオンライン監視、再トレーニング。クライアントが何かが機能していないことを理解して攻撃する前にエラーをキャッチしてそれらを補うために、これはすべて敷設する方が良いです。



棚で商品を認識すると、すべての認識は人の検証になりました。コンテナを認識したとき-オペレーターの検証用。 I.t.d.など必ずしもすべてを検証用に送信できるわけではありません。ただし、アルゴリズムが崩壊していないことを明確にする方法を常に考え出す必要があります。



顧客の1人が数百のモジュール（数の認識ではなく、かなり遠いタスク）を含む半生システムを出荷したとき、私たちは素晴らしい経験をしました。このシステムのために、数学的コアを開発しました。



システムはうまく機能しました。しかし、システムのユーザーはあまり教育を受けた人々ではありませんでした。彼らは直接妨害行為を始めました。



私たちの顧客は非常に理にかなった人でした-システムはアルゴリズムをリモートで再トレーニング、再フラッシュ、変更することができました。また、彼にはサポートチーム全体がありました。その結果、妨害行為は非常にタイムリーに遮断されました。キャッチと処理のアルゴリズムを作成します。



自治権も同じです。システムの品質を常に監視する必要があります。問題がある場合、顧客はシステムに問題がある場合でも、システムを拒否できます。もちろん、国境を越えることはできません。しかし、監視を単純に追加するだけで、顧客との適切なコミュニケーションにより、問題の80％を事前に解決できます。



それは問題ではありません。これは、サーバー、高速道路、ホームバリア、または洗車場のカメラです。主なことは、監視を適切に構成して、気を散らすことを最小限に抑えながら、可能な限り制御することです。