コンピュータビジョンの問題に関する声明

過去8年間、パターン認識、コンピュータービジョン、機械学習に関連するタスクに積極的に取り組んできました。 経験とプロジェクトの十分に大きな荷物を蓄積することが判明しました（独自のもの、フルタイムプログラマの階級のもの、注文用のもの）。 さらに、Habréに関する記事を2つ書いたので、読者からよく連絡があり、タスクの支援や何かのアドバイスを求められます。 そのため、CVアルゴリズムのまったく予測できないアプリケーションに出くわすことがよくあります。

しかし、それを気にして、90％のケースで同じシステムエラーが表示されます。 何度も。 過去5年間、私はそれを何十人もの人々に説明してきました。 なぜ、定期的に、私自身がそれをするのか...



99％のコンピュータービジョンタスクでは、頭の中で定式化した問題のアイデア、さらには、概説したソリューションパスは現実とは関係ありません。 あなたが考えることさえできない状況が常にあります。 問題を定式化する唯一の方法は、理想的な状況と最悪の状況の両方を考慮して、例のデータベースを構築し、それを操作することです。 ベースが広いほど、タスクはより正確になります。 基盤がなければ、タスクについて話すことは不可能です。



些細な考え。 しかし、誰もが間違っています。 絶対にすべて。 この記事では、そのような状況の例をいくつか示します。 タスクが悪いとき、良いとき。 そして、コンピュータービジョンシステム用のTKの形成において落とし穴があなたを待っています。

最初の例

悪い

人々が私に尋ねる最も一般的なアイデアの1つは、店でのラベル認識です ：「 こんにちは、私はクールなスタートアップを思い付きました：人が店に来て、値札を外し、商品を見つけ、価格を見つけ、商品がどの店であるかを見てください最も安い！すでにすべてを済ませましたが、認識モジュールのみが残っています！ 」 過去2年間、同様のオファーで、彼らは私に約5回書いた...

そして本当に！ 認識タスクにめったに出会わない人の心の中には、「ラベル上のテキスト行を認識するのはつまらない！」という明確な画像があります。 結局のところ、ページとしてテキストを認識するABBYYがあり、スマートエンジン（ 1、2 ）があります。このエンジンでは、多数の数字を持つカードが認識され、ラベルさえあります！ 問題は長い間解決されました！ IkeaとAuchanの違いは何ですか？ すべてのラベルは類似しており、1つのモジュールで対応できます。

通常、この後、「 3つの異なるネットワークに移動し、10個のフレームを取り、それらを見てください 」 と人に伝えたいと思います 。 あなたは通常、答えを得ることができます：「 私はそこに見なかったもの！昨日、私はクロスロードにいて、それらを見ました！ 」。

見てみましょうか？



これらは最悪の例ではありません（写真はクリック可能です）。 ここにあるすべての例で、人は情報を読んだり考えたりすることができます。 車はどうですか？

•写真はしばしばぼやけており、テキストはぼやけて結合されています。 多くの場合、文字は非常に接近して書かれているため、セグメンテーションは事実上不可能です。

•価格タグの端に多くのアーティファクトがあり、多くの場合、文字が途切れているか、それらに沿ってストリップがあります。

•フラッシュで撮影すると、グレアが発生し、多くの場合、テキストが完全に覆われます。

•同じ値札に、2〜3個の価格が異なるフォントで書かれていることがよくあります（多くの場合、値札は互いに強調することができます）。

•同じ配信ネットワーク内でもフォントが変更されます。

•価格タグの形式は、同じ配信ネットワーク内でも異なります。

一部の人、特に頑固な人は、「あなたはすべてを思いついた！ 以下は、すべてが機能し、値札が認識されるSmart Enginesの投稿です！」

そして本当に！ 正しく提起された問題の素晴らしい例：赤い背景にある特定のサイズの長方形が検索され、フォントは同じです。 長方形の境界を定義することにより、コードを大まかにセグメント化できます。 ヒューリスティックは最小限ですが、画像内の3つのブロックを既知の順序で接続します。

はい：露出過剰、まぶしさ、角が曲がる、誰かが値札に自分のサインを走り書きする、そして誰かが常にぼやけたショットを与えるでしょう。 しかし、各桁の位置がわかれば、他のすべてはそれほど重要ではなくなります。 そしてほとんどの場合、すべてがうまく機能します。

NB 私は、値札を認識するタスクが一般的なケースで解決できないと言っていません。 解ける。 そして今日の進歩は、この決定をますます近づいています。 Googleはすでに番地を認識しています。 また、ABBYYは、事前定義されたテキスト形式にカスタマイズできます。 しかし、この問題の解決策は現代の技術の境界にあり、解決策は不完全であるか、開発に膨大な時間とお金が必要になります。 もちろん、価格タグ（テキストなし）で価格認識を行うことができ、そのようなシステムは一部の価格タグでうまく機能します。 また、バーコードを読み取ることができる場合もあります（オープン形式の価格タグから、バーコードが書き込まれます）。 多くの場合、角を切ってタスクを簡素化する方法があります。

ラベルから脱線しましょう

これらは空からの例であり、これは起こらないと言うでしょうか？..Habréに公開された例であるhabrahabr.ru/post/265209を挙げます。

さらに読む前に、メソッドが機能しない理由を理解してください。

-読むのが面倒な人のために。 著者は、3点の木にマークを付けることを提案しています。 また、年輪と点の間の線の交点により、カメラからのログを明確にマークして分類できると考えています。



ここで彼はそのような美しい写真を提供します。 この方法はすぐに明確で理解しやすいものです。 本当じゃない？

-この記事の著者自身が、出版の約1週間前に、これが機能するかどうかという質問をしてきました。 私はそうは思わないだろうと言って、いくつかの例を挙げ、そしてそれを機能させるためにアルゴリズムを修正する方法も言った。 しかし、彼はこれが有効な方法であるという記事を書いた。 そして、トップ10のコメントの誰も反対しませんでした。 嫌いなのは2つだけです（くそー、私は告白します、そのうちの1つは私です）。

それを理解してみましょう。 まず、「年輪」はどのように見えますか？ Yandexにログを提供するよう依頼します。



パーフェクト。 美しいリング！ 上の写真のように。 待って...しかし、それは何ですか？



またリング...しかし、私たちはシャー​​プで少し逃したカメラを持っている場合はどうなりますか？



くそー リングの半分がなくなりました。 そして、それが夜明けになり、ISOが上昇した場合はどうなりますか？



再び...

まあ、多分すべてがそんなに悪いわけではありませんか？ 十分な大きさの年次バンドのみを選択するための基準を考え出し、各ツリーに対していくつかのオプションを生成します。 わかった



いいえ、ほとんどまったくバンドが存在しない場合でも、ジオメトリと状況を変更する可能性のあるクラックがまだあります。 そして、これはYandexの発行からの最初の20の完璧な写真です。 結論は、5分でそれ自体を示唆します。 しかし、クールなアイデアがあります！ なぜ検索から写真を見るのですか？..



私の意見では、タスク自体は解決される可能性が高いです。 基準点としてマークを取り、 目を比較するのと同じ方法で比較する場合。 しかし、繰り返しますが、少なくとも数百の例を使用してデータベースをテストするまで、作業を正常に完了できるかどうかはわかりません。 しかし、何らかの理由で、記事の著者はそのような申し出を好まなかった...申し訳ありません！

私の意見では、これらは2つの最も意味のある代表的な例です。 それらから、アイデアから抽象化し、実際のショットを見る必要がある理由を理解できます。

私が出会ったいくつかの例ですが、簡単に説明します。 これらのすべての例で、タスクの実行可能性について尋ね始めたとき、人々は単一の写真を持っていませんでした。

1）ビデオストリームによるTシャツのマラソンランナーの数字の認識（Yandyksの写真）



えー 記事の準備中にこれに出会いました 。 すべての潜在的な問題を示す非常に良い例です。 これらは異なるフォントです。これは、影のある不安定な背景です。これは、角がぼやけて詰まっています。 そして最も重要なことです。 顧客は理想的な基盤を提供します。 晴れた日に良いカメラで撮影します。 jandeksを検索して、Tシャツの選手の数を確認してください。

Hy.Hy出版の数時間前に、注文の著者が突然仕事を引き受けるという提案で私のところに来ました。私はそれを拒否しました:)それでも、これはカルマです。これを記事に追加してください。



2）電話画面の写真のテキスト認識



3）そして、私のお気に入りの例。 メールへの手紙：

「 画像を認識するための商業部門のプログラムが必要です。

仕事のアルゴリズムはこれです。 プログラムオペレーターは、いくつかの角度などで被写体の画像を設定します。

次に、これまたはオブジェクトの最も類似した画像が表示されると、プログラムは必要な/指定されたアクションを実行します。

もちろん、まだ詳細を説明することはできません。 「（スペルチェック、句読点を保存）

いいね

しかし、すべてがそれほど悪いわけではありません！ タスクが完全に設定される状況は頻繁に発生します。 私のお気に入り：「写真のムースを自動的に数えるソフトウェアが必要です。

ムースの写真の例を送信しています。」



どちらの写真もクリック可能です。

私はこの仕事が一緒に成長しなかったことを今でも後悔しています。 最初に、彼は候補者を弁護し、忙しかった。そして、顧客はどういうわけか彼の熱意を失った（または他の出演者を見つけた）。

定式化では、解のわずかな解釈はありません。 「実行する必要があること」、「入力」の2つだけです。 多くの入力。 それだけです

思考-結論

タスクを設定する唯一の方法は、ベースを取得し、このベースで作業するための方法論を決定することです。 何を得たいですか？ アルゴリズムの適用性の制限は何ですか？ これがないと、タスクに近づくことができず、タスクを渡すことができません。 データベースがなければ、顧客は常にこう言うことができます。「そのようなケースはあなたには役に立たない。 しかし、これは重大な状況です！ 彼なしでは仕事を受け入れません。」

拠点の作り方

おそらくこれはすべて記事の前編でした。 この記事はここから始まります。 どのCVおよびMLタスクでもテストのベースが必要であるという考えは明らかです。 しかし、そのような基盤を獲得する方法は？ 私の記憶では、最初のダイヤルされた基地の3、4回がトイレを降りました。 時々2番目。 代表的ではなかったからです。 難しさは何ですか？

「ベースの収集」=「問題の設定」を理解する必要があります。 組み立てられたベースは：

1.タスクの問題を反映します。

2.タスクが解決される条件を反映します。

3.タスクをそのように定式化します。

4.顧客と請負業者に何が行われたかについてコンセンサスをもたらします。

時期

数年前、友人と私は携帯電話で動作し、車の番号を認識できるシステムを作成することにしました。 何かが起こったので、それに関する一連の記事を書きました（http://habrahabr.ru/company/recognitor/）。 当時、私たちはCVシステムで非常に洗練されていました。 彼らは、そのような基地を悪用するために収集する必要があることを知っていました。 彼女を見て、すべての問題をすぐに理解する。 このようなベースをまとめました。



彼らはアルゴリズムを作成し、それでもうまくいきました。 選択した数字を80〜85％認識しました。

まあ、はい...すべての部屋がきれいになり、システムの精度が5％低下した夏にのみ...

生体認証

私たちの生活の中で、私たちは生体認証（ 1、2、3 ）で非常に多くの仕事をしました。 そして、彼らは、生体認証データベースを収集する際に、考えられるすべての熊手を踏んだようです。

•ベースは異なる部屋で組み立てる必要があります。 ベースを収集するためのデバイスが開発者だけのものである場合、遅かれ早かれ、隣接するランプに結び付けられることがわかります。

•生体認証データベースでは、各人物に5〜10個の画像が必要です。 そして、これらの5〜10ショットは、異なる日に、異なる時間に撮影する必要があります。 生体認証スキャナーに連続して数回近づくと、人は同じようにスキャンされます。 異なる日にアプローチ-異なる方法で。 一部の生体認証特性は、日中にわずかに異なる場合があります。

•開発者からコンパイルされたデータベースは代表的なものではありません。 彼らは無意識のうちに読んでいるので、すべてが機能します...

•新しいスキャナーモデルはありますか？ 古いベースで動作しますか？

さまざまなスキャナーから収集された目です。 さまざまな作業分野、さまざまなハイライト、さまざまな影、さまざまな空間解像度など

ニューラルネットワークおよび学習アルゴリズムのベース

コードで何らかの学習アルゴリズムを使用している場合は、作成しないでください。 トレーニングの基礎を検討する必要があります。 認識タスクに2つの非常に異なるフォントがあるとします。 最初は90％のケースで発生し、2番目は10％で発生します。 これら2つのフォントを所定の割合で切り取り、単一の分類器を使用して学習すると、最初のフォントの文字が認識される可能性が高くなりますが、2番目のフォントの文字は認識されません。 ニューラルネットワーク/ SVMの場合、最初のフォントの97％と2番目のフォントの97％が認識されるのではなく、最初のフォントの99％と2番目のフォントの0％が認識されるローカルミニマムが見つかります。 データベースに各フォントの十分な例があり、トレーニングが最小限に抑えられます。

実際の顧客と仕事をするときにベースを作成する方法

データベースを収集する際の重要な問題の1つは、誰がそれを行うべきかということです。 顧客または請負業者。 最初に、私は人生からいくつかの悲しい例を挙げます。

私の問題を解決するためにあなたを雇います！

これはまさに私が一度聞いたフレーズです。 いまいましい、議論することはできません。 しかし、工場で組み立てる必要があるのはベースだけで、そこには誰も入れません。 そしてさらにそう、彼は私たちが機器をマウントすることはできません。 顧客から与えられたデータは役に立たなかった。サイズが数ピクセルの物体、インパルスノイズのある非常にノイズの多いカメラ、20枚のテスト画像の強さから周期的に痙攣する。 より良いカメラを設置するための提案については、撮影に適したアングルを選択し、少なくとも数百の例のデータベースを作成し、顧客はヘッダーのフレーズで応答しました。

これを行う時間はありません！

かつて非常に大規模な会社（世界の多くの国で約100人のスタッフ+オフィス）のディレクターが話を申し出ました。 この会社がリリースした製品では、機能の一部が非常に古い非常に単純なアルゴリズムによって実装されていました。 ディレクターは、この機能を最新のアルゴリズムに変更することを長い間夢見ていたと語っています。 2つの異なる開発チームを採用しました。 しかし、それは一緒に成長しませんでした。 彼によると、一方のチームは理論化が進みすぎており、もう一方のチームは理論を知らず、些細なことをしていました。 試してみることにしました。

翌日、膨大な未加工情報へのアクセスが許可されました。 1年で見ることができる以上に強くなりました。 情報の分析に数日を費やした後、「新しいアルゴリズムには正確に何が必要ですか？」 現在のアルゴリズムが機能しない場合、2つの状況と呼ばれます。 しかし、2、3日後には、1つまたは2つの示された状況しか見ませんでした。 別のデータパケットを見て、別のパケットを見つけることができました。 「そもそも顧客を悩ませているのはどのような状況ですか？」という質問に対して、ディレクターもチーフエンジニアも答えることができませんでした。 彼らはそのような統計を持っていませんでした。

この問題を調査し、考えられるすべての状況を自動的に収集できる解決アルゴリズムを提案しました。 しかし、2つのことを支援する必要がありました。 まず、企業自体のサーバーに情報処理を展開すること（未処理のデータが保存されている場所への十分な計算能力または十分なチャネルがありませんでした）。 会社の管理者として1週間の仕事が必要です。 次に、会社の代表者は、収集した情報を重要度とその処理方法（これはさらに3日間）で分類する必要がありました。 この瞬間までに、データの分析、トピックに関する記事の検討、情報収集のためのプログラムの作成に2、3週間の時間を費やしていました（この時点で同意は得られず、すべて自主的に行われました）。

「私たちはこのタスクに誰も気を散らすことはできません。 自分を理解してください。」 お辞儀をして去ったものについて。

顧客はベースを与えます

別のケースがありました。 今回は顧客が小さくなります。 そして、顧客が扱うシステムは全国に散らばっています。 しかし、顧客は、当社がベースを収集しないことを理解しています。 そして、彼は基地を組み立てようと懸命に努力しています。 収集します。 非常に大きく多様です。 さらに、ベースが代表であることを保証します。 始めましょう。 アルゴリズムはほぼ完成しています。 降伏する前に、アルゴリズムは組み立てられたベースで動作することがわかります。 そして、契約の条件を満たします。 しかし、ベースは代表的ではありませんでした。 2/3の状況はありません。 そして、これらの状況は不均衡です。 また、実際のデータでは、システムの動作はずっと悪くなります。

それでわかった。 試しました。 彼らが約束したことはすべて行われましたが、タスクは計画よりもはるかに複雑でした。 顧客が試しました。 基地の収集に多くの時間を費やしました。

しかし、最終的な結果は価値がありません。 私は外出先で何かを考え出さなければなりませんでした、少なくとも何らかの形でプラグホールを...

それでは、誰がベースを形成すべきでしょうか？

問題は、複雑なシステムでコンピュータービジョンの問題が頻繁に発生することです。 何十年もの間多くの人々によって作られてきたシステム。 そして、そのようなシステムを理解することは、多くの場合、問題自体を解決するよりもはるかに長いです。 また、顧客は開発を明日から開始したいと考えています。 そしてもちろん、TKの準備とタスクのコストの2倍の基本金額を支払い、時間を3倍に増やし、システムとアルゴリズムへのアクセスを許可し、すべてを見せて伝える従業員を割り当てるという提案は、彼を困惑させます。

私の意見では、コンピュータービジョンの問題を解決するには、顧客と請負業者との間の絶え間ない対話、および問題を定式化するという顧客の要望が必要です。 請負業者は、顧客のビジネスのすべてのニュアンスを把握しておらず、内部からシステムを把握していません。 「あなたのためのお金はここにある、明日私に決断を下す」というアプローチは見たことがありません。 解決策がありました。 しかし、それは正常に機能しましたか？

私は火のような契約から遠ざかろうとしています。 自分で仕事をしていようと、開発のために注文した会社で働いていようと。

一般に、状況は次のように表すことができます。結婚式を手配したいとします。 次のことができます。

•最初から最後まですべてを自分で考えて整理します。 本質的に、このオプションは「問題を自分で解決する」です。

•最初から最後まですべてを熟考する。 すべてのスクリプトを作成します。 そして、各役割のパフォーマーを雇います。 ゲストが退屈しないようにトーストマスター、誰もが調理して保持できるようにレストラン。 ホストの基本的なアウトライン、レストランのメニューを書きます。 このオプションはダイアログです。 アーティストデータを提供し、必要なすべてをペイントします。

•詳細に入らずに、大きなブロックで考え出すことができます。 ホストを雇うには、彼に彼がすることをさせてください。 レストランのメニューを調整しないでください。 デザイナーにドレス、ヘアスタイル、画像のセレクションを注文してください。 頭痛は最小限ですが、ストリップ競技が始まると、何かが間違っていたことを理解できます。 「シンボルを認識してください」というスタイルでタスクを定式化したので、請負業者と顧客が同じことを理解することは事実とはほど遠いです。

•また、すべてを結婚式の代理店に注文できます。 高価で、まったく考えない。 しかし、何が起こるかは誰にもわかりません。 オプション-「良いことをしてください。」 ほとんどの場合、品質はコストに依存します。 しかし、必ずしもそうではありません

ベースが不要なタスクはありますか

あります。 まず、ベースが複雑すぎるタスク。 たとえば、ビデオを分析して決定を下すロボットの開発。 何らかのテストベンチが必要です。 いくつかの個別の機能のベースを作成できます。 しかし、行動の完全なサイクルの基盤を作ることは、しばしば不可能です。 第二に、研究が進行中のとき。 たとえば、アルゴリズムが開発されているだけでなく、ベースを構築するために使用されるデバイスも開発されています。 毎日新しいデバイス、新しいオプション。 アルゴリズムが1日に3回変更される場合。このような状況では、ベースは役に立ちません。毎日変化するある種のローカルデータベースを作成できます。しかし、グローバルなものは無意味です。

第三に、これらはモデルを作成できるタスクです。一般に、モデリングは非常に大きく複雑なトピックです。良いモデルを安く作ることができるなら、もちろんそれをする必要があります。フォントが1つしかないテキストを認識したい場合、最も簡単な方法は、モデリングアルゴリズムを作成することです（そのようなタスクの例）。

科学的アプローチ

しかし、科学者はどうですか？作品ごとに別々のベースを収集することは可能ですか？

通常はありません。インターネットでは、多くのオープンデータベースを見つけることができます。いくつかの古典的な例では、通常は普遍的です。たとえば、バイオメトリクス（最も有名な）の拠点を持つサイトがいくつかあります。さまざまなトレーニングアルゴリズムをテストするための基盤を持つサイトがあります（1 2 3）。

これらすべてのベースの問題は、多くの場合、ほとんど役に立たず、代表的ではないことです。たとえば、伝説的なMNIST-マニュアルのスペルを使用した数字の画像のデータベース：



すべてのマシン認識アルゴリズムがテストされています。すべてがうまくいきますが... ...トップアルゴリズムは、99.5％、99.6％、99.6351％などの形式の精度を長い間持っていました。よく知られている30〜40枚の写真は認識されません。それらの半分は、人でさえも認識するのは非現実的です。トリッキーな設定では、精度をわずかに修正して+ 0.1％にすることができます。しかし、実際のデータとアルゴリズムの定性的評価のどちらも、これとは関係がないことは明らかです。

多くの場合、このようなベースで記述されたアルゴリズムは、これらの条件下で、データベース全体が組み立てられるパラメーターでのみ機能することがわかります。

例を挙げてください！

, ( ): SmartEngines sergeypid BelBES mephistopheies rocknrollnerd YUVladimir Nordavind BigObfuscator Vasyutka

(, , CV ML). , . 共有しますか？ , ?:)