確かにこのような状況に陥りました。ある機関（郵便局、銀行、病院、キャッシュデスクなど）に行き、目標を達成するためにパスポートを提示する必要があります。 キューは小さく、5人しかいないようですが、マーシャおばさんは各パスポートからコンピューターにデータを入力するのに数分かかるため、非常に時間がかかります。 次のキーを探すために、彼女の人差し指がキーボードをゆっくりと計画しているのを見てください。



現代社会のこのような悲しい状況に戸惑い、さまざまなドキュメントのデータを認識し、その結果を便利な形式でユーザーに提供できるPassportVisionプログラムを作成しました。 このタスクは一見簡単そうではありませんでした。プロジェクトの作業中に、国内のドキュメント、コンピュータービジョン、ユーザーインターフェイスに関する多くの新しいことを学びました。 頭はすでにプログラムのさらなる発展についての新しいアイデアでいっぱいですが、私たちは経験を共有し知識を得るために時間をかけることにしました。







今日の問題：

• パスポートに関する一般的な誤解
• 使用されているテクノロジーについて少し
• インターフェースアプローチ
• ユーザーにデータを提供する最良の方法は何ですか

パスポートに関する一般的な誤解

どうやら-パスポートからのデータを認識するのがとても難しいのは何ですか？ 最後に、2014年にヤードで、人類はすでに画像からテキストを認識することを学びました。 recognize()



メソッドと呼ばれるいくつかのフィルターを適用しました-これで完了です！



悲しいかな、すべてはそれほど単純ではありません。 まず第一に、ロシア連邦の市民のパスポートは特別な詳細を備えた文書であることは注目に値します。 数百の例に目を通すまで、私たちはパスポートがどれほど素晴らしいものか想像もしませんでした。 だから、ここに名前と時間に関する誤fallの最高の伝統の誤fallのリストがあります。



これらの仮定はすべて誤りです。

1. パスポートのテキストは常に1つのフォントで入力されます
2. パスポートの収集に使用されるフォントは2つまたは3つだけです。
3. わかりましたが、フォントを太字または斜体にすることはできません
4. 確かに、大胆かつイタリック体になることは間違いありません。
5. すべてのパスポートデータは1つのフォントで書き込まれます
6. 誰もパスポートに手で記入しない
7. 各パスポートフィールドは、厳密に定義された場所にあります。
8. 各パスポートフィールドは、厳密に定義された場所の近くにあります。
9. まあ、少なくとも姓はミドルネームの下の場所まで3行は忍び寄らないでしょう
10. そして、フォームの碑文にデータが書き込まれることはありません
11. まあ、データは間違いなくお互いに実行されません
12. テキストは常に厳密に水平に書き込まれます
13. さて、しかし、テキストの角度は10-15度を超えません
14. すべてのデータは同じ角度です。
15. テキストは常に黒です
16. まあ、少なくともすべての碑文はまったく同じ色です
17. パスポートには常に機械可読ゾーンがあります
18. 機械可読ゾーンは、2011年7月1日以降に発行されたパスポートに常に存在します
19. 機械可読ゾーンは常に正しく、標準に準拠しています
20. パスポートのすべての文字は大文字です
21. すべてのパスポートデータは1つのレジスタスタイルで書き込まれます
22. すべての日付は常に同じ形式で表示されます。
23. 名前をハイフンで2行に分割することはできません
24. すべてのパスポートは、背景が固定された同じフォームに印刷されます。
25. 出生地と出生地に数字を置くことはできません
26. 個人署名をパスポートデータの上に置くことはできません
27. すべてのパスポートの詳細が常に表示されます。
28. 間違いなく余分なデータはありません
29. パスポートの発行場所は常に3行に収まります
30. 「名前」フィールドに「アンナ」と書かれている場合、性別は必ず女性です
31. パスポートデータは時間の経過とともに消去されません
32. パスポートには機械的な損傷はありません。
33. パスポートはジャムで汚れることはできません

使用されているテクノロジーについて少し

今日、技術についてはほとんど何もありません。 プログラムを作成する過程で、コンピュータービジョンの分野と、アーキテクチャの構築と作業環境の整理の両方の分野で、多くの興味深いタスクに直面しました。 このトピックは別の投稿で拡張する予定であり、今日はテクノロジースタックの概要のみを説明します。



主なプログラミング言語はC＃です。 おそらく、そのような選択は誰かにとって奇妙に思えるかもしれませんが、彼は完全に正当化しています。 C＃は、大規模なアーキテクチャの作成に最適であり、複雑なインターフェイスのレイアウトは簡単です（WPFの作成者に感謝します）。 ターゲットオーディエンスはWindowsに座っているため、プラットフォームに問題はありませんでした。 Pythonスクリプトを使用して、さまざまな内部の小さなタスクを解決します。



画像処理では 、テキスト認識-Tesseract （または、そのラッパー-OpenCvSharpとTesseract ）にOpenCVが使用されます。 パフォーマンスが重要なアルゴリズムはC ++で記述されていますが、それらはほとんどありません。 スキャナーで多くの作業を行い、WIAとTwainの両方をサポートする必要があります（後者の場合、 TwaintDotNetラッパーを使用します）。



一般的なワークフロー：バージョン管理システム-Git、リポジトリビューアー-FishEye 、継続的統合システム-Bamboo 、バグトラッカー-JIRA 、コードレビューシステム-Crucible （はい、Atlassianが大好きです）。

インターフェースアプローチ

パスポートからのデータを完全に確実に認識できれば、すべてうまくいきます。 しかし、悲しいかな、これはそうではありません。 プログラムに300 dpiで適切なパスポートの入力スキャンを与えると、ほとんどの場合、エラーなしで認識されます。 しかし、プログラムが悲しい品質のパスポートの写真に出くわすと（さらに、フォントが非常に薄く、斜めになり、碑文が適切ではなくなります）、問題が発生します。 したがって、認識されたデータを確認するようユーザーに依頼する以外に選択肢はありません。 そしてここでは、すべてのデータを超高速でチェックしてエラーを修正できる、非常に便利で便利なインターフェイスを設計することが非常に重要です。 結局のところ、パスポートのチェックに費やされた時間が手動データ入力の時間に匹敵する場合、アイデア全体が意味を失います。 私たちは、そのようなタスクのために世界で最高のインターフェースを作成できたふりはしませんが、それが良いことをすべての責任をもって宣言することができます。 最終的に、私たちは自分のドッグフードを食べ 、1年以上毎日データチェッカーを使用します。 そのため、すべてのわずらわしさや不便さはすぐに私の目に留まり、修正を求められました。 それで、私たちは生活を楽にするために何に特別な注意を払いましたか：

• フィールドナビゲーション。 メインウィンドウの左側には、見つかったパスポートの画像があり、右側には認識されたフィールドがあります。 パスポートの画像の各フィールドには、フレームが描かれています。クリックすると、必要なフィールドに移動します。 写真に同じフィールドが複数の場所にあり（たとえば、シリーズとパスポート番号が最大3回出現する場合）、認識結果が異なる場合、必要なオプションを簡単に選択できるようにTextBoxをComboBoxに変換します。
• 不審なキャラクター。 認識プロセスでは、一部の文字を疑わしいものとしてマークします。これらは、認識中の文字であり、私たちにはあまりわかりません。 エラーがある場合は、ほぼ間違いなく疑わしいキャラクターの中にあります。 したがって、それらを赤く塗り、便利なナビゲーションを提供します。ホットキーを使用すると、疑わしいキャラクターの次または前のグループに移動できます。 さらに、ナビゲーションは非常にインテリジェントです。ほとんどすべての文字がフィールドで疑わしい場合、エラーに切り替えると、赤い文字だけでなく、一般的にフィールド全体を選択します。
• ツールチップ 最初に、フィールドを確認するには、まずフィールドを見て、次にパスポートのある写真を見て、そのフィールドを見つける必要がありました。 次に、TextBoxに戻り、パスポートに戻ります。 次に、考えて、テキストを関連付けます。 それは長くて不快です。 したがって、TextBoxのすぐ横に、対応するパスポートフラグメントを含むツールチップを作成します。 また、必要な文字を検索するために、さらに便利なように、ユーザーが画像内で選択したテキストを丸で囲みます。 ユーザーがすでにフィールドに自分のキャラクターを書くことができた場合、プログラムは画像内のどこに自分がいるべきかを考え出す方法を知っており、とにかく引き寄せます。
• フォームの自動生成。 しかし、ユーザーがすべてのフィールドを必要としない場合はどうでしょうか？ たとえば、フルネームのみが必要です。 ユーザーにすべての結果を強制的にチェックさせるのはなぜですか？ 幸いなことに、フィールドのリストは本当に必要なものだけを表示するように設定できます。

一般に、UIは非常に長い間見られていました。多くのことが行われましたが、簡単に言うことはできません。 それから、プログラム内のすべてのユーザビリティソリューションについて詳しく説明する別の投稿を作成します。 インターフェイスを設計している場合、最終結果だけでなく、プロセスについても読むことはおそらく興味深いでしょう-このインターフェイスに到達した方法、なぜこのようにしたのか、そうでない場合はそうではありません。

ユーザーにデータを提供する最良の方法は何ですか

まあ、すべてが準備できているように見えます：画像が処理され、テキストが認識され、ユーザーがすべてをチェックしました。 幸せのために他に何が欠けていますか？ 考えてみましょう。データが認識されると、誰かがそれを必要とします。 そして、おそらく、この誰かが後でそれらを使用する予定です。 そして、おそらく、彼は何らかのプログラムでそれらを使用するでしょう。 そのため、認識されたデータを何らかの方法でこのプログラムに転送する必要があります。 論理的な疑問が生じます。これをどのように行うのでしょうか？



PassportVisionオフィス。 残念ながら、多くのプログラムがあり、それぞれについて、独自のアプローチを探す必要があります。 社会学的調査では、対象読者のほとんどがMS Wordで準備されたドキュメントにパスポートデータを入力することが示されました。 そのため、Wordと連携するためにPassportVisionの別のエディションを作成しました。







アイデアは次のとおりです。特別なタブがリボンに追加され、特別なラベルを持つテンプレートを作成できます。 したがって、データは認識され、ユーザーはそれを確認し、[OK]をクリックしました。 そして、まるで魔法のように、データは事前​​に準備されたラベルの代わりにテンプレートに挿入されます。 多くの場合、文書は複数の俳優の参加によって作成されるため、各ラベルについて、このパスポートがどの人物に属しているかを示すことができます。 最初のパスポートをスキャナーに入れ、次に2番目のパスポートを入れます-これで文書の準備ができました！ マーカーは非常に知的に動作します。 たとえば、日付の表示形式を指定できます。個々の単語の語尾は、人の性別によって異なる場合があります。



PassportVision Adaptive。 残念ながら、誰もがWordを使用しているわけではありません。世界には、データを入力できるプログラムがたくさんあります。 誰もが別々のエディションを作成することはあまりお勧めできません。そのため、どのアプリケーションにも適応できるユニバーサルエディションを作成しました。 PassportVision Adaptiveは、ユーザーの作業をエミュレートします。どのキーを押すか、マウスでクリックする場所です。 認識結果を使用する必要がある場合に何をするかをプログラムに説明する特別なマクロを作成する必要があります。 はい、おそらく複雑なソフトウェアのマクロを作成するのはそれほど簡単ではありませんが、1回限りの操作です。 すべての設定が完了すると、特別なキーを押すことでデータがターゲットプログラムの適切な場所に移動します。 また、マクロの作成にまだ問題がある場合は、すべてのクライアントがマクロを処理できるように支援します。



PassportVision SDK。 また、一部のユーザーは、自分のソフトウェアで認識結果を使用したいと考えています。 開発者であれば、特別なAPIを使用してすべてのデータを正しい形式で取得できます。 アプリケーションが.NETで開発されていない場合は、心配しないでください。APIをCOMラッパーで慎重にラップしているため、C ++およびDelphiでSDKを使用できます。



PassportVisionの他のエディション。 開発は本格的です。私たちは、誰もが自分に都合の良いソリューションを選択できるように、プログラムのさまざまなエディションを作成しようとしています。 たとえば、すぐに1C未満のバージョンが画面に表示され（パスポートデータを入力する必要があることもよくあります）、AdaptiveバージョンにはWebフォーム用の特別なマクロが追加されます（入力するフィールドを指定するだけで、あとはマジックJavaScriptで処理されます） ）

結論の代わりに

人々がパスポートデータを手動で入力するのを防ぎ、世界をより良い場所にするためにプログラムを使用したい場合は、ご連絡ください。PassportVisionの詳細をお知らせします。 また、ワークフローの自動化に興味はないが、さまざまな企業でソフトウェア開発がどのように行われているかに興味がある場合は、特にすぐに仕事の組織、コンピュータービジョン、およびユーザビリティへのアプローチに関する詳細な情報が投稿されます。 開発は積極的に進行中です。現在、さまざまな種類のドキュメント（パスポート、出生証明書など-既にアルファモードで動作しています）、新製品のエディション、およびクールな機能のサポートを追加しています。 その過程で、非常に興味深い技術的問題があり、魅力的な解決策を考え出す必要があります。 興味がある場合は、最も興味深い問題を解決するための投稿も公開します。この経験が誰かに役立つことを願っています。