モバイルOCR。 すべての始まり（パート2）

以前の投稿で、OCRテクノロジーがデスクトップコンピューターからスマートフォンにどのように「移動」したかについて話し始めました。すべては、名刺をスキャンするための名刺リーダーアプリケーションから始まりました。 しかし、名刺のスキャンは、モバイル認識が必要な1つのシナリオにすぎません。 ユーザーのウィッシュリストの他のタスクの解決方法については、以下をお読みください。



すでに述べたように、認識技術のスマートフォンへの移行には、多くの制限と困難が伴います。 主なものはテクノロジーのリソース集約度であり、これはそのままです。モバイルデバイスにそのまま転送することは不可能です。 しかし2007年以来、開発者ABBYY Mobile OCR Engineの既製のツールキットがあり、 モバイルで画像をデジタル化し、フォーマットを保存せずにTXTフォーマットで結果を提供することができました。 そしてまず、2011年に、このような「基本的な」認識が非常に適した小さなユーザーシナリオを実装することにしました。



どのシナリオが需要があるかを理解したかったので、iOS向けの5つのGrabber-sをリリースしました：PhoneGrabber、MailGrabber、LinkGrabber、StreetGrabber、および有名なTextGrabber 。 各アプリケーションには独自の機能がありました。 たとえば、PhoneGrabberは広告から電話番号をスキャンしてすぐに電話をかけ、MailGrabberは電子メールクライアントを開いて、認識されたアドレスに電子メールを送信するなどを提案しました。



PhoneGrabberは次のようになりました。







MailGrabberも同様です。







TextGrabberは、さまざまなソース（雑誌、書籍、看板など）から印刷されたテキストの小さな断片をスキャンするように設計されています。 ユーザーは興味のあるパッセージの写真を撮影するか、フォトアルバムから完成した画像をダウンロードし、出力でテキストを電子形式で受け取りました。編集、インターネットでの検索、共有が可能です。



ノスタルジックバージョン1.0：







突然、私たちにとって非常に若いTextGrabberで、American LifeHackerの著者の1人がレビューを行い、アプリケーションを「iPhone用の最高の画像からテキストへのアプリケーション」と名付けました。 このレビューのタイトルは、類似のアプリケーションが検索される一般的な検索クエリの1つと一致しました。 このおかげで、今日まで、5年後、ユーザーはレビューからアプリケーションにアクセスします。



AppStoreのレビューからリリースした後、ユーザーは翻訳する能力（海外のレストランのメニューや中国の技術者からの指示など）に欠けていることに気付きました。 そのため、2012年には、フルテキスト翻訳が統合されたTextGrabberのバージョンがリリースされました。 シナリオは同じです-写真のテキストの断片が電子形式に変換され、選択した言語に翻訳されます。



ローンチから約1年後、彼らは世界中の視覚障害のある社会からすぐに私たちに手紙を送り、盲人がTextGrabberを使ってどんな写真からも「読める」ようにAppleのVoiceOverテクノロジーをサポートするように頼みました。



その結果、Grabber-Five全体の中で、TextGrabberが最も人気があり、今日では61の認識言語をサポートし、104の言語に翻訳されています。 しかし、他のシナリオも忘れられていません（そして、ここでマーケティング担当者は、「最新情報にご注目ください」と書くように頼まれました） 。



ほぼ同時期に、写真の余分な背景を切り取り、台形、ノイズを除去し、写真を対照的にすることができるライブラリを作成しました。 2011年の終わりに、 ABBYY Mobile Imaging SDKでこれらのライブラリを収集しました（このテクノロジに関する詳細なブログを作成しました）。 同時に、いわゆる「モバイルスキャナー」がAppStoreに登場し始めました。 その後、私たちのチームの開発者の1人が、MI SDKに基づいてスキャナーを作成することを提案しました。 その結果、2012年にFineScanner iOSが市場に参入しました。



このアプリケーションの主なアイデアは、iPhone（iPad）からデスクトップスキャナーの適切な代替物を作成することです。 FineScannerは、画像の撮影、トリミング、位置合わせ、折り目と影の除去、表示または印刷用にドキュメントを最適化するフィルターの適用、スキャンからのPDFまたはJPGファイルの作成を行いました。



アプリケーションの最初のバージョンは認識されていませんでした。 「カメラ付き携帯電話があるのに、なぜこれが必要なのですか？」 それは、名刺の写真を撮るだけでいいのなら、名刺をスキャンする理由を周りのみんなが尋ねたときの名刺リーダーの状況のようでした。 シンプルな写真撮影では、テーブルの端、手の影など、多くの「ゴミ」が残ると説明しました。 FineScannerはこれをすべて修正し、画像を白くし、文字を鮮明にし、写真をPDFに変換します。



当時、競合他社に対する大きな利点は、追加設定なしで複数ページのドキュメントを作成できることでした。 そして、ほとんどのモバイルスキャナーには個別のモードがあり、一度に複数のページを撮影する前に切り替える必要があります。 FineScannerは、1つの「セット」内の複数のページを1つのドキュメントに結合する必要があることをすぐに理解しました。



FineScanner iOSの最初のバージョンは次のようになりました。











時間が経つにつれて、ユーザーはモバイルスキャンとは何かを実感しました。モバイルで直接銀行のパスポートのコピー、経理契約のコピー、証明書のコピーを作成でき、大規模なオフィスコピースキャナーに自分をドラッグする必要はなく、iPhoneを入手するだけであることに気付きました。 しかし、彼らは再び、スキャナーだけでなく、+ OCRスキャナーを求めました。



FineScannerは、テキストの断片ではなく、ドキュメントのページ全体で動作するように設計されているため、フォーマットを維持しながら認識を要求することは論理的でした。 そのため、デバイスでの直接認識は適合しませんでした。 FineReader Onlineサーバーに認識を実装しました。 登録はなく、モバイルユーザーに適したサブスクリプションベースの認識認識モデルを構築しましたが、2014年の自動更新サブスクリプションは現在ほど普及していませんでした。 さらに、Appleはそれを使用できるサービスの種類を非常に厳しく規制しており、最後の瞬間まで、Apple Review TeamがFineScannerでそのようなOCRサブスクリプションを承認するかどうかを知りませんでした。



OCRを搭載したFineScannerは、PDFまたはJPGでドキュメントのコピーをすばやく作成し、193の言語でテキストを認識し、Word、Excel、Power Pointなどの12の一般的な形式で保存できるスマートフォンの本格的なスキャナーになりました。 この場合、ドキュメントは、従来のスキャナーとPCを使用して作業しているかのように、テーブル、ヘッダー、元のフォーマットから生き残ります。 完成したドキュメントは、これらの形式で動作するアプリケーションで開いたり、クラウドストレージに転送したり、印刷したり、電子メールで送信したりできます。



しかし、FineScannerの開発の話はこれで終わりではありません。 FineScannerはデスクトップスキャナーに代わるものであり、これは通常のオフィスドキュメントの場合であるため、書籍をスキャンする技術を台無しにしてみませんか（ユーザーの約30％が書籍をスキャンしたことを知っていました）？ 大型スキャナーのカバーを押すのではなく、スマートフォンで本を撮影するときの本の主な問題は、ページと線の曲がりです。 各ページの写真を個別に撮影し、すぐに向きを変える必要はありませんが、「手で」撮影する場合、ページを100％圧縮することは不可能なので、ページは湾曲したままになります。



この問題の解決策はBookScanテクノロジーで、2015年2月のモバイルワールドコングレスで最初のプロトタイプを示しました。 そして2015年12月、FineScannerの5番目のバージョンがリリースされ、ブックスキャンモードが搭載されました。



どのように機能しますか？ 「ブック」モードに切り替えると、FineScannerはブックの広がりをキャプチャするように構成されたビューファインダーを表示します（一度に2本のバー）。 撮影後、画像はサーバーに送信されて処理されます。 アプリケーションは、2つの別々の画像をユーザーに返します-既にトリミングされた余分な背景と補正された幾何学的な歪みを持つ左右のページ。 BookScanテクノロジーに関する詳細な記事を個別に作成しました 。それらについては、 こちらとこちらをご覧ください 。



本をスキャンするプロセスは次のとおりです。











これらは、今日までのABBYYモバイルアプリケーションの開発における最も重要なマイルストーンです。



Androidも非常に一般的なシステムであるため、iOSバージョンが常に「先駆者」になる理由を尋ねるでしょう。 すべてが非常に簡単です。 OCRが正常に機能するには、少なくとも3メガピクセルのカメラが必要です。 多くのAndroidデバイスは、長い間この要件を満たしていません。 iOSにはスマートフォンやタブレットのモデルが20個以上あり、カメラソフトウェアが1つあります。 Androidデバイスは数百台あり、各メーカーはその裁量でカメラソフトウェアを改善しようとしています。 すべてのAndroidデバイスで同等に機能するスキャナーを作成することはほとんど不可能になります。 各メーカーの新しいファームウェアごとに、新しいバグが発生する場合があります。 そして、フィッティングプロセスは無限になります。



したがって、最初はiOS専用のアプリケーションを作成しました。 しかし、Androidが手持ちのデバイスの数で増加する市場シェアを占めることが明らかになったとき、私たちはAndroid向けのアプリケーションを作り始めました。 したがって、TextGrabber for Androidは2013年（iOSの2年後）にリリースされ、最近ではFineScannerが2016年7月にリリースされました。



もちろん、私たちはそこで止まるつもりはありません。 既存のものを改善し、新しいものを作成する計画があります。 まず、iOSとAndroidの両方で、すべてのアプリケーションのデザインが間もなく更新されます。 iOS用の更新されたFineScannerは次のようになります











OCRをオンラインとオフラインで組み合わせてドキュメントの処理を高速化する方法を検討しています。 しかし、詳細を明らかにするまで、他の興味深い計画があります。



当社は、たとえば小切手、請求書、パスポートを認識するため、およびモバイルアプリケーションに表示されるものを評価するたびに、新しい技術を絶えず作成しています。 便利で便利なモバイルスキャンシナリオのアイデアがある場合は、コメントを記入して、提案を検討します。



以上です！ モバイルアプリケーションの歴史について質問がある場合は、コメントで質問してください。