FlexiCapture 彼らが言うように、彼はとても柔軟ですか？

多くの大規模な組織で使用されているという事実にもかかわらず、社外の一般ユーザーはFlexiCapture製品についてほとんど知らないことがわかります（「USEが認識されているのでしょうか？」）。 製品はエンドユーザー向けではなく、企業向けのものであると信じて、これに我慢できます。 そして、彼についてすでに何か知っている人に役立つだけでなく、製品から遠く離れた人々にFlexが名前の4文字だけではないことをほのめかすであろうことを定期的に伝えることができます。



ノボシビルスクの会社ATAPI Softwareのパートナーは、さまざまな複雑なケースを処理するためのテクニックを共有しました。 これは特定の実用的なヒントのセットであり、お客様の役に立つことを願っています。 さらに、これらの物語はそれぞれ禅のanのようなものであり、FlexiCaptureの多様性の本質を明らかにするのに役立ちます。

カスタムテーブルを処理するときは、蓮の花のように穏やかに

ABBYY FlexiCaptureの主な目的は、ドキュメントから特定のデータを抽出し、それらを情報システムに入力することです。 ロシアでは、ほとんどのドキュメントが統合されているため、通常、これにより問題は発生しません。 残念ながら、これは外国の文書については言えません。たとえば、ヨーロッパの請求書については言えません。また、ロシアの一部のフォームは、外国の文書よりも悪くない「焼きなまし」です。 たとえば、次のように、テーブル内の必要な情報が明確に区別されていない場合があります。







この表には、見出しの説明を含む2行があります。 自動方法を使用してこのようなドキュメントを認識する場合、アイテム番号（左端のフィールド）は別の列に分類されて正しく認識されますが、数量と商品のフィールド（3番目の列）は同じ列に分類されますフィールド。 さらに、多くの不必要なテキスト情報が列に入る可能性があります-これにより、検証中に問題が発生します。



繰り返しグループの機能を使用して、目的のデータを個別のフィールドに分割できます。 Flexilayout Studioで、タイプ「Repeating Group」（Repeating Group）の要素を作成します。 グループの各インスタンスは、単純な要素（静的テキスト、文字列、地域など）を使用して検索が既に構成されている領域内のテーブルの行に対応します。 また、情報の検索に直接先行する繰り返しグループを使用して、各行の領域を選択することもできます。



これは、おそらくこのような場合に最適なソリューションです。 ただし、実際の認識に加えて、このような標準外のテーブルから通常のテーブルビューにデータを移動する必要があることを忘れてはなりません。







なぜこれが必要なのですか？ 検証オペレーターは、表形式で提示されると、データの処理が簡単になります。 さらに、標準テーブルと非標準テーブルが次々に検証のために送信されることが非常に頻繁に発生します。各ケースに個別のテンプレートを作成すると、オペレーターがデータの表示方法を切り替えるのが困難になります-したがって、必然的に間違いを起こし始めます。



そしてもう一つ。 次の例は、インターフェースで複雑な非標準テーブルを繰り返しグループとして表現するのはあまり便利ではないことを示しています。このような表現は多くのスペースを占有します。







これを、表形式の類似データの表示と比較してください。







ご覧のように、この形式（テーブルなど）では、データの占有スペースがはるかに少なく、オペレーターは時間のスクロールを無駄にすることなく、ドキュメントをより速くチェックできます。



検証プロセスを高速化し、統一するために、次のアプローチを使用します。

• 柔軟な記述のレベルでは、繰り返しグループを使用して必要なデータを探し、個々の行の領域を見つけます。 次に、各行の領域内で、必要なフィールドを抽出します。
• 次に、繰り返しグループと同じ行数でダミーテーブルを作成します。 ダミーテーブルは、任意の領域に重ねて表示されるテーブルです。つまり、データフォーム上に存在しますが、ドキュメントの特定の画像には関連付けられていません。
• FlexiCaptureプロジェクトのドキュメント定義設定では、簡単なスクリプトルールを記述します。これは、システムが繰り返しグループで検出したフィールドの値をテーブルの対応する列にコピーします。
• すべての情報がテーブルに保存および表示されるようになるため、データフォーム上のフィールド自体を非表示にすることができます。

表形式のデータ認識を改善することにより、トラの放牧を回避

テーブルを使用する場合、開発者のカルマは、データセル内の多数の異なるテキスト「ガベージ」です。 たとえば、次の表から、 OKVEDコードのデジタル値と、 法的エンティティの統一状態レジスタに情報が入力された日付を抽出する必要があります。







単純なテーブルを作成する場合、アクティビティのタイプのテキスト記述（「自分の不動産を削除する」）はコードとともにセルに分類され、スクリプトを使用して開発者が削除するか、オペレーターが手動で毎回削除する必要があります。 さらに、しみ、マーク、スタンプ、署名などもテーブル領域に含まれます。



そのような追加情報が認識に干渉しないように、これらのオブジェクトを柔軟な説明のレベルでフィルター処理できます。システムが自動的にそれらを見つけ、認識中に無視するルールを設定します。 この例の場合、ロシア語の文字と括弧ですべてのテキストオブジェクトの「無視」を設定するだけで十分です。







次の図でわかるように、FlexiCapture 10では、このフィールドは認識領域から除外されます（灰色の網掛けの長方形）。







または、反対に行くことができます-最初に、繰り返しグループを使用して、必要なデータ（デジタルコード）のみを検索し、「OKVEDコード」列からコード自体とは異なるすべてのテキストまたは他の画像オブジェクトを認識から除外します。

このようなアプローチの例を以下の図に示します。左側では、最初の方法で固定テキストMACHINE REAMER 600を除外し、右側では、2番目の方法で数字を除くすべてを除外しました。

態度変分フィールド認識-心の鏡がそうでないものから美しいものを分離させます

同じフィールドの形式は、同じタイプのドキュメントで大きく異なることがあります。 たとえば、外国の請求書では、白い背景に普通の黒いテキストと黒い背景に白いテキストの両方が表示される場合があります。 同様の状況は、さまざまなアンケート、アンケートなどの形で見ることができます。







そして、テンプレートは1つしかありませんが、実際にはドキュメントは混同されて認識されるようになります-一部のデータはプリンターに刷り込まれ、他の場合はいわゆる手書き方式で人が入力します。







同じフィールドに異なるデータ形式を生成するインシデントは少なくありません。 ある文書で日付が2006年2月23日の形式であり、別の文書で24/11/08の形式である場合、その人は理解し、プログラムがこのフィールドの異なる設定を示すことが望ましい。







これらのケースはすべて、認識の困難を引き起こす可能性があります。 ABBYY FlexiCaptureを使用すると、2つの個別のフィールドを作成し、それらに異なる認識設定を設定できます。反転またはプレーンテキスト、印刷または手書き、共通フレームでの認識、または各文字の個別フレームの描画。 次に、各文書を処理するときに、オペレーターはフィールドの正しいオプションを手動で選択します。



ただし、認識プロセスをさらに改善できます。 最初のオプションは、さまざまなタイプのパッケージのドキュメントを処理することです。 しかし、スキャン段階でドキュメントを分離する必要があるため、これは非常に不便でもあり、最終的にオペレータはどのドキュメントをどこに送信するか混乱する可能性があります。 プログラムがこのタスクに対処できるのに、オペレーターに不要な作業をロードするのはなぜですか？



次のアルゴリズムを使用しました。 探しているテキストがある場所に、次の3つのフィールドを作成します。

• 最初のフィールドは、プレーンテキストを認識するユーザーから隠されたフィールドです。
• 2番目は、テキストを反転したものとして認識する非表示フィールドでもあります。
• 3番目は、ユーザーに表示されるフィールドです。オペレーターは、検証のために、システムが最良と評価した認識結果の1つを受け取ります。

システムは、たとえば、いわゆる「疑わしい文字」（疑わしいシンボル）の数に基づいて最適な結果を選択できます。このためには、認識の結果として最少数の「疑わしい文字」でフィールドの値を転送するスクリプトルールを作成する必要があります。



3つのフィールドと最適な認識オプションの選択を使用した同様のアプローチは、1つのフィールドで異なるマークアップまたは印刷/手書きテキストの場合に使用できます。

すべてを単一に戻す方法：数値の小数部の割り当て

分数にはどのような問題があるのでしょうか？ 同じ数字とセミコロン。 ただし、スキャン時に分数の区切り文字が認識されなかったり、消えたりすることがあり、不快な結果を招く可能性があります。 たとえば、紙の請求書の合計金額は1つで、電子請求書の合計金額はもう1つです（余分なゼロのペアが表示されます）。 これは、たとえば、ファックスで送信されたドキュメントを処理するとき、古いドキュメントや印刷品質の低いドキュメントを認識するときに発生します。







FlexiCaptureでは、この問題を解決するのはそれほど難しくありません。



通常、小数部の文字数は0から2まで変化します。認識されたテキストに区切り文字があるかどうかを理解するには、以下が必要です。

• 文字列の最後の文字と最後から2番目の文字の間の距離を計算します。 これを行うには、最後から2番目のシンボルの右境界のx座標から最後の文字の左境界のx座標を減算します。 S ₁になります
• 文字列の文字数が2文字の場合：S ₁を特定の係数と比較し、S _1がこの値より大きい場合_は 、セパレータを追加する必要があります。
• 行の文字数が2を超える場合、行の終わりから2〜3文字の間の距離S ₂を計算する必要があります。
• 関係S ₁ / S ₂およびS ₂ / S _1を計算する

リレーションのいずれかが係数（たとえば、1.5）よりも大きい場合、対応する文字の間にセパレーターを挿入します。

このソリューションは、オーストラリアのプロジェクトの1つで使用されました。 以下は、ソース画像と認識結果の例です-「強化」の有無にかかわらず。







ところで、請求書では、認識結果はチェックサムに対して非常に簡単に確認できます。 認識されたドキュメントの「合計」フィールドの値が表に従って合計と一致する場合、オペレーターの参加なしで認識結果を確認できます。 文書内の数字の量と単語の量（ある場合）との比較も役立つ場合があります。



係数の選択を自動化するには、文字列内の文字間の平均距離、文字の高さと幅の比率などを分析できますが、原則として、実験的に、または科学的な「突く」方法で係数を選択する方が簡単です。 これらの係数の選択に費やす時間は分単位で計算されますが、検証オペレーターは作業時間を節約できます。

花は仏の眼差しの下と鉄の木の上に咲きます。 ドキュメントのフルテキストレイヤーが必要な場合の対処方法

フィールドから特定のデータを抽出して保存するには、ABBYY FlexiCaptureが必要であることをすでに書きました：番号、取引先名など、原則として、誰もドキュメントの全文に興味はありません。 しかし、あるストリームでは、一部のドキュメントのフィールドからデータを抽出し、他のドキュメントのテキスト全体を認識する必要があることもあります。



ドキュメントのテキスト全体をテキストファイルの形式で抽出する機能が必要になる場合があります。たとえば、一般的な使用と企業の両方の両方で、さまざまな検索エンジンでドキュメントのコンテンツのインデックスを作成します。



そのような必要性は、当局の文書を処理したノボシビルスク市役所で発生しました-命令、法令および命令。 アーカイブ内でドキュメントがインデックス付けされたドキュメントの「ヘッダー」のフィールドだけでなく、全文認識の結果も必要だったため、後で主要部分のキーワードでドキュメントを見つけることができました。



FlexiCaptureは、テキストレイヤーを使用して、認識されたドキュメントのPDFへのエクスポートを長い間カスタマイズできました。 しかし現実には、多くの外部情報システムはPDF文書の検索方法を知らないということです。 さらに、1920年代初頭からデータを保存していたノボシビルスクアーカイブに関して、私たちが見た紙の資料の多くは、タイプライターで印刷された、かなり老朽化した色あせたページでした。 このようなファイルの自動認識の結果は、それほど高品質ではないことが予想されます。 同時に、非常に重要なのは、そのようなアーカイブドキュメントのテキストコンテンツであり、見出しではありません。 したがって、重要なデータを確認する段階でFlexiCaptureで全文認識の結果を確認できると便利です（この場合は注文番号、日付など）。



解決策がありました。 FlexiLayout Studio（柔軟な説明を作成するためのこのツールについては既に説明しました）では、重要な構造化データに加えて、ドキュメントのテキストレイヤー全体を抽出できるドキュメントの柔軟な説明を作成できます。 これは非常に簡単に行われます-たとえば、ドキュメントのすべての行を含む繰り返しグループを使用します。



必要に応じて、このテキストレイヤーはFlexiCapture検証ステーションで確認することもできます。 また、テキストはコピー、インデックス作成、およびテキスト形式へのエクスポートが可能です。 最終的なPDF文書では、テキストレイヤーの認識結果が向上します。これは、この結果がオペレーターによって確認されるためです。



以下は、ABBYY FlexiCapture検証ページのスクリーンショットです。 ご覧のとおり、フィールドだけでなく、ドキュメント内のすべてのテキストを操作できるようになりました。

ご清聴ありがとうございました。残り3件のみです。

エンジニアリングライフハックをいくつか提供しました。これは、当社の製品に役立つことを願っています。

追加するものがある場合-FlexiCaptureを使用して他の非標準の問題を解決した場合-コメントでそれを読んで喜んでいます。



ABBYYロシア、Tatyana Ganzhina

ATAPIソフトウェアスペシャリストの積極的なサポートを受けています。