人工知能は、法的文書の取り扱いにどのように役立ちますか？ ABBYYのYegor Budnikovによる講演

ABBYYのテクノロジー部門のシステムアナリストであるYegor Budnikovが、カンファレンスData＆Science：Law and Records ManagementでYandexで講演しました。 彼は、コンピュータービジョンがどのように機能するか、ワードプロセッシングが発生するか、法的文書から情報を抽出する際に注意を払うべき重要事項などについて語りました。





-企業はデータ分析と電子文書管理の方法論を開発したかもしれませんが、Wordで作成された文書は、顧客または近隣の部門から会社に送られ、印刷、コピー、スキャンされ、USBフラッシュドライブに持ち込まれます。



文書がスキャンされて認識されるまで最大70年間保存できるという事実までは、文書の流れ（現在は「汚れた」文書、紙の保管）をどうすればよいでしょうか？









ABBYYは、ビジネスタスク用の人工知能技術を開発しています。 人工知能は、人が日常的または専門的な活動で行うのとほぼ同じこと、つまり、写真または写真のストリームから現実の世界に関する情報を読み取ることができる必要があります。 これには、コンピュータービジョンだけでなく、センサー（煙センサーや温度センサーなど）からのデータの聴覚または認識も含まれます。 さらに、これらのセンサーからのデータはシステムに入り、決定に参加する必要があります。 この機能を正常に実装するには、図のように、システムが愚かな論理エラーを許可してはなりません。









テキストを分析することは困難です。言語の多様性と発展により、テキストは美しく表現力豊かになりますが、自動処理のタスクは複雑になります。 通常、単語のあいまいさは、この単語またはその単語が何を意味するかをコンテキストによって判断できるという事実によって克服されますが、コンテキストには解釈の余地がある場合があります。 「 これらの種類の鋼は倉庫にある 」というフレーズでは、昼食をとるのは部屋にいる人であるか、倉庫に保管されているいくつかの種類の鋼であるかのどちらかです。 このあいまいさを解決するには、より広いコンテキストが必要です。





コラージュの下部は、映画「Operation」Y「Shurikの他の冒険」のフレームです。



一般的な場合、人工知能またはスマートロボットは、空間内を移動し、オブジェクトと正常に対話できる必要があります。たとえば、箱を何度も取り上げて、インストラクターが手から叩き出します。



最後に、一般的な知性と知識の表現：知識は情報とは異なり、その部分は活発に相互作用し、新しい知識を生成します。 カクテルの混合の問題を効果的に解決するために、簡単な方法を使用できます。材料をリストし、それらを混合する順序を示します。 この場合、システムは、関心のある主題に関するarbitrary意的な質問に答えることができません。 たとえば、トマトジュースをパイナップルに置き換えるとどうなりますか。 システムが素材、データベース、分類法（互いに論理的に関連する概念ツリー）をより深くマスターするには、論理的な推論手順を追加する必要があります。 この場合、システムはシステムが何をしているかを理解しており、プロセスに関する任意の質問に答えることができます。



ABBYYが開発した人工知能は、ドキュメントを処理します。つまり、紙、スキャンされた電子メディアをこれらのドキュメントから抽出された構造化情報に変換します。 コンピュータービジョンとワードプロセッシングなどの2つのコンポーネントについて説明します。 コンピュータービジョンを使用すると、PDF、スキャンした画像、写真を編集可能なテキスト形式に変換できます。 なぜこれが難しいタスクですか？ まず、ドキュメントは任意の構造を持つことができます。



これは、まず文書の構造分析の問題を解決する必要があることを意味します。テキストブロック、画像、表、リストがどこにあるかを理解し、次にそれらが相互作用する方法を決定することです。 第二に、ドキュメントは異なる言語で作成できます。 つまり、さまざまな種類の文章の検出と、互いに大きく異なる可能性のある単語や文字を認識する機能をサポートする必要があります。 第三に、画像は現実世界から私たちに届きます。つまり、何でも起こる可能性があります。 それらは歪んでいて、間違った視点で撮影されている可能性があり、コーヒーの染み、プリンターからの縞、そしてスキャナーからの縞があるかもしれません。 情報を後で抽出するには、これらすべてを何らかの方法で管理する必要があります。



画像認識はどのように機能しますか？ 最初の段階では、画像を受け取り、処理します。 ドキュメントが平準化され、歪みが修正されます。 次に、ページ構造の分析が実行され、この段階でブロックのタイプが検出され、決定されます。 ブロックが定義され、行または列が整列されると、これらの行を単語と文字に分割できます-たとえば、黒色の分布の垂直および水平ヒストグラム。











したがって、文字と単語の境界がどこにあるかを判断し、それらがどのような文字と単語であるかを認識することができます。 最後に、認識されたブロックが単一のテキストドキュメントに合成され、エクスポートされます。



このプロセスは、さまざまなレベルのエンティティの観点から見ることができます。 最初に、ページ分割されたドキュメントがあります。 次に、これらのページをブロックに、ブロックを行に、行を単語に、単語を文字に分割し、これらの文字を認識する必要があります。 その後、認識された文字を単語に、単語を行に、行をブロックに、ブロックをページに、ページをドキュメントに収集します。 さらに、戻る途中で、初期パーティションが異なる場合があります。 最も単純な例は、最初に壊れたブロックが同じ番号付きリストに属していたため、最終的には構造化リストタイプの同じブロックに属している場合です。 言い換えれば、認識品質を向上させるために、隣接するステップが互いに影響を与えることができます。



ドキュメントが認識された後、ドキュメントから情報を抽出する必要があります。 ドキュメントは、構造化されたものと構造化されていないものに分けることができます。 より構造化されたものには、名刺、小切手、請求書が含まれます。 あまり構造化されていないのは、委任状、憲章、雑誌の記事です。 文書のタイプが固定されている場合、それは多かれ少なかれ構造化されており、このタイプ内の文書は構造が互いにほとんど異なりません。テキストおよびグラフィック属性を使用してテキスト文書から必要な属性を直接抽出する方法を使用できます。 たとえば、リカレントニューラルネットワークを使用すると、請求書から製品アイテムを抽出できます。 請求書は、商品の位置とこれらの商品の支払い方法の説明が記載された文書です。







別の例はチェックです。 畳み込みニューラルネットワークを使用すると、TIN、チェック番号、日時、合計スコアなどの単一の属性を取得できます。 率直に言って、両方の方法と請求書は両方の方法を使用しますが、目的は異なります。 畳み込みニューラルネットワークは、ある種の位置を持つ単一の属性に適しています。リカレントネットワークは、繰り返される要素に適しています。







文書があまり構造化されていない場合は、自然言語処理、自然言語処理、またはNLPメソッドが役立ちます。 なぜ難しいのですか？ 私はすでに単語の多義性について話しました。 たとえば、住所という言葉は、会社の住所を意味する場合もあれば、顧客の問題を解決するというコミットメントを意味する場合もあります。









また、テキストはしばしば省略されますが、言葉は暗示されます。 情報を抽出するには、これらの欠落単語を回復する必要があります。 言語学におけるこの効果は「省略」と呼ばれます。



言語は多様であり、通常、同一の考えを表現する無数の方法があります。 テキストを自動的に処理するには、何らかの方法でこの変動性を低減する必要があります。単一の単語または表現を置き換えるための同義語および類似の構成の使用。 単語の並べ替えまたは文法的な声の変化。 たとえば、同じことを言うために、「企業が契約を締結しました」と「企業間で契約が締結されました」。 同義語の場合、いわゆる意味空間、つまり単語が点として表されるベクトル空間を導入できます。 近い点は関連する概念を示し、遠い点はより遠い概念を示します。 定式化のばらつきを減らすために、構文解析ツリーと意味解析ツリーを導入できます。 この場合、同様の問題も解決され、情報抽出アルゴリズムは、トレーニングセットで以前に検出されなかった構造または単語に遭遇した場合でも、情報を抽出できます。



情報はどのように抽出されますか？ 最初の段階で、ドキュメントの字句解析が実行されます。 テキストは段落に、段落は文に、文は単語に分割されます。 これは些細なことではないかもしれません。NLPに精通している人は、テキストを文章に分割するような一見単​​純なタスクでも難しい場合があることを知っているかもしれません。 これらは未知の略語である可能性があるため、字句解析では、文を単語に分割するためのすべての可能なオプションを整理し、最も可能性の高いものを残そうとします。 この問題は、原則として、日本語や中国語など、少数または完全にスペースがない言語で発生します。 または豊富な単語形成を持っている人。 たとえば、これはドイツ語などの言語です。複数の単語で構成される非常に長い単語があります（このような単語は複合語と呼ばれます）。 また、これらすべての単語について、考えられるすべての解釈が計算されます。 たとえば、テキストに「g」がドットで表示されている場合、市区町村、年、グラム、主、さらに4番目の段落（a、b、c、d）を意味する場合があります。







次に、セグメンテーションが実行されます。つまり、関心のあるセクションが検索されます。 たとえば、ドキュメントの処理を高速化したり、興味のある情報を見つけたりするなど、さまざまな理由で作成されます。 当事者の義務について述べている文書の一部を見つけるため。 または、これは処理の高速化です。たとえば、特に高度なケースでは、ドキュメントが数十または数百のページで構成されている場合がありますが、興味深い情報はわずか数ページに含まれています。 セグメンテーションを使用すると、これらの興味深い部分を見つけて、それらだけを分析できます。 次に、ドキュメントのセマンティック分析が実行される場合と実行されない場合があり、タスクによって異なります。この段階で、文、ドキュメントのすべての文、または前の段階で見つかった文のみの最良の解釈が検索されます。 分類器のセマンティック機能も次のステップで生成されます。



最後に、属性の直接抽出の段階。 ここでは機械学習モデルが使用されるか、単純なパターンが記述されます。 何らかの方法で、前の手順で生成された兆候に依存します。 これらは、字句と意味の両方の構造的特徴です。 タスクの複雑さに応じて、機械学習法とテンプレート作成法という多くの異なる方法を使用します。 この段階では、興味のある属性を探しています。 当事者の名前、義務、署名の日付などです。



最後に、一部の属性には後処理が必要な場合があります。 通常の形式にするか、日付テンプレートにキャストします。 一部の属性は原則として計算できますが、契約からは抽出されませんが、契約から抽出される属性に基づいて計算されます。 たとえば、アクションの開始と終了に基づいた契約の期間。



シナリオの1つでこれを考慮してください。「法人との口座開設」と呼ばれます。 課題は何ですか？ 法人、またはその代理人が銀行に来て、大量の書類を持ち込みます。 良いケースでは、彼はすでにこれらのドキュメントをスキャンしていますが、どのような品質であるかは明確ではありません。 プロセスを最適化するために、この情報をシステムに入力する際のエラーの数を減らし、このプロセスを高速化し、したがって意思決定を加速し、顧客ロイヤルティを向上させるために、次のスキームが提案されました：











多くの異なるタイプを含む構成文書が最初にスキャンされ、次に認識されます。 さらに、認識後、それらは異なるタイプに従って分類され、タイプに応じて、異なるアルゴリズムを使用して情報を認識および抽出できます。 次に、この抽出された情報は、必要に応じて確認のために人々に送信され、その後、すでに決定を下すことが可能です。口座を開設するか、その他の追加文書が必要です。 この決定の主な結果は、口座開設時にデータ入力のコストを半分にすることです。 クライアントの測定に基づく結果。



どの属性を取得する必要がありますか？ たくさんのこと。 何らかの種類のチャーターが来たとしましょう。 最初に認識します。 思い出すように、これがスキャンまたは写真である場合、これは非常に問題になる可能性があります。 次に、ドキュメントのタイプを決定します。これは、必要な情報を特定の章または副次句に含めることができるため重要です。したがって、この章または副次句の開始または終了のタイミングに関する情報は、情報抽出アルゴリズムに大いに役立ちます。











次に、マシンは到達可能なすべての基本エンティティを取得します。











これは、属性の抽出またはロールの定義の次の段階で、アルゴリズムがコンテキストだけでなく、前の段階で生成された特性も使用できるようにするために必要です。 たとえば、法人の責任者を特定する作業を大幅に簡素化できます。これは、ある種の人物であるという情報です。 したがって、ドキュメントに表示される人物のセットのうち、ディレクターであるかディレクターでないかを分類する必要があります。 オブジェクトの数が限られている場合、これによりタスクが大幅に簡素化されます。



過去2年間で、さらにいくつかのクライアントタスクに遭遇し、それらを正常に解決しました。 たとえば、企業リスクのメディア監視。











ここでのビジネス上の課題は何ですか？ たとえば、あなたから融資を受けたいと考えている潜在的なパートナーまたはクライアントがいます。 このクライアントのデータの処理を高速化し、悪いパートナーシップ、またはこの法人の将来の破産のリスクを軽減するために、この個人または法人への言及およびこれらのニュースにおけるいわゆるリスク指標の存在についてメディアを監視することが提案されています。 つまり、たとえば、法的エンティティが法的手続きに関与している、または会社が株主の対立によって壊れているというニュースが常に表示される場合、アナリストまたは分析システムにこの情報を渡し、それがあなたのビジネスにとってどれほど良いか良いかを理解するために、それについて早期に調べる方が良い。 この問題を解決した結果、借り手に関するより完全で正確な情報が取得され、この情報を取得する時間も短縮されます。











システムに情報を入力するときにルーチンの量とエラーの数を減らす必要があるアプリケーションの別の例は、契約からのデータの抽出です。 契約が認識し、契約から情報を抽出し、すぐにシステムに送信することが提案されています。 その後、人事部はあなたに涙を流して感謝し、すべての会議で温かく迎えてくれます。









人事部門は、新しいドキュメントを扱う多くの日常業務に苦しむだけでなく、経理部門、営業部門、購買部門にも苦しんでいます。 従業員は、請求書、着信行為などから情報を入力するのに多くの時間を費やす必要があります。











実際、これらのドキュメントはすべて構造化されているため、ドキュメントから情報を簡単に認識して抽出できます。 人的要因が排除されるため、データ入力の速度が最大5倍に増加し、エラーの数が減少します。 条件付きで、従業員が昼食後に戻ってきた場合、彼は不注意にデータを入力し始める可能性があります。 システムへの情報の手動入力に何らかの方法で従事している私たち自身の測定値と業界は、人がドキュメントからデータを入力し、継続的かつストリームでそれを行う場合、95％を超える品質を得ることはめったにないことを示唆していますより頻繁に、90％以上。 そのため、人は機械の後ろよりもさらに数を数えてチェックする必要があります。



さらに、マシンが抽出しなかったという何らかの信頼性の評価（たとえば、一部のドキュメントが汚れている可能性がある）を提供し、マシンがそれを行ったことがわからない場合、検証者にこの結果があまりわからないことを通知できます：「再確認してください。」 また、個人が個々の情報を再確認して、高品質になるようにします。 これはそのような日常的な操作ではありません。彼は本当に重要で難しい瞬間だけをチェックし、彼の目はぼやけていません。



文書から情報を抽出できる場合、この情報を比較できます。











これは2つの場合に重要です。 まず、1つのドキュメントのさまざまなバージョン、たとえば長い間一貫性のある契約を比較するために、両側から絶えず修正が行われています。 第二に、これはさまざまな種類の文書の比較です。たとえば、パートナーから何を受け取るべきかを示す合意がある場合、一方で、さまざまな請求書やレポート、見積もりなどがあります。 それらを相互に関連付け、すべてが正常であることを理解する必要があります。正常でない場合は、何らかの形でこれを責任者に通知します。



コンピュータービジョン、構造化文書および非構造化文書の処理における現在の技術の発展は非常に高いため、現在および今後数年間で、企業のルーチンプロセスのデジタル変換が行われます。



さらに、これらすべての方法は、決して人々を置き換えることを意図したものではありません。 むしろ、Excelツールとの比較の例が好きです。Excelツールでは多くのことができますが、このツールはアナリスト、マネージャー、または他の人を置き換えるものではありません。 それは人間の能力を拡大し、彼のタスクの解決を簡素化するように設計されています。











したがって、人工知能に関連するソリューションは、会社のリソースをアンロードし、より創造的で知的なタスクを解決するために、人がマシンよりも多くのミスを犯すことが多い反復的なルーチン操作の数を減らすようにも設計されています。 そして、私たちは全力でそこに移動しているようです。 ありがとう