ERPシステムでのテキストオブジェクトの処理

ERPシステムに保存されたテキストデータの複雑な処理の必要性が（そしてそれだけでなく）非常に頻繁に発生します。 以下は、導入例の例です。

• 商品の命名法の名称の統一
• 商品の名前または説明に基づいた商品の正式な属性の自動配置
• 統一と正式な構造化の両方のためのメールアドレスの変換
• 名前で人の性別を判断する
• ノートからドキュメントへの情報の抽出（たとえば、抽出からのエントリを出荷ドキュメントに自動的にリンクするため）
• など （あなたは長い間空想することができます）

欲しいものを見つける

長年にわたり、リストされた問題や同様の問題に対して多くの状況解決策を作成してきたため、リストされたセット全体に対してアプローチを何らかの形で普遍化する必要性が生じてきました。



ルールを最小限に抑えて入力されたテキストを使用するため、通常はそれらを使用せずに、通常は正規表現、perlまたはawk言語を使用することはできません。 同様の問題に関する記事の habrで説明されています 。



私たちの願いは次のとおりです。

• データベース内のテキストを可能な限り統一されるように変換します。
  
  たとえば、2つの製品「液体石鹸。 PALMOLIVアロマセラピー300 ml「and」Palmolive液体石鹸Vita-oil deep Nutrition 300 ml "。
  
  これらの2つの名前の代わりに、たとえば次のものを見たいと思います。
  
  「液体石鹸Palmoliveアロマセラピー300ml」および「液体石鹸Palmoliveビタミンオイル深栄養300ml」。
  
  
• より少ないルールを作成したいのです（特に、以下に客観的および主観的な理由で見られる構文は贈り物ではないため）。 そのため、いくつかのオプションを1つずつまとめて置き換えるために、何らかのグループ化オプションが必要になります。
  
  たとえば、palmolive << palmolive | palmolv | palmol。
  
  
• 多くのお客様のマーケティング担当者は、20の基準に従って商品を適切に分類する必要があり、自動化されたフィットネスクラブは、一部の従業員であるIvanovの訪問者であるPetr Mikhailovichが女性会員を確立していると不満を漏らしています。
  
  したがって、プログラムがグループに属するブランド、商品のアルコール飲料の強度と容量を自動的に配置することが非常に重要です-結局のところ、従業員はすでにすべてまたは多くの名前を示しています。
  
  つまり、テキストオブジェクトから機能を抽出し、これらの機能をエンティティの正式な属性に変換するメカニズムが必要です。
  
  
• 場合によっては、テキストを置換したり、テキストから正式な属性を抽出したりするときに、ルールの適用のコンテキストを制限したいことがあります。
  
  これがその目的です。たとえば、「パウダー」という言葉は、顔の粉砂糖と化粧品パウダーの両方を意味する場合があります（英語のテキストの場合、すべてがさらに重要になります）。 コンテキストを制限すると、この単語をさまざまな方法で解釈できます。 コンテキストをビューティーブランドのリストに限定すると、製品の名前に含まれる「パウダー」という単語の出現をフェイスパウダーとして正確に分類できます。
  
  

ソリューションに取り掛かろう

実際、タスクは言語構造の定義とそれらに対するアクションにかかっています。 1001番目の言語を作成して申し訳ありませんが、幸いなことに、それほど複雑ではありませんでした。



言語について話す前に、実装する必要がある概念を定義します。

• トークン-単語または区切り文字のリテラル定義
• トークンクラスは、埋め込まれた一連の特性を満たす一連のトークンのグループ化定義です。
  
  トークンクラスの例：
  
  
  • word-セパレータなしの文字のシーケンス（単一のセパレータもこのクラスのサブセットです）
  • デジタルワード-セパレータなしの10進数のシーケンス
  • 指定された長さのデジタルワード-固定長の分割線のない10進数のシーケンス
  • ANYは空の単語シーケンスではありません
• 操作-テキストの任意の部分で実行する必要があるアクション
  
  多くの操作はありません：
  
  
  • 置換-テキストの一部をターゲット式で置換
  • 大文字と小文字の変更は、次の3つのオプションのいずれかに従って単語の文字の大文字と小文字を設定できる簡単な操作です。
    
    
    • すべて小文字
    • すべて大文字
    • 大文字（最初の文字は大文字、次は小文字）
  • シグナル-テキストに対応する構造が含まれていることを通知し、タスクを（呼び出しモジュールの裁量で）効率的に完了する機能を提供するために、呼び出しモジュールに返される特殊な構造化文字列の形成
• ソース式は、何らかの操作を実行する必要があるソーステキストの一部です
• ターゲット式-元の式を置き換える構造、または信号オブジェクトとして機能する構造
• グループは、ターゲット式で参照できるソース式の一部です。 この概念は、通常のvarazheniyの同様の概念と同一です。
• クラスターは、一般的な操作が定義されているソース式のセットです。
• バリアントは、簡単に言えば、OR演算子です。 ソース式で使用され、同じ操作が適用されるさまざまな構成体を列挙します。 厳密に言えば、バリアントとクラスターはほぼ同義語です。 それらの違いは本質的に構文です。
• タプルは名前付きクラスターです。 つまり、名前が付与された一連のソース式は、異なるデザインで繰り返し適用できるためです。 当然、タプルは再帰を許可します-つまり、シンボルまたは別のタプルは、シンボルまたはタプルの別のサブ要素になることができます
• コンテキスト-特定のルールが適用されるためにテキストが満たさなければならない条件のセット。 この概念はまだ実装されていませんが、どのように機能するかを想像しているため、まもなく実行します。

一般に、テキスト処理プロセスは次の手順で構成されます。

• ルールセットの解析
• この一連のルールによって処理される各テキストについて：
  
  
  • テキストをトークンの文字列に変換する：テキストのすべての文字は小文字に変換され、テキストはトークン（単語と区切り文字）に分割され、各トークンは共通プール（ハッシュテーブル）にダンプされ、処理されるテキストは整数識別子のチェーンに変換されます。働きます。
    
    重要：処理規則は、トークンの単純な一致の識別が整数比較によって実行される結果として、「消化」の同様のプロセスを通過します。
  • テキストの索引付け インデックスの詳細については後述します。
  • 各ルールは、結果のテキストの画像に順番に適用されます。 ルールを適用した結果としてテキストが変換された場合、画像はテキストに変換され、再びデジタルチェーンに変換されます。 そのような宙返りは、パフォーマンスの観点からは無駄に思えるかもしれませんが、（今のところ）変換の可逆性が不完全であるため（特に、文字の大文字小文字を置換する操作のため）、テキストにインデックスを付ける必要があるために必要です。
    
    ルールがシグナル操作を決定する場合、コールバック関数は結果のシグナルオブジェクトで呼び出されます。
  • 最後のルールを処理した後、最後のテキストが収集され、呼び出しモジュールの裁量で使用されます（最も単純なものはジャーナルに表示されますが、多くの場合、元のテキストを置き換えます）

トークンへのテキスト分割の機能

元のテキストを語彙素に分割するとき、スペースやその他の区切り文字による明らかな分離に加えて、暗黙的な分離があります。 現在では、デジタル文字と非デジタル文字の間に実装されています。

例を挙げましょう。「model900-a product」というテキストは、「model」、「900」、「-」、「a」、「」、「product」というトークンに分割されます。

言語

これで、言語の説明を開始できます。 説明は厳密ではありません。例に焦点を当てます。 現在、このテクノロジーはUniverse-HTTサーバーで動作し、毎晩更新される一連のルールで130万を超える商品アイテムを処理します。 根拠がないように、このセットから例を挙げます。



など。

一般規則

記述言語の主要部分は実際には語彙素です;したがって、ほとんどすべての文字（スペース、タブ、特に文字と数字）が重要です。 行の終わりは、ルールの終わり（またはクラスターの一部）です。 改行はありません（Cマクロの「\」に似ています）。

行の末尾と先頭のスペースのみは重要ではありません。

サービス構造の主な接頭辞は％です。 パーセント記号のリテラル表現には、%% doubleが使用されます。

コメント

Characters％-行末までコメントが無視されるまで続けます。

ソース式

元の式を表すために、公式の構造を使用してリテラルトークンが使用されます。

• ％s 1つ以上のスペースまたはタブ文字
• ％z 0個以上のスペースまたはタブ文字
• ％_明示的なスペース。 行末で使用できます（行の末尾のスペースは無視されるため）
• ％tタブ
• ％ オプションのポイント。 略語は、ドット付きまたはドットなしで記述できます。 不要なルールを作成しないために、このようなメタキャラクターが追加されました。
• ％-オプションのハイフン。 物議を醸すメタキャラクター。 同じことをハイフン付きとハイフンなしで書くことに頻繁に違いがあるために導入されましたが、それ自体ではうまく機能しません。 そのため、「chupa-chups」と「chupa-chups」を統合する必要があるとします。 「chupa％-chups」の構築は「chupa-chups」のみを認識しますが、「chupachups」はすでに認識されない単一のトークンであり、「chupa chups」には考慮されていないギャップが含まれています。 したがって、この問題を解決するには、「chupa％z％-％zchups」と書く必要があります。簡潔さの考え全体が無駄になりました。 ただし、オプションのハイフンが適切に機能する場合があります。 これは、デジタルトークンとアルファベットトークンのドッキングです。
• ％^テキストの始まり。 重要：行ではなく、テキスト全体です。
• ％$テキストの終わり。
• ％w単一のトークン。
• ％d任意の長さのデジタルトークン。 これは、10進数の連続したシーケンスを指します。
• ％D [0-9] [0-9]指定された長さのデジタルトークン。 長さは2桁で厳密に設定されます。 例：「％D08」-互いに続く8桁の10進数。
• ％fオプションの小数点を持つ数値。 つまり、10進数のソリッドシーケンスと、ドットで区切られたこのような2つのシーケンスの両方がこのパターンに該当します。 先頭のマイナスは考慮されません。 ポイントの後にデジタルシンボルがない場合は、ポイントまでの数字（それなし）のみが考慮されます。
  
  例：
  
  「100」〜「100」
  
  「3.1415926」-「3.1415926」
  
  「-3.R」〜「3」
  
  「2。 5 "-" 2 "
• ％（および％）グループの開始と終了をそれぞれ指定します。 構文の使用という点で最も不快です。
  
  使用例を示します。
  
  「％（％d％）、％（％d％）％>％1.％2」-コンマで区切られた2つのデジタルシーケンスを小数点付きの数値に変換するルール。 ％（％）ペアの不快さについて話したとき、ルールの読みやすさ、このペアは非常に顕著に悪化することを念頭に置いていました。 残念ながら、ライブテキストではあまりにも頻繁に使用されるため、単にかっこは使用できません（PMSM）。
• ％*空ではない任意のトークンのシーケンス。 テキスト内の表現を再配置したり、まだ実装されていないコンテキストの緩和として非常に便利なメタキャラクター。
  
  例：
  
  「Dye％（％*％）for hair％> hair dye％1」-さまざまな染毛剤の名前を統一します。
  
  「Bag％（％*％）elk％> bag％1 elkay plastics」-elkはelkayプラスチックの略ですが、どこでもありません。 パッケージ（バッグ）のコンテキストで-はい。
• ％@ cortegename。 cortegenameという名前のタプルの呼び出し（ "cortegename"の後のドットは重要です-タプルシンボルを後続のテキストから分離します）。 タプルの使用例を以下に示します。
• ％| オプション。 元の式の2つのバリアントを分離して、それぞれに同じ演算子を適用します。
  
  例：
  
  ギフトバッグ％<ギフトバッグ％| gft bg％| gft bgs％| gft / bg-「ギフトバッグ」、「gft bg」、「gft bgs」、「gft / bg」は「ギフトバッグ」に置き換えられます。
  
  シミュレーションの場合<モデルの場合％。％|モデルの場合％。 -「シミュレーター用」および「シミュレーター用」（オプションのポイントを含む）の略語は、「モデリング用」のフルバージョンに拡張されます。

標的発現

すでに述べたように、ターゲット式は、元の式を置き換えるか、元の式の発生を知らせるために使用されます。

元の式と同様に、ターゲット式にはトークンと公式構造が含まれます。 ここで、メタキャラクターの品揃えは貧弱です：

• ％[1-9]-置換用の元の式のグループのシーケンス番号への参照。
  
  例：
  
  「Mr％。％S％（％w％）％> mr。％1」-「mr。」と「mr。」の間にある「Mr. x」の組み合わせのスペースを削除し、「mr」の後にドットを追加します（そうでない場合）。
• ％_-ただの空きスペース。
• ％E-空の文字列。 ルール構文では、提供されているターゲット式のスキップが許可されていないため、このメタキャラクターは、必要に応じて、見つかったソース式を保存します。
  
  例：
  
  「％^ _％>％E」-テキストの先頭のスペースを削除します。

オペレーター

上記の例では、％>（TO）および％<（FROM）置換演算子の使用を既に示しました。

ここでは、考えられるすべての演算子をリストし、必要な説明を示します。

• ％>変換演算子 "B"（ "TO"）。 左の式（ソースとして解釈される）を右（ターゲット）に変換するように指示します。
  
  例：
  
  「％（％d％）％zcm3％>％1ml」-測定単位「cc cm」を「ml」に置き換えます。
• ％<ミラーから「TO」への変換演算子「FROM」。 右の式（ソースとして解釈される）を左（ターゲット）に置き換えるように規定します。
  
  例：
  
  「20th％<20 th」20の文章を英語で統一し、スペースを削除します。
• ％ソース式のすべての文字を大文字に変換する演算子。
• ％ソース演算子のすべての文字を小文字に変換する演算子。
• ％K単語の最初の文字が大文字になり、残りが小文字になるように、元の式のすべての文字トークンを変換する演算子（大文字）。
• ％！ シグナル演算子。 特定のソースに遭遇したことをターゲット式で通知するように指示します。
  
  例：
  
  「Del monte％！Brand = del monte」-「del monte」という組み合わせがテキストで見つかった場合、呼び出しモジュールは「brand = del monte」という形式の信号を受信します（Papyrusシステムに適用される場合、これは属性「 「デルモンテ」という名前の意味を持つ商標」）。
  
  以下に、信号を使用するより複雑な例を示します。
• ％=タプルの命名演算子。 通常、クラスターに続いて、後で使用するために名前を付けます。
  
  以下でクラスターについて説明します。ここでは、タプルの簡単な紹介例を示します。
  
  

  %{ l'oreal garnier revlon %}%=brandbeauty
        
        
  
          
          
          
        
  
      
          
          
          
        
        
  
          
          
          
        
  
      
       

クラスター

ルールセットを簡素化するにはクラスターが必要です。

クラスターは、行の先頭にメタキャラクター％{and％}を使用して構文的に形成され、クラスターの内容はこれらの間の行に配置されます。

クラスターを決定した後、オペレーターは従う必要があります。

クラスター化されたケース変更ステートメントの例：

 %{ edt edp edc bic lg cd usa e%_ qvs vs vsop xo       %}%A
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

タプル

すでにタプルをある程度詳しく見てきました。 タプルの定義と使用の例を次に示します。

 %{ %dml %dl %d %d %}%=volume PET %1%<pet%z%(%@volume.%)%|(pet%.)%.%z%(%@volume.%)%|pet%.%z%(%@volume.%)%|(pet)%.%z%(%@volume.%)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この例では、ボトルの容量を決定する前に、プラスチック容器の指定が統一されています。 容量のすべての可能な測定単位を数値でリストしないようにするために、ボリュームという名前のタプルにそれらを結合しました。 置換ルール「PET％<pet％|（pet％。）％| Pet％。％|（Pet）％」を定式化することはできないことに注意してください。元の式は、コンテナ容量のコンテキスト外ではまったく異なる意味を持つ場合があります。

約束された洗練された信号使用例

企業システムから自動車用タイヤを販売している企業は、自社のオンラインストアに商品名と残高および価格をエクスポートします。 オフィスでは、誰もが商品の名前やその他の分類に満足しています。 同時に、インターネットサイトでは、潜在的なクライアントがサイズ、グループ、ブランドごとにタイヤを選択できる必要があります。

次の例は、オンラインストアを管理するサーバー上のオフィスシステムから来た商品の名前を、タイヤサイズの数値パラメーターの後続の配列で再フォーマットするプロセスを示しています。 この例は、実際ではありますが縮小されていることを予約します-「w / h Rd」という形式の名前に含まれるサイズのみがここで形式化されます。

 %{    %}%=tiretitle %(%@tiretitle.%) %(%f/%d%)x%(%f%)%>%1 %2 R%3 %(%@tiretitle.%) %(%f%)x%(%f%)%>%1 %2 R%3 %(%@tiretitle.%) %(%f/%d%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f/%d%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f%)%(R%f%)%>%1 %2 %3 %(%@tiretitle.%) %(%f/%d R%f%) %>%1 %2c %(%@tiretitle.%) %(%f/%d R%f%) c%>%1 %2c %(%@tiretitle.%) %(%f R%f%) %>%1 %2c %(%@tiretitle.%) %(%f R%f%) c%>%1 %2c %@tiretitle. %(%d%)/%(%d%)%sr%(%f%)%!class=tire; gcdimx=%1; gcdimz=%2; gcdimy=%3
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初に、データベースに保存されている他の商品とタイヤを区別できるタプルが定義されています。

以下は、名前を統一的な方法で（部分的に）フォーマットする行です。 最後に、最後のシグナルディレクティブは、指定された形式、クラス、数値分類子に該当する商品を設定するようシステムに指示します。

性能

処理する必要のある膨大な数のテキストオブジェクトと、これらのオブジェクトのそれぞれに適用されるかなりの数のルール（数千および数万）を考えると、問題の処理に関係するアルゴリズムのパフォーマンスの問題は無駄ではありません。

実行速度を最適化するために何をしたか

• まず、前述のように、比較プロセスはトークンの整数識別子のレベルで実行されます。 それ自体で、これはタスクを非常に容易にし、その次元をテキストの記号長の条件とルールからトークンの連鎖の定量的評価の条件に変換します。
• ルールのソース式とテキストを一致させる反復の一定の実行時間を短縮するには、メモリの割り当てと解放の操作を（可能な限り）取り除く必要がありました。 すべてのバッファは、一度割り当てられると、以降の繰り返しで再利用されます。
• 最後に、処理対象のテキストにインデックスを付けることで、最も重要な加速（タスクのディメンションの縮小）が実現されます。 一般に、インデックス付けは新しいものではありません。インデックスは、テキストに含まれる各トークンに対してコンパイルされ、それが発生するテキスト内の位置番号と比較します。 メタキャラクターによって定義された一般化されたクラスを使用するため、テキスト内のそれらの多くの出現もインデックス付けされます（99の可能な長さのそれぞれのデジタルシーケンスまで）。
  
  ここで、テキスト内にトークンがないことをすばやく特定するか、テキスト内の目的の位置にすばやく切り替えることで、明らかに高速化が実現します。
  
  結果として得られるアルゴリズムの複雑さの理論的な推定値は導き出しませんでしたが、テストの絶対実行時間は4E9以上のマッチング操作を実行し、1/3改善されました。
  
  告白しますが、私はそれが何と呼ばれているのか覚えていませんが、多くのサンプルと同様のインデックス付きのテキストを簡単に比較するための古典的なアルゴリズムがあります。

一般に、数千のルールのセットに1300000を超えるアイテムを含むUniverse-HTT製品ディレクトリの前述の処理は3時間半です。 誰かがそれを比較するものを言うことができるなら-私は感謝します。

次は？

私が忘れなかったすべては、彼が言った。 何が欠けているのかを一般に知らせることは残っています。

説明したテクノロジーに追加する必要がある重要なタッチがいくつかあります。

• コンテキスト（私はそれらについてもう少し高く書きました）。 一般的には、いくつかのルールを適用できるように、テキストに表示する必要がある一連の式を指定するという考え方です。
• ステミング。 ステミングを考慮してトークンを比較できるようにする言語に構造を導入する必要があります。
• たとえば、準備されたタプル（都市、ブランドなどのリスト）を含むファイルを含めるためのincludeディレクティブ。
• 簡略化された構文ディレクティブ。 パーセント記号は非常に難しいように見えます-場合によっては、簡略化された構文をオンにして、記号（）{} <>！ 公式として。 混乱する可能性がある場合は、簡略化された構文を無効にします。