マッチング問題とその対処方法

こんにちは 私の名前はAlexey Bulavinです。ビッグデータに関するSbertechの能力の中心地を代表しています。 ビジネスの代表者、製品所有者、アナリストは、同じトピックについてよく質問をします-マッチング。 これは何ですか なぜ、どのように行うのですか？ 「なぜ失敗するのか」という質問は特に人気があります。この記事では、それらに答えようとします。









家庭の例から始めましょう。 私には幼い息子がいます。 彼は最近携帯電話を習得し、今では携帯するのが大好きです。そのため、大人のときは、誰かに電話をかけ、「非常に重要な」トピックについて簡単に電話をかけることができます。 彼はお母さん、お父さん、おばあちゃんだけを呼んでいます。 祖母は最も多くを取得します：5分前に彼に何が起こったのかを彼女に伝えるために1日10回電話することがあります。



幼稚園では、彼には友人のデニスがいます。デニスには携帯電話もあります。 会った後、彼らは大人として電話で測定されますが、お互いに電話することはありません。 私はかつて息子に尋ねました：



「このことについて友人に電話してチャットして、ビジネスについて話しませんか？」

-お父さん、私はこれはまったく必要ありません、私たちは毎日庭で会って、もしあれば、そこで話します。 物事は待ちます。



どうしたの？ 彼もデニスも自分の電話番号を知らなかったため、交換できなかったことが判明しました。 キーが不足しているため、通信が不足しています。

マッチングとは何ですか？

社会における新しい相互作用の手段は、新しい機会を生み出し、人々をより密接に結びつけ、彼らがつながっていることをシステムに示します。 マッチングは、被験者と自分との関係を示すつながりの一種です。 たとえば、同じマシンが異なる掲示板で販売されており、これらの広告をまとめてリンクして知覚したい場合です。

一致する理由

今日の情報は、収益化できる価値です。 したがって、追加情報は、新しい機能の開発、既存製品の定性的な変更、または一般的な新製品の作成を通じて、付加価値、利益の増加、またはコストの削減をもたらします。



原則として、製品は明確に知識を深めたい特定のオブジェクトに関連付けられています。 新しいソースから取得する追加情報が多いほど、すべてのソースからの情報を単一の情報スペースに結合するタスクの関連性が高まり、これらが1つのシステムの属性であるかのようになります。

マッチングの難しさ

データの取得とリンクは、標準的な技術タスクのようです。 しかし、多くの問題により、これは困難な場合も不可能な場合もあります。

• 共有キーなし
  
  

人、組織、オブジェクト-それぞれの新しいシステムでは、すべてが新しく登録され、新しい個人識別子を受け取ります。

• まったくキーがありません
  
  

一部のデータ型では、IDは、関心のあるオブジェクトではなく、ストリーム内の個々のイベントまたはメッセージに割り当てられます。 たとえば、システムは融資申請をキャプチャし、同じ人物が2つの個別の申請を作成すると、2つの異なるIDになります。 そして、本人にとっては、システム内のIDはそうではありません。

• キーエントリは一意ではありません
  
  

理想的には、各一意のIDは一意のオブジェクトに対応しますが、実際にはそうではありません。 たとえば、車の色やPTS番号が変更され、人の姓や性別が変更されました。 自動システムの正式な兆候によると、これは新しいオブジェクトです。 また、たとえば、データベース内の既存のレコードを検索するのではなく、オペレーターが新しいレコードを開始するだけの場合、問題が発生する可能性があります。

• キーエントリが誤っているか、意図的に破損している
  
  

たとえば、ソーシャルネットワークでは、ページの所有者が自分の姓と名を歪めたり、架空の名前に完全に置き換えたりします。 何十ものイワノフ・ウルガントフやウラジミロフ・ポズネロフを見つけることができますが、これらは名前の由来ではありません。

• キーエントリに一貫性がない
  
  

異なる場合、同じIDに対して異なるオブジェクトまたはサブジェクトが期待できます。 たとえば、電話番号が所有者を変更する場合。



キーによって2つのシステムのオブジェクトを相互に接続することは不可能であるか、接続の割合と品質が望ましいレベルを下回っています。 複数の情報フィールドの組み合わせ、複合キーとしてキーを収集しようとすることができます。 しかし、ここで新たな困難が生じます：

• 複合キーフィールドの入力が不十分です
  
  

通常の情報フィールドが「非ヌル」になるとは誰も約束しません。 そして、なんて幸運か。 複合キーのフィールドが多いほど、一部のキーが取得されない可能性が高くなります。

• 複合キーのフィールドには異なる塗りつぶし標準があります
  
  

たとえば、組織のオフィスのアドレスはランダムに入力されます。d.5k.2 office 16; ハウス5ビル2オフィス16; 5-2-16。 または電話：+7（495）344-3 ...、8-495-344 ...、495344 ....



さらに、複合キーの情報フィールドには、前述の問題があります。 複合キーに含まれるフィールドは、一意でなく、誤っており、意図的に歪んでいて、一定ではない場合もあります。

量と品質

上記の困難を克服し、100％マッチを達成する方法は？ 質問から始める価値があります。このような高レベルの品質を達成することが本当に必要なのでしょうか？ ビジネス上の問題を解決するには70％で十分でしょうか？



一連の属性で構成される複合キーがあります。 ある程度の確率でそれぞれが満たされ、キー要素としての使用に適した何らかの確率で満たされます。 複合キー全体が正常になる確率は、すべての確率とキーのすべての属性の積です。 このすべてに、オブジェクトが原則として2つのシステムに存在する確率を掛ける必要があります。 次に、一致の確率を取得します。 そして、それにエンティティの総数を掛けると、比較により定量的な予測が得られます。

複合キーの属性が少ないほど、一致する可能性が高くなり、オブジェクトが2つのシステムにある可能性に近くなります。 しかし、比較の数は増え続けており、ほとんどの場合、予測を上回っています。 これは、複合キーの属性の数が減ると、誤ったマッチングの可能性が高まるという事実によるものです。



簡単に言えば、複合キーの属性の数を減らすと、正しく一致したオブジェクトの数と一致したエラーの数の両方が増加します。 量が品質と戦っているように。 また、ビジネスタスクに応じて、量の方向または品質の方向のいずれかに結果をバイアスする一致戦略を選択できます。

濃縮、ろ過、正規化

品質と量を同時に増やすことは可能ですか？ もちろんできます。 これを行うには、追加のデータ処理のためにより多くの、場合によってはより多くのリソースを費やす必要があります。

データの「穴」を埋めて、ソースの他のフィールドから取得できます。 ロケーション都市は、電話番号コード、TIN、地域コードから取得できます。 性別は、名前と姓から、または著者のテキストを分析することにより取得できます。 強化アルゴリズムは多数あります。



次に、データはフィルターを通過する必要があります。 フィルタは、特定のソースのデータを入力および変換する特性に関連する標準または特定のいずれかです。 たとえば、印刷できない文字、重複、二重文字、角かっこ、引用符、スペースを削除するフィルターは、標準のものに起因します。



特定のフィルターには、両方の言語で視覚的に同じように見える別の言語レイアウトの文字の検出と置換が含まれます。たとえば、Olyaという名前の英語レイアウトの文字Oです。 または、両方の言語（LightおよびLight）で同じまたはほぼ同じに聞こえる別の言語レイアウトの文字の検出と置換。



正規化には、別の言語への翻訳、音訳、塗りつぶしパターン（名前、ブランド、電話、住所、性別）への変換、短い名前の完全な名前への置き換え、スラングや小形の置き換えが含まれます。



同じキー構成であっても、多くの場合、異なるデータソースに対して異なる基準を使用する必要があります。 これは、特定のソースにデータが入力される方法が原因です。 適切な基準を選択するには、ソースフィールドへの入力に関する統計を収集して分析することをお勧めします。 品質の改善は、ソース内のフィールドの周波数係数（たとえば、自動車の製造、姓）、「容量」の係数（たとえば、居住者の数に関してこの居住地の大きさに応じた居住地の名前）の使用によって影響を受ける場合があります。



一致の異なるキーを同時に組み合わせて使用​​すると、特定のキーを使用するための条件として係数を使用できます。 同様に、フィールドの完全性など、他の基準を使用できます。 条件を適用せずに、同じソース間で異なるキーの一致を組み合わせることができます-結果は非常に受け入れられます。

その他の試合

上記のアルゴリズムとはときどき劇的に異なる他のマッチングアルゴリズムがあります。 たとえば、強力なキーで既にパッチが適用された別のオブジェクトとの通信条件で、そのような接続の容量が定義上小さい場合、弱いキーとの一致。



例を挙げます。 歴史上、車やアパートは平均して1〜5人の所有者がいます。 2つのシステムでアパートまたは車のオブジェクトに強力なキーがパッチされている場合、サブジェクト（このアパートの所有者であり、明確に関連付けられている）は、姓や名などの最も弱いパラメーターと一致します。



ソーシャルネットワークのオブジェクトまたは多数の安定した接続を備えた同様のデータ構造のオブジェクトは、一致のオブジェクト自体ではなく、その環境に属する弱いキーによって一致させることができます。 さらに、一致するオブジェクト自体に独自の弱いキーがある場合がありますが、そうでない場合があります。 実際、古代ギリシアの詩人エウリピデスの声明はアルゴリズム化されています。「あなたの友人が誰であるか教えてください。あなたが誰であるかを教えます。」



ソース内の識別子に明示的に関連付けられているオブジェクトの1つ以上の写真を持つ2つのソースの場合、写真照合を適用できます。 写真でオブジェクトまたは顔が強調表示され、別のソースの同じオブジェクトまたは顔と比較されます。 実際、この原則によれば、「あなたの肖像画は博物館にいますか？」などのニューラルネットワークサービスです。Googleの作品から：美術館の肖像画の中世の人々の顔でアップロードした写真と顔が一致します。 マッチングの基準は、遠く離れているが十分な類似性が得られるように、特別にソフトに選択されます。









さまざまなソースに多数の著作権テキスト情報がある場合は、テキストマイニングアルゴリズムを試して著者をリンクできます。 これは手書きの分析の一種ですが、手書きの形式ではなく、テキストの内容を分析します。

ビッグデータ

一致の品質を向上させるには、さまざまなアルゴリズムを使用する必要があり、そのために多くのリソースが必要になります。 アルゴリズムが多いほど、より多くのリソースが必要になります。 また、大量のデータがある場合、それらは絶えず変化していますが、迅速かつ安価に読み取る必要がありますか？



ほとんどの場合、従来の方法でデータを保存、処理、照合することはできません。 ビッグデータインフラストラクチャを検討する価値があります。 さまざまなベンダーからウォレットまで、そのようなソリューションはすでに非常に多くあります。



たとえば、Sberbankでは、企業データマッチングがHadoop、Spark、HBaseのデータレイクコンポーネントとして実装されています。 このソリューションを使用すると、大量の異種の非構造化データを処理し、データがオーバーヘッドなしで保存される大規模なクラスターで計算を実行できます。 同時に、オープンソースソフトウェアとコモディティサーバーが使用されるため、このクラスのタスクに対してソリューションがかなり安価で効果的になります。 Hadoopはビッグデータについて多くのことを書いています。 たとえば、これがDataArtで行われる方法はとても気に入っています。

マッチボックス

MatchBoxは、Sberbankのデータレイクで使用する自動正規化およびマッチングのためのシステムです。 最近、Sbertech Big Data Competency Centerで開発されました。

MatchBoxは主に、単一のセマンティックデータレイヤーと単一のクライアントプロファイルを構築して最新の状態に保つために使用されます。 このシステムにより、多数のソースからの情報を自動的に単一の情報スーパーエンティティに結合し、ソース情報を更新するプロセスに統合することができます。 これにより、銀行の現在の顧客および潜在的な顧客に関する社会的人口統計学的、心理的、行動特性、および消費者の好みに関する知識が豊かになります。



MatchBoxは、あらゆる品質のデータを処理し、検証済みの正規化アルゴリズムと一致アルゴリズムを備えたライブラリを使用し、このためのカスタムルールコンフィギュレーターを備え、イベント、スケジュール、またはサービスとして完全自動モードで動作します。 MatchBoxは拡張可能で、定期的に処理されるソースの数はクラスターリソースクォータによってのみ制限されます。



MatchBoxの実装のおかげで達成できたのは次のとおりです。

• プロセスの低コストで大容量の高速処理
  
  
• 多数のソースを組み合わせる
  
  
• bigdataクラスターでのマッチングの完全自動化-結果として、低コスト
  
  
• マッチングの規則性-通常の周期的なビジネスプロセスで使用すると、財務コストが削減されます。
  
  
• 正規化、強化、最適な構成の選択による高品質のマッチング-最終データのコストが上昇します
  
  
• ルールの構成による整合性-新しいイニシアチブを導入するコストが削減されます
  
  
• 公開された結果の統一（新しいイニシアチブを導入するための低コスト）
  
  
• マッチチェーンの構築
  
  

現在、複雑なコンビナトリアルマッチ、グラフマッチ、写真マッチの探索とパイロットも行っています。 そして、高精度を必要とするソース-検証サブシステム。



この記事が、試合に関連する質問に答え、データを扱う際のあなた自身の問題を理解し、それらを解決するアプローチを見つけるのに役立つことを願っています。