リスク保護機械学習システムアーキテクチャ

当社の事業は、主にAirbnb、住宅所有者、旅行者間の相互信頼の上に成り立っています。 したがって、 最も信頼できるコミュニティの 1つを作成しようとしています。 このようなコミュニティを構築するためのツールの1つは、ユーザーが高い評価を得ているメンバーを見つけるのに役立つレビューシステムです。



私たちは皆、時々他の人をだまそうとするユーザーがネットワークを介して来ることを知っています。 そのため、Airbnbでは、別の開発チームがセキュリティの問題に対処しています。 彼らが作成するツールは、ユーザーコミュニティを詐欺師から保護することを目的としており、これらの人々がコミュニティを傷つける時間がないように、「クイックレスポンス」メカニズムに多くの注意が払われています。



ネットワーク事業は、さまざまなリスクに直面しています。 明らかに、それらは保護される必要があります。さもなければ、あなたはあなたのビジネスの存在そのものを危険にさらします。 たとえば、インターネットサービスプロバイダーは、ユーザーをスパムから保護し、支払いサービスを詐欺師から保護するために多大な努力を払っています。



また、悪意のある意図からユーザーを保護する多くの機会があります。

1. 製品の変更 。 追加のユーザー検証を導入することにより、いくつかの問題を回避できます。 たとえば、メールアカウントの確認を要求したり、アカウントの盗難を防ぐために2要素認証を実装したりします。
2. 偏差検出 。 一部の攻撃は、いくつかのパラメーターを短時間で変更することで検出できることがよくあります。 たとえば、予約の予想外の1000％の増加は、優れたマーケティングキャンペーンまたは詐欺の結果である可能性があります。
3. ヒューリスティックと機械学習に基づくモデル 。 詐欺師は、よく知られているスキームに従って行動することがよくあります。 ある種のスキームを知っていれば、ヒューリスティック分析を使用してそのような状況を認識し、それらを防ぐことができます。 複雑で多段階のスキームでは、ヒューリスティックが面倒で非効率になるため、ここで機械学習を使用する必要があります。

オンラインリスク管理の詳細に関心がある場合は、 Ohad Sametの本を参照してください。

機械学習アーキテクチャ

異なるリスクベクターには、異なるアーキテクチャが必要になる場合があります。 多くの場合、時間は重要ではありませんが、検出には大きな計算リソースを使用する必要があります。 このような場合、オフラインアーキテクチャが最適です。 ただし、この投稿の一環として、リアルタイムで動作し、それに近いシステムのみを検討します。 一般に、これらのタイプのリスクに対する機械学習パイプラインは、次の2つの条件に依存します。

1. フレームワークは高速で信頼できるものでなければなりません 。 ダウンタイムと動作不能の可能性のある時間をゼロに減らす必要があり、フレームワーク自体が常にフィードバックを提供する必要があります。 そうでなければ、詐欺師は、差し迫った過負荷またはシステムのシャットダウンを予期して、複数の攻撃を同時に開始するか、比較的簡単な方法で継続的に攻撃することにより、パフォーマンスの欠如またはバグのあるフレームワークを利用できます。 したがって、フレームワークは理想的にはリアルタイムで機能する必要があり、モデルの選択は評価の速度やその他の要因に依存するべきではありません。
2. フレームワークは柔軟でなければなりません 。 詐欺のベクトルは絶えず変化しているため、検出と反作用の新しいモデルを迅速にテストおよび実装できる必要があります。 モデルを構築するプロセスにより、エンジニアは問題を自由に解決できるはずです。

トランザクション中のリアルタイムコンピューティングの最適化は主に速度と信頼性に関するものですが、モデルの構築と反復の最適化は柔軟性に重点を置く必要があります。 エンジニアリングチームとデータ処理チームは、上記の要件を満たすフレームワークを共同で開発しました。これは、攻撃の検出において高速で信頼性が高く、モデルを構築するための柔軟なパイプラインを備えています。

機能の強調表示

サービス指向のアーキテクチャを維持するために、特定のモデルに必要なすべての機能を強調する別の詐欺予測サービスを作成しました。 システムが重要なイベントを登録すると（たとえば、住宅が予約されている場合）、処理リクエストが詐欺予測サービスに送信されます。 その後、彼は「住宅予約」のモデルに従ってイベントの標識を選択し、 Openscoringサービスに送信します。 彼は定められた基準に基づいて評価と決定を発行します。 この情報はすべて、予測サービスを使用できます。



これらのプロセスは、危険が発生した場合に間に合うように迅速に処理する必要があります。 予測サービスは、パフォーマンスが重要な他の多くのバックエンドサービスと同様に、Javaで記述されています。 データベースクエリは並列化されます。 同時に、特徴を区別するプロセスで重い計算が行われる場合には、自由が必要です。 そのため、予約サービスなどを妨げないように、予測サービスは非同期に実行されます。 非同期モデルは、数秒の遅延が特別な役割を果たさない場合にうまく機能します。 ただし、トランザクションに即座に応答してブロックする必要がある場合があります。 これらの場合、同期クエリと事前計算された機能の評価が適用されます。 したがって、予測サービスはさまざまなモジュールと内部APIで構成されており、新しいイベントやモデルを簡単に追加できます。

スコアリング

これは、 JPMML-Evaluatorの JSON RESTインターフェースを提供するJavaサービスです。 JPMMLとOpenscoringはオープンソースであり、AGPL 3.0ライセンスの下で配布されています。 JPMMLバックエンドは、ツリーベース、ロジット変換、SVM、ニューラルネットワークなど、いくつかの一般的な機械学習モデルをエンコードするXML言語であるPMMLを使用します。 本番環境にOpenscoringを実装し、Kafkaロギング、statsdモニタリングなどの追加機能を追加しました。



私たちの意見では、Openscoringの利点は何ですか：

• オープンプロジェクト 。 これにより、要件に合わせて変更できます。
• さまざまなツリーをサポートします 。 いくつかのトレーニング方法をテストした結果、ランダムな母集団が適切なレベルの精度を提供することがわかりました。
• 高速性と信頼性 。 ストレステスト中、ほとんどの応答は10ミリ秒未満で受信されました。
• 複数のモデル 。 改良後、Openscoringを使用すると、さまざまなモデルを同時に実行できます。
• PMML形式 。 PMMLを使用すると、アナリストと開発者は互換性のある機械学習パッケージ（R、Python、Javaなど）を使用できます。 同じPMMLファイルをカスケードパターンで使用して、大規模な分散モデルのグループを評価できます。

ただし、Openscoringには欠点があります。

• PMMLは、ある種のモデルをサポートしていません 。 比較的標準的なMLモデルのみがサポートされているため、新しいモデルを起動したり、標準モデルを大幅に変更したりすることはできません。
• オンライン学習のネイティブサポートはありません 。 モデルはその場で訓練することはできません。 新しい状況に自動的にアクセスするには、追加のメカニズムが必要です。
• 胚エラー処理 。 PMMLは議論するのが難しく、XMLファイルを手動で編集するのは危険な作業です。 JPMMLは、PMMLで問題が発生したときに不可解なエラーメッセージを発行することで知られています。

モデル構築パイプライン

上記は、PMMLを使用したモデル構築パイプラインの図です。 まず、サイトに保存されているデータから標識が強調表示されます。 最適な信号を提供する機能の組み合わせは常に変化しているため、JSON形式で保存します。 これにより、名前とタイプに基づいてフィーチャーをロードおよび変換するプロセスを要約できます。 次に、記号がグループ化され、信号を改善するために、不足している変数の代わりに適切な変数が挿入されます。 統計的に重要でない兆候は破棄されます。 これらすべての操作にはかなりの時間がかかるため、生産性を向上させるために多くの詳細を犠牲にする必要があります。 次に、変換された機能を使用して、お気に入りのPMML互換の機械学習ライブラリを使用してモデルをトレーニングおよび相互検証します。 その後、結果のモデルがOpenscoringにロードされます。 最終結果はテストされ、最良の結果が示されるかどうかを判断するために使用されます。



モデルトレーニングフェーズは、PMMLライブラリを備えた任意の言語で実行できます。 たとえば、R PMMLパッケージがよく使用されます。 多くの種類の変換とデータ操作メソッドをサポートしていますが、ユニバーサルソリューションとは言えません。 モデルをトレーニング後に別のステージとして展開するため、手動でチェックする必要があり、これには多くの時間がかかります。 Rの別の欠点は、多数の属性とツリーを持つPMMLエクスポーターの低い実装率です。 ただし、C ++で関数エクスポートを単純に書き換えると、実行時間が数日から数秒に約10,000回短縮されることがわかりました。



Pythonとscikit-learnに基づいてパイプラインを構築する際の利点を利用して、Rの欠陥を回避することができます 。 Scikit-learnは、多くの標準的な機械学習モデルをサポートするパッケージです。 また、パターンのチェックと文字変換の実行に役立つユーティリティも含まれています。



私たちにとって、Pythonは状況データ管理と特徴抽出のためにRよりも適切な言語になりました。 自動抽出プロセスは、JSONの変数の名前とタイプにエンコードされた一連のルールに依存しているため、既存のコードを変更せずに新しい機能をパイプラインに組み込むことができます。 また、Openscoringと対話するための標準ネットワークライブラリを使用して、Pythonで展開とテストを自動的に行うこともできます。 sklearnを使用して、標準モデルのパフォーマンステスト（精度リコール、ROC曲線など）が実行されます。 すぐに使用できるPMMLエクスポートをサポートしていないため、特定の分類子の内部エクスポートメカニズムを書き換える必要がありました。 PMMLファイルがOpenScoringにアップロードされると、それが表すscikit-learnモデルとの整合性が自動的にテストされます。 属性の変換、モデルの構築とモデルの検証、展開とテストのすべての段階が単一のスクリプトで実行されるため、開発者は新機能または最新のデータに基づいてモデルをすばやく反復し、すぐに運用環境に展開できます。

主な段階：状況->サイン->アルゴリズムの選択

構築したプロセスは、一部のモデルで優れた結果を示しましたが、残りのモデルでは、精度のリコールが不十分です。 まず、理由はエラーであると判断し、より多くのデータと機能を使用しようとしました。 ただし、改善はありませんでした。 データをより深く分析し、問題は状況自体が間違っていることであることがわかりました。



たとえば、払い戻しの要件があるケースを考えてみましょう。 払い戻しは、製品が「Not As Describe（NAD）」または詐欺である場合に発生する可能性があります。 しかし、良心的なユーザーがNADリターンの有効性を文書化できるため、これらの両方の理由を1つのモデルにまとめるのは間違いでした。 この問題は、他の多くの問題と同様に簡単に解決できます。 ただし、多くの場合、通常のユーザーのアクティビティから詐欺師の動作を分離することは非常に困難です。追加のデータウェアハウスとログパイプラインを作成する必要があります。



機械学習の分野で働いているほとんどの専門家にとって、これは明らかであることがわかりますが、もう一度強調したいのです：分析された状況が完全に正しくない場合は、精度の精度と分類の完全性の上限を既に設定しています。 状況が本質的に誤っている場合、この制限はかなり低いことがわかります。

新しいタイプの攻撃に出くわすまでは、特にリスクのある状況で以前に働いたことがない場合、それを特定するために必要なデータがわからないことがあります。 または彼らは働いたが、別の分野で。 この場合、可能なすべてのログを記録するようアドバイスできます。 将来的には、この情報は有用であるだけでなく、新しい攻撃ベクトルに対する保護にとっても貴重なものになる可能性があります。

今後の展望

私たちは、詐欺予測システムのさらなる改善と開発に絶えず取り組んでいます。 会社の現在のアーキテクチャと利用可能なリソースの量は、現在のアーキテクチャに反映されています。 多くの場合、中小企業は数個のMLモデルと少数のアナリストのみを本番環境で使用する余裕があり、非標準のケースではデータを手動で処理してモデルをトレーニングする必要があります。 大企業は、多数のモデルを作成し、プロセスを広く自動化し、オンラインでトレーニングモデルから大きな利益を得る余裕があります。 非常に急速に成長している会社で働くことは、年ごとに根本​​的に変化する景観で働くことを可能にするので、トレーニングコンベアは絶えず更新される必要があります。



ツールと技術の開発に伴い、学習アルゴリズムのさらなる改善への投資がますます重要になっています。 おそらく、私たちの取り組みは、新しいアルゴリズムのテスト、オンラインモデルトレーニングのより広範な導入、およびより多くのデータセットで動作できるようにフレームワークをアップグレードすることにシフトします。 モデルを改善するための最も重要な機会のいくつかは、蓄積された情報の一意性、属性のセット、および明白な理由で聞こえない他の側面に基づいています。 ただし、他の開発チームと経験を共有することに関心があります。 私たちに書いてください！