サシュルカによるバットの配達



電子メールは、さまざまな問題を解決するために使用されます。銀行口座に関する情報を入手し、仕事のプロジェクトについて話し合い、旅行を計画するなど、貴重な情報を交換する必要があります。 したがって、メールには多くの重要な機密データが含まれています。 そしてもちろん、私たちの仕事はそれらを確実に保護することです。



私たちは、アカウントに複数のレベルの保護を提供し、攻撃者の生活を著しく複雑にするシステムに常に取り組んでいます。 しかし、1つの弱いリンクがあります。 これは推測できるパスワードであり、たとえば、サードパーティのサービスで盗まれます。 パスワードの盗難方法とメールセキュリティの詳細については、このトピックに関する投稿をご覧ください。



私たちのタスクは、攻撃者がパスワードを習得し、アカウントにログインできる場合でも、ユーザーのメールボックスを保護することです。 これを行うために、アカウント内の動作を分析し、アカウント内のユーザー（所有者またはクラッカー）を判別しようとする機械学習システムを開発しました。

クラッカーを認識する方法は？

セキュリティタスクの作業中、次のシナリオを検討しました。攻撃者は、ユーザー名、パスワード、および認証に成功する能力を持っています。 同時に、ボックスの所有者はアカウントで作業でき、ハッキングの疑いはありません。 私たちの前に疑問が生じました。攻撃者がアカウントで行動していることを何らかの形で理解することは可能ですか？ アカウントの盗難の多くの例を分析し、ハッキングがほとんど常に行動の変化を伴うことを確認しました。 行動特性を兆候として使用し、それらに基づいて、アカウントがハッキングされたかどうかを結論付けることにしました。 そしてもちろん、この問題を解決するには、機械学習が必要です。

動作を説明する方法は？

ユーザーごとにメールの使い方が異なります。 午前10時に就業日を開始し、メールを入力し、メーリングを削除し、Spamフォルダーをクリーンアップし、Mail.Ru Cloudに移動してから、Mail.Ru Newsを読みに行きます。 そして、誰かが夜遅くに働いて、手紙を決して削除せず、モバイルデバイスからのみ通信を行います。



このようなアクティビティを説明するために、さまざまな機能が使用されます。 たとえば、ユーザーアクション（手紙の読み取りと送信、削除、フォルダー間の移動）、ユーザーがアカウントで作業するデバイス、その地理的位置。 また、ユーザーアクティビティのピークに対応する関連サービスと時刻への移行を考慮することもできます。 さらに、 typewritingなど、より複雑な機能があります。 このアプローチでは、入力の速度とキーストローク間の一時停止を考慮します。 印刷された手書きを使用すると、紙にいくつかの文章を書くように依頼した場合と同じ方法で2人を区別できます。



システム設計の段階で、ユーザーのアクション、デバイス、地理的な場所を分析することから始めることにしました。 私たちの意見では、これは最低限必要な機能のセットであり、これを使用して実行することは難しく、将来システムに新しい要件が導入された場合に簡単に補足できます。

プロファイルを作成する方法は？

私たちのシステムは、次の原則に基づいています。各ユーザーには独自の習慣があり、メール内のアクティビティはこれらの習慣と比較する必要があります。 動作が形成されたパターンから大きく逸脱している場合、これはアカウントハッキングを疑う機会です。



一連の持続可能な習慣はプロファイルと呼ばれます。 アカウント内の動作を分析するために、ユーザーごとに以下を作成することにしました。

• アカウントアクティビティプロファイル。
• 地理的プロファイル。
• 使用されるデバイスのプロファイル。

たとえば、最も複雑なプロファイルであるアクションプロファイルの構築を検討してください。 たとえば、ユーザーの特徴的な習慣を抽出するログの一部があります。











この例では、 checkはメールチェック、 readはメッセージの読み取り、 sendはメッセージの送信です。

アルゴリズムの最初のステップで、ユーザーがメールで実行できるアクションのすべての可能な組み合わせを生成します。 それらを可能なパターンと呼びます。 次に、可能なパターンの周波数特性を確認する必要があります。 最も頻繁なパターンは、ユーザーの習慣を反映しています。 まれなものは習慣ではないため、今後の検討から除外します。



問題のログの例に対応するすべての可能なパターンは次のようになります。







一般に、ログを使用して、長期間（たとえば数週間）プロファイルを作成できます。 この間、ユーザーは何度もメールを入力し、多くの問題を解決しました。 しかし、ユーザーが特定の問題を解決した短期間のアクティビティセッションを分析する必要があることは明らかです。その間、ユーザーは特定の問題を解決しました。手紙の作成、フォルダーのクリーンアップ、フィルターの作成などです。



このようなセッションの選択は複雑な独立したタスクであり、単純化する必要がありました。 ランダムな方法でログからセッションをカットしようとすることにしました。セッションの開始に対して等しい確率でログ内のアクションを実行し、ランダム変数を使用してその期間を取得します。 同時に、セッションの長さは次の2つの要件を満たす必要があります。

• ポジティブでなければなりません。
• ユーザーは短期間メールでタスクを解決するため、長時間のセッションではほとんどチャンスがありません。

特定の要件を満たすのはまさにその実装であるため、ガンマ分布を使用して目的のセッションの長さを取得することにしました。



この方法で取得されたアクションチェーンは、 トランザクションと呼ばれます。 十分な数のトランザクションを実行すると、それらの多くがユーザーアクティビティの実際のセッションと交差します。つまり、メールボックスに自分の行動が反映されます。 ログサンプリングの例を以下に示します。







したがって、元のログから一連のトランザクションに移行し、プロファイルを構築するためのデータとして使用するのはこのセットです。



可能性のあるパターンのうち、実際にユーザーの習慣であるものとそうでないものを確認する必要があるときがきました。 これは、一連のトランザクションが役立つ場所です。



可能なパターンごとに、サポートのレベルを計算します 。 これは、ユーザーアクションでパターンが発生する頻度を示す値です。 特定のパターンのサポートレベルを計算するには、このパターンを含むトランザクションの数を計算し、トランザクションの総数で割る必要があります。 「check + read」パターンのサポートレベルを計算してみましょう。







「check + read」パターンは4つのトランザクションで見つかりました。合計で10個のトランザクションがあります。つまり、このパターンのサポートレベルは0.4です。



すべてのパターンに対して同様の計算を実行します。







したがって、各パターンの周波数特性を取得します。 パターンのサポートレベルが高いほど、ユーザーの習慣を強く反映します。 プロファイルには、サポートレベルが特定のしきい値を超えるパターンが含まれます。 しきい値を0.5にすると、 「check」 、 「send」 、および「check + send」パターンがプロファイルに含まれます。 図では赤でマークされています。



そのため、アカウントでのユーザーの通常のアクションを特徴付ける一連のパターンを取得しました。 説明されているアプローチは、連想ルール検索アルゴリズムと呼ばれ、データからパターンを抽出するために使用されます。



同じアルゴリズムを使用して、ユーザー固有の地理的領域のプロファイルを作成します。 しかし、デバイスのプロファイルを作成すると、予期しない結果が生じました。 しかし、それについては後で。



プロファイルの作成方法がわかったので、メール内のアクティビティをこのプロファイルと比較する方法を理解する必要があります。

アクションをプロファイルと比較する方法は？

一連のユーザー習慣があります。 次に、メールでの彼の活動がこれらの習慣にどれだけ一致するかを理解する必要があります。 トランザクション「検索+検索+送信」を検討し、習慣のプロファイルにどれだけ一致するかを数値的に評価してみてください（このトランザクションでは、 「検索」はメールコンテンツによる検索です）。







プロファイルに対するトランザクションの類似性の尺度を計算するには、含まれるプロファイルのどのパターンをチェックし、これらのパターンのサポートレベルを合計し、プロファイル内のすべてのパターンの総数で除算する必要があります。 この例では、トランザクションにはサポートレベル0.7の「送信」パターンのみが含まれ、プロファイルには3つのパターンがあります。 次に、 外れ値因子 （OF）と呼ばれる類似性の尺度を次のように計算できます。











ここで、 tはテストトランザクションです。 ただし、この方法には欠点が1つあります。トランザクションノイズは考慮されません。



トランザクション「フィルターの削除+メッセージの移動+フォルダーの作成+検索+送信」 （フィルターの削除、フォルダー間でのメッセージの移動、フォルダーの作成、メールの検索、手紙の送信）を検討し、 rで示します。 明らかに、トランザクションtとrには、外れ値因子の測定値が同じです。











トランザクションrはプロファイルにないアクションに対して非常にうるさいため、これは完全に真実ではありません。 この欠点を解消するために、別の手段が導入されました- 長い異常値ファクターは、トランザクションがプロファイルパターンの長さにどれだけ似ているかを反映します。 長い異常値の要因を計算するには、トランザクションに含まれる最大長のパターンを見つけ、その長さをトランザクションの長さで割る必要があります。 トランザクションの長さの下では、トランザクションに含まれる一意のアクションの数として理解されます。 次に取得します。











LOFメトリックは、トランザクションrがトランザクションtよりもプロファイルにはるかに類似していないことを明確に示しています。



次に、 外れ値要因と長い外れ 値要因のメトリックに基づいて、トランザクションの不審性インデックス を計算します 。











内容とパターンの長さの両方で、プロファイルとトランザクションの類似性を考慮します。 不審性インデックスが1に近いほど、トランザクションはユーザーにとって特徴的ではありません。 そして、その値が0に近いほど、トランザクションはプロファイルと一致します。 考慮された例の疑わしいインデックスを計算します。











ここで、取得した値を比較して、トランザクションが異常かどうかを判断できるしきい値が必要です。 この段階で、ログをサンプリングして取得した一連のトランザクションに戻り、それらの疑わしいインデックスを計算する必要があります。







例として考えているユーザーの場合、0.6の疑いのレベルは正常です。 この値を境界値として使用し、新しいトランザクションの疑わしいインデックスをそれと比較できます。



トランザクションtとrについて、それぞれ0.6335と0.7835の不審性インデックス値を取得しました。 両方の値がしきい値0.6を超えているため、両方のトランザクションが疑わしいものとして受け入れられます。



したがって、ユーザーの行動がユーザーの習慣にどの程度対応しているかを判断することを学びました。



アクションの長いチェーン（たとえば、1日あたりのユーザーの行動）を分析する必要が生じた場合、上記のアルゴリズムを使用してアクションのチェーンをトランザクションにカットし、各トランザクションの不審性をチェックします。 疑わしいトランザクションの数が特定のしきい値を超える場合、検討中の期間の動作は異常と見なされる必要があります。



説明したアルゴリズムを使用して、ユーザーアクションのプロファイルとその地理的位置のプロファイルを作成します。

デバイスをどうしますか？

パターン処理アルゴリズムの助けを借りて、アカウントとその地域でのユーザーの通常のアクションを区別する方法を学びました。 同様に、デバイス使用プロファイルを作成しようとしました。 そして、彼らはこれに基づいてパターンを変更することは疑わないことを発見しました。 各ユーザーは、独自のデバイスセットと特定の使用パターンを持っています。 たとえば、日中はラップトップから、夕方にはタブレットから、週末はスマートフォンからのみメールで作業します。 デバイスは時刻と曜日に応じて変化しますが、これはユーザーの好みによるものです。



それにもかかわらず、この機能は非常に貴重であることが判明しました。 ハッキングのシナリオを分析し、それらを一般ユーザーの行動と比較したところ、多くのデバイスがハッキングについて話すことができることに気付きました。 そして、私たちは将来このサインを使用することにしました。 ユーザーデバイスの数を特定の重要なしきい値と比較し、これに基づいて、この数が攻撃者または一般ユーザーに固有のものであるかどうかを判断します。

ハッキングを検出する方法は？

その結果、ユーザーごとに3つの兆候が得られます。アクションに対する不審性インデックス、地理的位置の変更に対する不審性インデックス、およびデバイスの数です。 当初、これらの兆候について分類器を構築する予定でした。 分類器には追加のコストが必要であることに注意してください。そのためには、トレーニングサンプルを収集し、最新の状態に保ち、再トレーニングに対処する必要があります。



テストサンプルを分析すると、次の規則性に気づきました。高精度では、亀裂は3つの兆候のうち2つで臨界しきい値を超えることに対応していました。







したがって、論理ルールを使用して分類子を破棄する機会があります。これにより、システム全体の開発、デバッグ、保守が大幅に簡素化されます。

誤検知を評価する方法は？

アンチスパムには非常に重要な要件が1つあります。ユーザーに害を与えてはなりません。 実際にハッキングされていないアカウントへのユーザーアクセスを制限することは、どうしても避けなければならないものです。 したがって、システムのこのような誤検知を追跡する方法と、それらの統計を保持する方法を把握する必要がありました。



このために、次のアプローチを開発しました。 たとえば、アカウントで動作の大幅な変更が発生しました。 アカウントがハッキングされたのではないかと疑い、所有者にIDの確認とパスワードの変更を依頼しました。 パスワードを変更した後、アカウントにはその所有者のみが誰もいないと考えています。 アカウントへのアクセスの復元後、以前に疑念を引き起こしていたのと同じ動作が続く場合、この動作はユーザーにとって典型的なものであり、システムは正しく動作しなかったと考えられます。 さらなる調査のためにこのようなケースを統計に含め、新しい行動パターンでユーザープロファイルを補充します。







このアプローチがどのように機能するかは、例として考えることができます。 メールでの一般的なユーザーの行動：ロシアからのモバイルデバイスからの定期的な手紙の送信。 ある瞬間に、振る舞いは完全に変わります。箱の中では、バルト諸国からの大量検索はパソコンから始まります。 行動分析システムは、ユーザーにパスワードの変更を要求します。 アカウントのパスワードを変更した後、バルト諸国からの手紙の検索と送信の操作は続行されます。 この場合、新しい動作パターンでユーザープロファイルを補充し、システムの最初の作動をfalseと見なします。

結果

アカウント内のユーザーの行動を分析してハッキングを検出しようとする機械学習システムを開発しました。 もちろん、完全な解決策について話すのは時期尚早です。まだ多くの作業が先にあり、多くのパズルを解決する必要があります。 しかし、それにもかかわらず、私たちがすでに得た結果はこのアプローチの見通しについて語っているので、サービスの信頼性をさらに高めるために開発する予定です。



PS：システムはMarshal（Mail.Ru Suspicious Hacking Alertの略）と呼ばれます。 2016年3月5日と6日にMail.Ru Groupのモスクワ事務所で開催されたData Festで詳細について話しました。 ビデオスピーチとプレゼンテーションはここで見つけることができます 。