Mail.Ruスパム対策アーキテクチャ
Mail.Ruの独自のアンチスパムは、長年にわたって存在しています。 私たち自身の製品を開発したいという願望は理解できます。 プロジェクトの開発の特定の段階で、非常に高度にカスタマイズされた「エイリアン」製品であっても、スパム対策メカニズムの品質と拡張性の要件が満たされずに満たされなくなりました。 もちろん、サードパーティベンダーの一部のサービスとコンポーネントを（たとえば、ウイルスコンポーネントの文字をチェックするために）使用していますが、それらの役割はもはや決定的なものではありません。
私たち自身のスパム対策の要件は非常に理解可能で論理的でした-応答の最大速度と精度。 もちろん、完璧に制限はありません。スパマーと敵との関係は、盾と剣の永遠の闘いです。 しかし今、私たちは、大事な目標に向かって真剣に進歩し、勢いを増し続けていると自信を持って言えます。
それでは、Mail.Mail.Ruの最新のスパム対策とはどのように見えるのでしょうか？
まず、メールサーバーへの「アプローチ」でも、すべての送信者がスパムメーリングで見られるIPアドレスのベースに対してチェックされます。 データベースはリアルタイムで動的に更新されます。一部のIPは「白塗り」され、他のIPは「ブラックリスト」に分類されます。 したがって、「変色した」評判のIPアドレスからの手紙は受け入れられません。この方法で、ほとんどのボットネットを遮断することができます。
送信者のIPがブラックリストにない場合、メッセージはサーバーによって受信され、2つのスパム対策システム：Kaspersky Anti-Spam（または略してKAS）とMail.Ru-MRAS（Mail.Ru Anti-Spam）で開発されたスパムフィルタリングシステムによってチェックされます。 これら2つのシステムは常に並行して動作します。
MRASという名前は、特に、Mail.Ruを通過するほとんどすべての文字のサービスヘッダーに表示されます。 たとえば、見出し「X-Mras：Ok」は、このメッセージにスパム署名が見つからなかったことを示します。
MRASアーキテクチャを選択する際、最も一般的なアプローチを採用しました。スパムメールのサンプルを収集し、それらを分析して署名を生成します。 簡単に言えば、署名とは、電話番号、リンク、特徴的なフレーズまたはキーワードなど、文字に含まれる意味のある情報です。 MRASのメッセージの評価は、単純なロジックに従って署名に従って実行されます。メッセージにスパムメーリングに固有の署名が含まれている場合、この手紙はスパムである可能性が高いです。
それとは別に、グラフィックスパムの認識システムに注目する価値があります。 レターに含まれる各写真は分析され、決定に関与する署名に分解されます。 たとえば、スパム対策はグラフィカルに記述されたサイトの電話番号と住所を自信を持って決定し、アルゴリズムは歪んだノイズの多い画像でも機能します。
署名に加えて、MRASには、より複雑なロジックを記述するいわゆるルールがあります。 MRASのルールを使用して、サービスヘッダー、画像パラメーター、リンク形式またはパターン、メッセージ内のエンティティの頻度とレピュテーション特性など、複数のメッセージ属性を考慮するフィルターを作成できます。
ルールの実装にエンジンを選択したとき、さまざまなオプションが議論されました。 主な要件は、高性能、構文の柔軟性、および容易な拡張性でした。 Lua組み込みインタープリターが上記の条件を満たすことがわかりました。 その結果、ルールの作成だけでなく便利な強力で柔軟なツールが手に入りました。 現在、MRASはLuaスクリプトの助けを借りて、ビジネスロジックの重要な部分、たとえば、画像の解析メカニズムや周波数帯状疱疹、さまざまなレピュテーションメカニズムを実装しています。
MRASはスパムメーリングについてどのように見つけますか？
MRASのスパムサンプルのソースはいくつかあります。 主な原因は、メールのWebインターフェイスで[これはスパムです]ボタンをクリックしたユーザーからの苦情です。 これらはグループ化され、自動的にフィルタリングされてから、意思決定システムに送られます。
もう1つの最も重要な送信元は、トラップボックスです。これは、スパムのみが届くインターネット上で特別に登録された「ライトアップ」ボックスです。 外見は、普通のユーザーの箱のように見えます。これらは、My Worldやその他のソーシャルネットワークのアカウント、フォーラムのメッセージ、ゲストブックなどです。 インターネット上のアドレスのデータベースを収集する悪意のあるメーリングリストは、いくつかの「トラップ」をフックする可能性が非常に高く、手紙が届くと、スパム署名の主なものとなるでしょう。
最後に、第3段階では、リアルタイムの24時間365日モードで、スパムである可能性のある手紙、トラップボックスの内容などについてユーザーから受け取った苦情を分析するPochtaMail.Ruアナリストのグループがあります。
次に、MRASを終了する文字はどうなりますか？ 手紙の重要な署名に取り組んだ後、MRASの出力は手紙に最終スコアを与えます。これは、次の3つの値のいずれかを取ることができます。
- 手紙はスパムではありません
- メールはスパムである可能性があります
- 手紙は間違いなくスパムです。
同じシステムがMail.Ruサーバーからの送信メールを処理することに注意することが重要です。 そのため、ユーザーがスパムメールを送信しようとすると、メッセージを送信できないという通知を受け取ります。
興味深いのは、MRASが入り口でメッセージをチェックするだけでなく、ユーザーのメールボックスに入った後の時間もチェックすることです。これは、スパムメーリングの新しいデータが状況を変更し、システムの意見を変える可能性があるためです。 そのため、メッセージがMRASによって処理された瞬間にスパムとして検出されず、数分後に既に判断されていた場合、MRASはメッセージを受信トレイからスパムフォルダーに転送します。 当然、これはユーザーが受信ボックスにログインして文字を見る前に厳密に行われます。
上記のすべては、すべてのユーザーに対して機能する自動スパムフィルタリングシステムです。 ただし、ユーザーごとに好みが異なるため、最近、スパムフィルタリングの個別（個人）コンポーネントを導入しました。
新機能
ソーシャルネットワーク、オンラインゲーム、オンラインストア、および電子メールを介して視聴者と積極的に通信するその他のサービスの大規模な広がりにより、さまざまな通知の山がユーザーボックスに蓄積し始めたことは秘密ではありません。 そして、私たちの研究は、現代のユーザーにとって、スパムはもはや「名刺の印刷」、「グリーンカード」、または「自己の知名度の向上」に関する大量のメールではないことを示しています。 スパムは、不透明な購読停止を伴う退屈なニュースレターであっても、受信トレイに定期的に入る長く興味のないインターネットサービスであっても、迷惑メールであると考えています。
Mail.Ruの内部統計によると、ユーザーは毎日、ソーシャルネットワーク、ショップ、インターネットサービスから多数のさまざまなメールを受信します。 上級ユーザーは、フィルターまたはブラックリストを使用して、受信ボックスにメーリングリストが蓄積するのを簡単に回避できます。 他のすべてのユーザーの生活を楽にするために、個人向けのスパム対策を実装しました。
これで、すべてのユーザーが、インターネットサービス、ソーシャルネットワーク、またはストアの迷惑なニュースレターを一度でなくすことができます。 非常に合法的なサービス。 不要な文字を1つ選択して[これはスパムです]ボタンを押すだけで十分です。その後、この送信者からのすべての文字は既に[スパム]フォルダーに到着します。 そしてもちろん、これは他のユーザーへの手紙の配信には影響しません。この場合、「自分用」のスパム対策メカニズムの純粋に個別の設定について話しています。
ちなみに、「これはスパムです」ボタンには対抗手段があります。これがないと、個人のスパム対策のメカニズムは完全ではありません。 「これはスパムではありません」ボタンは、「スパム」フォルダからの手紙に使用でき、誤ってスパムになったメッセージを移動し、受信トレイで送信者のアドレスを「ホワイトウォッシュ」できます。 将来、この送信者からのすべての手紙は受信トレイに送信されます。
もちろん、実際には、すべてがやや複雑です。 個々のブラックリストとホワイトリストを作成するとき、送信者のアドレスだけでなく、レターの他のパラメーターも考慮します。 そうしないと、Fromヘッダーを偽造したスパム送信者にはあまりにもいいでしょう;）
そしてもちろん、個々のスパムフィルターを補充することに加えて、「これはスパムです」および「これはスパムではありません」ボタンをクリックして、一般的なスパム対策をトレーニングすることもできます。 そのため、これらのボタンをクリックすると、ユーザーは自分自身だけでなく、他のすべてのユーザーに対してもより良い結果をもたらします。
興味深い事実と数字
個人用スパム対策の開始後最初の数日は、この機能によりユーザーの生活が大幅に簡素化されることを示しました。 個人用スパム対策の最初の週の終わりまでに、1日あたり1,000,000通を超える文字がスパムに送信され始めました。もちろん、これらは主にソーシャルネットワークからの通知です。
ユーザーがスパムに送信する他の手紙を分析するのは興味深いことでした。 配布は次のようになります。
ところで、予想されるように、ユーザーは「これはスパムではありません」ボタンの10〜20倍の頻度で「これはスパムではありません」ボタンをクリックします。
そして最後に...メールの送信方法;）
あなたの多くはウェブ開発に直接関与しており、何らかの形でユーザーに手紙を送ります。 あなたの手紙が確実に配達されることを保証するために、私たちは送信者への勧告を策定しました。 もちろん、それらの実装は厳密には必要ではありませんが、世界をより良い場所にします;）一般的な推奨事項はhttp://help.mail.ru/mail-help/rules/generalにあり、より具体的な技術要件はhttp：/にあります/help.mail.ru/mail-help/rules/technical 。
メールの主なタスクは、ユーザーに手紙を届けることです。 そのため、スパム対策の誤検知が発生した場合は、それと熱心に対処します。 手紙がユーザーに届かない場合は、abuse @ corp.mail.ruに書き込みます。 問題を理解するには、送信したレターの完全なコピー（すべてのサービスヘッダーを含む）と、配信不能応答（完全な）を添付する必要があります。
メール転送プロトコルの欠点を補うために設計されたメカニズムに特に注意を払いたいと思います。 正しいSPFレコードを指定すること、特にハブで複数回書き込まれた DKIMを使用して各メッセージに署名することについてです。
実際、すべての正直な送信者がこれらのアプローチを使用すると、グローバルなスパム状況は根本的に改善されます。 したがって、特に構成が非常に簡単であるため、これらのテクノロジを迅速に実装することをお勧めします （たとえば、 eximでDKIMを構成するためのドキュメント、またはpostfixのDKIM実装の1つ）。
セルゲイ・マルティノフ、
メールのヘッド。Mail.Ru