すべてのメールシステムはスパムに直面しています。Hotmailも例外ではありません。 それに対する武器であるSmartScreenスパムフィルターは、業界で最も効果的なものの1つです。 この投稿では、SmartScreenを使用してスパムと呼ばれる脅威に対処する方法、およびこれを支援する方法についてのアイデアを提供します。
スパムは戦争です
なぜ人々はスパムを送信するのですか？ それは簡単です、それはお金を稼ぎます。 スパムは大規模で非常に大規模なビジネスであり、そのほとんどは違法ですが、これにより人々が送信するのを止めることはできません。
私を信じて、スパムは戦いです。 スパマーは非常に賢く、消えることはありません。 彼らは私たちのメールを自分の目的に使うための新しい方法を常に発明しています。 しかし、私たちはあきらめません。
シマンテックの月間スパムレポートを含むさまざまな調査では、インターネット経由で送信されるすべての電子メールの90％以上がスパムであることが示されています。 その結果、Hotmailに送信される手紙は、他のメールプロバイダーと同様、ほとんどがスパムです。 Hotmailは3億5千万ユーザーのアクティブユーザーベースで主要なターゲットです。 その結果、1日に数十億件のスパムメッセージを受信しています。
ただし、Hotmailは受信トレイに到達する前にすべてのスパムの98％を削除します。 これをどのように達成し、それを改善するためにどのように努力するかについて話しましょう。
敵を知る
最初に、いくつかの定義を与えましょう。 スパムは、法的な正当化なしに多数の受信者に送信される迷惑な商用メールを表す一般的な用語です。 スパムが来ることを誰も望んでいません。
すべてのスパムがスパムであるわけではないことに注意してください。 たとえば、完全に合法かつ公正なサイトでの登録の結果として、ニュースレターや購入オファーを受け取ります。 あなたはあなたの受信箱でそれらを見たいかもしれないし、したくないかもしれないが、これらの手紙は合法だろう。 このような文字をグレーと呼びます。メールで表示するかどうかが明確ではないため、これらの文字は「白」でも「黒」でもないため、名前（翻訳者から： コメントの後、メールプログラムとMicrosoftサービスのユーザーインターフェイスには、迷惑メールはなく、迷惑メールと迷惑メールがあります）。
私たちの目標は、スパムを可能な限り排除することです。 ただし、良いメールを誤ってスパムとしてマークしないようにする必要があります。 このタイプのエラーを誤検知と呼びます。
したがって、これは本当のトリックです-理想的にはスパムを可能な限り排除する一方で、理想的には単一ではない誤検知の数を最小限に抑えます。 ある意味では、これら2つの目標は互いに矛盾しています。
これはすべて数字で
一般に受け入れられているエンジニアリングの知恵は、「測定できないもの、改善できないもの」です。
Hotmailでは、いくつかの非常に類似したメトリックを追跡します。 毎日SITIインジケータ（「受信トレイ内のスパム」）を監視し、グレー文字を除くスパムであるSITIの割合も監視します。 また、通常のメッセージを[迷惑メール]フォルダーに入れることで、ミスをする頻度を監視しています。
作業を測定する自動化された手段に加えて、顧客から受け取ったフィードバックを使用します。 受信ボックスにスパムだと思われるメッセージがある場合は、そのメッセージを不適切としてマークできます。 したがって、完全に正常なメッセージが迷惑メールフォルダーにある場合は、不要ではないとマークするか、単にこのフォルダーからメッセージをドラッグアンドドロップできます。
ユーザーによってスパムとしてマークされたほとんどの電子メール（約75％）は実際には灰色です。 法的書簡ですが、ユーザーがメールで見たくないため、それらを不要としてマークします。 灰色の文字の良い例は、サイトで買い物をするときに購読したが、あまり興味がないニュースレターまたは通知です。
それで、私たちは何をしていますか？ 2006年に戻って、スパムに関する問題が発生しました。 スパムの割合は35％近くでした。つまり、メールボックスの3文字ごとにスパムでした。 それ以来、私たちは驚異的な進歩を遂げ、スパムの割合を5％未満に抑えて、そのレベルを維持しています。 次のグラフは、インターネットおよびHotmailでの過去数年間のスパムの傾向を示しています。 Hotmailチャートの緑色の三角形は、新しいスパム対策技術の導入を示しています。
インターネット上のスパムの割合が増加していた時期に、Hotmailへの投資が実を結んだことがわかります。 現在、スパムのシェアの過去の最小値だけでなく、誤検知の最良の指標も観察しています。
SmartScreen：スパム対策武器
SmartScreenテクノロジーに多大な投資をすることで、このような結果を達成しました。 そのコンポーネントのいくつかについて話しましょう。
接続時のフィルタリング（接続時フィルタリング） 。 これが最初の「防衛線」です。 いつでも、私たちのシステムは、世界中の郵便差出人の評判と、さまざまなソースに基づいた電子メールのコンテンツの最新の傾向を把握しています。 送信者評価は、主にIPアドレスまたはアドレス範囲に関連しています。 このデータに基づいて、特定の送信者がHotmailに配信できるメッセージに制限を設定します。 この値をゼロに設定すると、この送信者のすべてのメールアドレスをブロックできます。 良い手紙については、通常の手紙の受け取りを妨げないように制限を設定し、コンピューターをハッキングした場合に送信者のアドレスが悪用される可能性を最小限に抑えます。 いくつかのソースを使用して、送信者の評判を評価します。
- ボットのIPアドレス（ボットのIP）。 スパムの送信に使用された個々のコンピューターを追跡します。 多くの場合、これらはボットネットの一部であるマルウェアに感染したコンピューターです。
- 動的IP（動的IP）。 動的に取得されたIPを持つコンピューターはメールを送信すべきではないことがわかっているため、そのようなコンピューターから送信されたメールを直ちにブロックします。
- 既知のスパムネットワーク（既知のスパムエンティティ）。 自律番号システムやIPアドレス登録などの追加情報を使用して、スパムの送信に使用されたアドレスの範囲を追跡します
- サードパーティのソース。 業界で最高のものを使用することについて、サードパーティと合意しました。
- コンテンツフィルター 着信メールを通過させる多くのフィルターがあり、コンテンツを分析することでメッセージをスパムとして識別できます。 これは、「レプリカを見る」というフレーズを検索するほど簡単ではありません。 SmartScreenシステムは、自己学習を使用して、スパマーが使用する傾向と技術に適応します。 フィルタリングシステムは、送信者クラスに基づいて調整されたポリシー、コンテンツフィルター、およびレピュテーションフィルターを適用します。 フィルタは、ある程度の精度でスパムを検出します。 メッセージがスパムであることが確実な場合、削除します。 それ以外の場合は、迷惑メールフォルダーに配置します。 コンテンツフィルターは1日あたり約10億の投稿を削除します。
- あなたの好み。 あなたもスパムを制御します！ ブラックリストとホワイトリストおよびルールを設定できます。これらは、文字の追加フィルタリングに使用します。
- 時間移動フィルター はい、あなたはそれを正しく読みました。 私たちは時間内に旅行することができます...まあ...私たちのフィルターができます。 すべてが非常に簡単です。 新しいスパム送信元が表示された直後に、私たちは常にそれを知ることができません。 しかし、スパマーを見つけたらすぐに、時間をさかのぼってこのスパムを削除してから、受信トレイで気付くことができます。 ある意味では、時間を遡って迷惑メールを逃すことができるため、ツールをタイムトラベルフィルターと呼びます。 （もちろん、このスパムに既に気付いている場合は削除できません。そうしないと、脳を破壊する可能性のあるタイムトラベルのパラドックスが発生します）
- マルウェア検出 電子メールの添付ファイルで既知のマルウェアとウイルスをチェックします。
- Hotmailユーザーインターフェイスのツール（Hotmail UIのツール）。 最後に、強力なスパムツールをメールインターフェイスに直接提供します。 潜在的に危険なメールを読むたびにセキュリティバーを表示します。 リンクと画像は、不明な信頼できない送信者に対してデフォルトで無効にされ、不正なリンクやWebビーコンからユーザーを保護します。 迷惑メールとして迷惑メールのマークを付けるか、迷惑メールフォルダーにドラッグしてください。 また、迷惑メールフォルダーから適切な文字を移動することにより、誤検出のレベルを減らします。 文字を「望ましい」または「望ましくない」とマークするたびに、システムがよりスマートになります
どうすれば手伝ってくれる？
私たちのシステムはソリューションの一部にすぎません。 スパムとの戦いにおけるユーザーのフィードバックをお待ちしています。 システムをよりスマートにし、メールエコシステムの状態に貢献するいくつかの方法を次に示します。
- 経験に基づいてフィードバックを提供するフィードバックを取得するには、3つの方法があります。 文字を「望ましい」、「望ましくない」、「不正」としてマークすることができるため、フィルターがよりスマートになります。 一部の文字を「不要」とマークすることにより、誤検知を特定しやすくなり、将来エラーを繰り返さないようにすることができます。
- フィードバックプログラムに参加します。 フィードバックプログラムに参加するユーザーを招待する場合があります。 このプログラムは次のように機能します。時々、私たちはあなたに手紙を送り、それが望ましくないかどうか尋ねます。 スパムフィルターの設定は、この手紙の分類方法によって異なります。 あなたが提供されている場合、このプログラムに参加することに同意します
- スパマーから何も買わないでください。 非常に少数の人々がスパムメールに記載されているリンクをたどっています。 しかし、送信されたメッセージの数が非常に多いため、スパマーはお金を稼ぎます。 一般的なスパマーは、100万通のメッセージのうち50件しかユーザーから送信されていない場合でも、非常に良い利益を得ることができます。
- コンピューターにマルウェアがないか確認してください。 お使いのコンピューターがスパムボットでないことを確認してください！ これには、 MSEなどの無料のウイルス対策ソフトウェアを使用できます。
未来を見る
過去数年間、Hotmailチームは、スパムの問題を解決するだけでなく、メールサービス業界で最高の存在になるために、SmartScreenの開発に非常に重要な投資を行ってきました。
次の投稿では、灰色の文字の問題について少し説明し、フィルタリングメカニズムを詳しく見て、まだスパムの問題が発生している人にいくつかのヒントを提供します。
それまでは、引き続きHotmailを使用し、コメントにコメントを残してください 。
ディック・クラドック
グループプログラムマネージャー、Windows Live Hotmail