こんにちは

Trevor（ あたり： -私が理解している限り、これはTrevor Perrinについてです）スパムフィルターとエンドツーエンドの暗号化に関する考えを書いて、すべての情報が1つのメッセージに収集され、フォーラム全体に散らばらないように頼まれました。 特に、彼は次のトピックに関する私の知識をダンプするように頼みました。

• 現在、大規模なメールサービスでスパムフィルターはどのように機能しますか？
• エンドツーエンドのE2E暗号化の普及はどのように影響しますか？
• クライアントに転送できるもの（およびその後の賛否両論）
• これはメールで現実的ですか？
• 電子メールから他の非同期システム（チャットなど）または新しいプロトコルに切り替えると何が変わりますか。 つまり、スパムの問題はメールプロトコルの問題ですか、それともグローバルシステムの欠陥ですか？

私の能力を明確にするために、この分野での経験を簡単に説明します。私（ transl。：-Google+ ページ ）は、7年半の間Googleで働いています。 これらのうち、4.5年はGMailセキュリティチームで働いていました。GMailセキュリティチームは、スパム対策チームと緊密に連携しています（彼らは同じアプリケーション、同じ警告システムを使用しています）。

2010年のどこかで、スパマーに良い拒絶をしました。その結果、古い方法ではお金を稼ぐことができませんでした。 それらの一部は、侵害されたパスワードを使用して産業規模でハッキングアカウントに切り替えました。 その後、これらのハッキングされたアカウントからスパムが送信されました。 私は新しい盗難防止チームのテクニカルリードでした。 アカウントの盗難と戦うために2.5年を費やしました。 2013年初頭、私たちは勝利を発表し、数か月後、エドワードスノーデンはNSA / GCHQが開発したセキュリティシステムを聞いているという情報を公開しました。

それ以来、すべてが落ち着いたようです。 GMailの観点から言えば、少なくとも現時点では、スパムに対する勝利が勝ったと言えます。

ビデオが好きなら、数年前にリュブリャナで開催されたRIPE64カンファレンスでプレゼンテーションを行いました： ripe64.ripe.net/archives/video/25

1月、私はGoogleを離れて、自由時間をすべてビットコインに費やしました。 現在、P2Pクラウドファンディングアプリケーションのプロジェクトに取り組んでおり、分散型の構造を使用して資金調達を見つけることができます。

行きましょう。

スパミング戦争の簡単な歴史

最初は...正規表現でした。 Gmailは正規表現フィルタリングをサポートしていますが、最後の手段としてのみです。 間違いを犯すのは簡単です。 「Oli via Gradina 」という名前の不幸なイタリア人からの手紙をブロックしたら（ 翻訳： -シルデナフィルのヒントを見ましたか？）。 さらに、このアプローチは国際化を十分にサポートしておらず、ランダム化によって簡単にバイパスされます。

その後、電子メールコミュニティは、不良IPアドレスの一覧表示と共有を開始しました。 そこで、Spamhouseが登場しました。 このアプローチは、スパマーがお金を支払ったリソースの価値が低下したために報われました。 しかし、ブラックリスト管理者が手紙の流れの中で裁判官、ju審員、死刑執行人になったため、リストをめぐって激しい戦いが繰り広げられました。 「スパムとは何か」という質問は非常に物議を醸すことが判明しました。 多くのメーリングリストは自分自身をスパマーとは見なしていませんでしたが、明確な定義がないため、ブラックリストに載ることもありました。

RBL（リアルタイムブロッキングリスト）を回避するために、スパマーはボットネットの使用を開始しました。 これに対応して、スパムファイターはインターネットマップを構築し、「PBL、ポリシーブロックリスト」を作成しました。これは、居住サブネットに関連付けられたIPアドレス範囲であり、したがって、原則としてメールの送信に関与しません。 ボットネットは膨大な量のスパムを生成しますが、このスパムは最も簡単にフィルタリングできます。 GMailでスパムとセキュリティの脅威のチームとして働いていたとき、ボットネットとの戦いに費やされた時間はほとんどありませんでした。

そこで、GMailタイプのWebメーラーが登場しました。 GMailの最初のバージョンでは、spamassassinを使用していました。 しかし、このアプローチはすぐに十分ではないと認識され、独自のフィルターを作成しました。 GMailのフィルターアーキテクチャは、2006年の科学記事「 Sender Reputation in a Large Webmail Service」で説明されています 。

この記事の本質を簡単に説明します。 新しいフィルターの主な手法は、手紙の送信者のドメインを推測するヒューリスティックな試みであり（ドメインはIPアドレスよりも入手が難しく、安定しています）、その評判を計算します。 レピュテーションは0〜100のスコアです。100は理想的なレピュテーションであり、0は間違いなくスパムです。 つまり、送信者の評判が70であり、ケースの約30％である場合、その手紙はスパムであると見なされ、その他の場合はスキップされます。 レピュテーションは、「スパムを報告/スパムではない」ボタンとフィルター自体からの自動応答を使用して、手動レビューを正確にカウントして計算された移動平均です。 明らかに、手動での苦情はシステムに対して非常に大きな重みを持ち、フィルターが自己修正できるようにします。

このアプローチには別の利点があります-「スパム」の概念の正確な定義に関する論争の的となっている問題をすべて排除します。 新しい定義は次のとおりです。スパムはユーザーがスパムと呼ぶものすべてです。 そのような定義に反論することはできません。 さらに、実行するのは非常に簡単で、スパマーの新しいアイデアに適応するのに十分な柔軟性があります。

いくつかの点に注目する価値があります。

• レピュテーションシステムは、 すべての手紙を読むことができる必要があります。 評判は自己修正できないため、スパムのみを表示するだけでは不十分です。 [スパムしない]ボタンは、[スパムを報告する]ボタンと同じくらい重要です。 ほとんどの「非スパム」マークは、「スパム」マークが設定されていない場合に暗黙的に表示されます。
• 評判は迅速に計算する必要があります。 評判のわからない手紙を受け取った場合、この手紙を通過させる以外に選択肢はありません。 これにより、スパマーはトレーニングシステムを先取りしようとします。 レピュテーションシステムの最初のバージョンでは、MapReduceを使用し、レピュテーションをバッチで計算しました。 遅延は時間単位で計算されました。 その結果、その場でポイントを計算するインタラクティブなシステムに置き換えられました。 このシステムは、信じられないほど印象的なエンジニアリングスキルです。 これは本質的にグローバルなピアツーピアのリアルタイム学習システムです。 中央ノードはありません。 このフィルターは世界中に分散されており、複数のデータセンターが失われても耐えることができます。
  
  よく制御された環境の外でこのようなシステムを構築する方法について考えるのは怖いです。 プロプライエタリ/集中化された環境内であっても、頭をかなり壊さなければなりませんでした...
• 評判はドメイン間で広がります。 特定のリンクが不良であることがわかっており、評判が不明なIPアドレスからの手紙に記載されている場合、このIPアドレスも評判が悪いことになります。 そしてその逆。 これが重要なポイントであることが判明しました。 レピュテーションを判断するための基準の数が増えるにつれて、スパマーがすべてを同時に変更することは難しくなります。 これは、送信マシンの正確な制御が難しいボットネットに特に当てはまります。 スパマーがすべての文字の1つのマイクロアスペクトを同時にランダム化できなかった場合、すべてのリンクとIPアドレスが自動的に侵害され、金銭が失われます。
• 評判は自然の問題に固有のものです。 多数のユーザーが必要です。 したがって、アカウントは無料でなければなりません。 無料の場合、スパマーはそのようなアカウントを多数登録し、自分の手紙を「スパムではない」とマークして、 Sybil攻撃を行うことができます。 そして、これは仮説的な問題ではありません。

レピュテーションシステムは、送信者のドメイン以外の文字の多くの機能に基づいてレピュテーションを計算するように設計されました。 機能の1つは、テキスト内のクリック可能なリンクドメインです。 リンクは重要な戦場になっており、数年間にわたって積極的に戦いが行われてきました。 理由は明らかです。スパマーは何かを売る必要があります。 そのため、ユーザーを店舗に連れて行く必要があります。 製品の名前に関係なく、最終サイトへのリンクは機能するはずです。 戦いは次のとおりでした：

1. すべては、文字のHTMLコード内の単純なリンクから始まりました。 フィルタは、そのようなリンクを持つ電子メールをブロックし始めました。
2. スパマーはリンクを混乱（難読化）させ始め、ユーザーにリンクを手動で収集してアドレスバーに入力するように求めました。 しかし、この方法はうまく機能しませんでした。 ほとんどのユーザーはこれを望んでいないか、できませんでした。 収益は減少していました。
3. スパマーは、ランダムドメインを一括して購入および作成し始めました。 .com
   
   
   
   などのトップレベルドメインは高価ですが、より安価なものもあります。 そして、個々のトップレベルドメインの評判はベースボード（例： .cc
   
   
   
   ）を下回りました。
4. レジストラがネジを締め始めたとき、スパマーはトップレベルドメインを使い果たしました。 彼らは評判の窃盗で取引を始めました。 たとえば、 *.blogspot.com
   
   
   
   、 *.livejournal.com
   
   
   
   などのドメインを登録できるサイトにブログを作成しました。 短縮されたリンクサービスは、スパマーの親友になりました。 文字通り、すべてのURL削減サービスは、ドメインの評判を求めるスパマーに対するオペレーターの戦場になりました。
5. スパマーはWebサイトのハッキングを開始しました。 しかし、このアプローチは必ずしもうまく機能しませんでした。珍しいWebサイトは、評判の良い合法的なメールを提供できるからです。 また、パスワードの優れたソースでもあります。
6. Googleなどの大規模なコンテンツホスティングサイトは、スパムフィルターとホスティングエンジンを組み合わせています。 そして、ユーザーURLの評判が落ちるとすぐに、そのURLのホスティングは自動的に閉じられます。 そのようなシステムの最初のバージョンは遅すぎました。 Googleでの私のプロジェクトの1つは、そのようなコンテンツを自動的に削除するリアルタイムシステムの構築に関するものでした。

2006年（登録の開始）から2010年の間に、アカウントの登録時にスパムフィルターが作成されました。 私は自分自身を称賛するという事実にもかかわらず、非常に良い仕事をしました。 ウェブサイトbuyaccs.com（ロシアのアカウントストア）でウェブメーラーの「無料」アカウントの価格を確認します。 hotmail / outlook.comアカウントのコストは1000ドルあたり10ドルであり、GMailはすでに1桁以上高価です。 最初に開始したとき、GMailアカウントは1000個あたり25ドルの費用がかかりました。 そして、価格を4倍に上げることができました。 すべての主要なウェブサイトは電話番号の確認を使用して誤検出の登録を除外しているため、パフォーマンスをさらに向上させることはすでに困難です。

大量の登録と戦うために、大量の魔法が使用されます。 たとえば、リバースエンジニアリングの試みに対抗するランダムに暗号化されたJavaScriptを生成するシステムを作成しました。 このスクリプトは自動登録プログラムを検出し、それらを刈ることができます[1] 。

エンドツーエンドの暗号化はこれらすべてにどのように影響しますか？

上記の私の話から次の結論を引き出すことができます。

• 大量のデータは、スパムをブロックし、適切なメールを識別するために非常に重要です。
• システムの反応速度が重要です。 スパム送信者との多くの戦いは、誰がより速くなるかを要約しました。 あなたの評判が3分で決定される場合、あなたは追い越されます。
• ユーザーをパトロールすることが重要です。 ユーザーアクションに信頼がない場合、評判は計算できません。 これは理論的に逆説的な状況を生み出します。無料のアカウントにはまだお金がかかります（多数必要な場合）。

E2E暗号化の最初の問題は、評価データベースがすべての電子メールからのデータを必要とすることです。 レターを解読して分析し、次に良い/悪いレポートを仮想の中央リポジトリに送信するメールクライアントを想像できます。 しかし、最終的に、この中央リポジトリは、あなたが話している相手に関する情報だけでなく、手紙のリンクも調べます。 これは非常に貴重な情報です。 分析する要素が多いほど、この問題は深刻になります。

2番目の問題は、中央リポジトリがあなたの手紙を読むことができない場合、レポートの信ity性を確認できないことです。 暗号化されていない電子メールの場合、スパムフィルター自体が電子メールから必要な情報を抽出するため、これは問題ではありません。 スパマーがシステムを打ち負かしたい場合、彼らはまだ本物の手紙を自分自身に送る必要があり、それはコストの増加につながります。 スパムフィルターが文字を読み取れない世界では、スパマーは「良い文字」に関する完全に架空のレポートを自由に送信できます。 さらに悪いことに、スパマーは競争を開始し、偽陰性レポートを送信する可能性があります。 AdWordsシステムでも同様のことがわかりました。

3番目の問題は、スパムフィルターがうまく機能するため、あいまいさによるセキュリティ（ transl。：- 「あいまいさによるセキュリティ」）に大きく依存していることです。 分析で使用されるいくつかの要因（たとえば、送信者のIPアドレス、リンク）は広く知られていますが、謎に覆われている他の多くの要因があります。 フィルタリングロジックがクライアントに転送されると、スパマーはエンドツーエンドのレピュテーションシステムを混乱させるためにランダム化する必要があるものを正確に確認できます。

おそらく、これら2つの問題は、トラステッドコンピューティング（Trusted Computing）の助けを借りて解決できます。 彼らの助けを借りて、個人データで暗号化されたプログラムを実行でき、ハードウェアはプログラムが実際に実行されていることを中央サーバーに「証明」できます。 ただし、あいまいさとエンドツーエンドの暗号化によるセキュリティの組み合わせは困難です。メッセージがブラックボックスを通過すると、理論的にはこのボックスがメッセージの内容を盗む可能性があります。 あなたのメッセージに基づいて秘密の基準を計算する何かに頼らなければなりません。 では、今日だけでGMailを信頼しませんか？

4番目の問題：匿名性とスパムフィルターはうまく混ざりません。 実際、手紙を送信する時点でスパムを芽に向ける必要があります。 アカウントの破壊は、基本的なスパム対策ツールです。 すべての主要なWebメーラーとソーシャルサービスでは、セキュリティフィルターがオフになった場合、ユーザーは電話番号のチェックに合格する必要があります。 通常、ランダムなコードがSMSメッセージで送信されるか、ユーザーの現実を確認するために電話がかけられます。 電話番号にはお金がかかり、私たちのほとんど全員が少なくとも1つの番号を持っているため、このアプローチは機能します。 しかし、多くの国では匿名の電話番号を持つことは禁じられており、オペレーターはSIMカードを販売する前に身分証明書を確認することを余儀なくされています。 完全に免責されて「データベースにパンチ」できるという事実（ trans .: -「正当な否認」などの法律用語があります）は、登録中に個人データを転送しなくても、政府があなたの場所を強制的に開くことができることを意味しますおよび/またはいつでも個性。 このために特別なことをする必要はありません。 パスワードを傍受できる場合、サイトのセキュリティシステムに疑念を抱かせ、ユーザーが電話番号を入力するのを待ち、必要なすべてのメタデータを引き出します（このような状況に遭遇したことはありませんが、理論的には可能です）。

最後の問題：スパムフィルターはCPUリソースとディスクストレージを要求しています。 現在、多くのユーザーは携帯電話のみでメールを処理しています。 スマートフォンのリソースは限られているため、負荷が大きくなるほどバッテリーの消耗が早くなります。 無線モジュールをオンにしてメッセージをダウンロードするだけで、バッテリーが消費されます。 電話で90年代のスパムと戦う時代遅れの方法を実行しようとしても、電話は運命にある可能性が高いでしょう。 彼を救うことができるのは、バッテリー技術の革新的な進歩だけです。

その結果、クライアント側でスパムのフィルタリングに完全に戻る現実的な方法がわかりません。

全員が電子メールから他のメッセージングシステムに移動するとどうなりますか？

一般的に、SMSスパムは良い例です。 電話会社はスパムフィルターとして機能するため、それほど多くはありません。 そして、政府は、将来の違反者を思いとどまらせるために、SMSスパムに対する罰則を導入して参加しようとしています。 つまり、潜在的な犯罪者にメッセージを送信します。 電子メールスパムは、政府がそれに対応し始めるずっと前にブームを経験しました。 したがって、これら2つのシステムのアプローチの違いを観察することは興味深いです。

WhatsAppのようなアプリがスパムの影響を受けているようには見えません。 しかし、これは彼らのスパム/虐待部門の良い仕事のデモンストレーションだと思います。 それらは最も有利な位置にあります。 いつでもあらゆるものを制御したり変更したりできる単一のセンターがあると、100万倍も簡単に戦うことができます。 アカウントを強制終了し、登録の流れを制御できます。 単一のコントロールセンターがなければ、受信フィルタリングのみに頼らなければならず、スパマーがあなたの保護を回避する方法を見つけた場合、静かに苦しむ必要があります。 さらに、通常は顧客を制御しません。

一般的な考えと結論

スパマーとの戦争がどのように勝利したかを見ると、数年にわたって驚くべき努力がなされていることがわかります。 戦争への類推が思い浮かびます。2つの戦争当事者と多くの興味深い戦い、戦術と武器の衝突がありました。 私は一日中バイクを毒し続けることができたが、この手紙はたくさん伸びるだろう。

完全な暗号化のコンテキストでこの戦争を再現しようとすることは、目隠しと手錠をかけられて戦うことに似ています。 すぐに押しつぶされます。

したがって、根本的に新しいアプローチが必要だと思います。 頭に浮かぶ最初のアイデアは、手紙を送るための料金を導入することです。 しかし、これはいくつかの理由で悪い考えです。最も明白な、無料のグローバルなコミュニケーションは、人を月に届けることに匹敵する、人類の最大の成果です。 中国の田舎の人は数秒で無料でメールを送ってくれますし、無料で答えることもできます！ ちょっと考えてみてください。

失敗のもう1つの理由は、スパマーと正直な大量メール送信との違いを電子メールで消す料金です。 多くの企業は、ユーザーが待っている大量の手紙を送ります。 たとえば、Facebookを見てください。 すべての手紙にお金がかかると、誠実で役に立つ企業は働けなくなります。

別のアプローチは、いくらかの現金預金をすることです。 ビットコインの一部を鉱夫への委託として寄付できるようにするプロトコルがあります。 つまり、同じことをしたボックスへの呼び出しに署名することで、お金を使ったことを証明できます。 これにより、匿名メールボックスを非常に正確に合法化でき、そこから好きなだけの数の手紙を送信できます。 評判を計算する方法があります。 スパム/非スパムレポートでは、送信の証拠のみを保存できます。 そして、これらのレポートに基づいて、評判の価値を判断します。 送信者の評判がまだない手紙は、ボランティアがチェックするまで保管できます。 別のオプションは、相互署名を許可することです。 評判の良いメンバーは、評判を高め、評判の相互成長を引き起こすために、一時的に手紙を認証することができます。 このような信頼できる参加者は、送信者の信頼性を好きな方法で検証できます。

このため、ビットコインとE2Eメッセージの合流点でのプロジェクトに興味があります。 私の意見では、これらは根本的に関連するものです。

まとめると。 私は彼らの急進的なアイデアでビットコインコミュニティで知られています。 たとえば、プライバシーと悪意のある動作の間にはトレードオフがあることを提案しました。 暗号化コミュニティの多くの人々は、このアイデアと（残念なことに）それを表現しようと試みた人を情熱的に拒否しています。 上記の私の話が、私がそのような結論に至った経緯を示すことを願っています。 このようなプライバシーの悪用を考慮せずに完全なプライバシーを追求することは、広範な配布を実現したいシステムにとって悪い方法だと思います。