未完成のスパム記事

たまたま私はスパムの問題に対処しなければなりませんでした。 実際、ここで何が起こったのでしょう。 多くのテキストがありますが、ほとんどは一般的な性質のものです。



スパム この短い言葉で、多くの人が不快な団体を連想し、

システム管理者も震えています。 私たちの時代にはみんなだと思う

コンピュータユーザーがスパムに遭遇し、それが何であるかを直接知っています。



それで、私たちはスパムと呼んでいますか？



スパムとは、ユーザーが多数の受信者に同時に受信するとは思わないメッセージを送信することです。



質量はスパムの主な兆候です。 通常、このアプローチではスパマーは独創的ではありません。 それらは、数百万年の進化の間、自然が作り出した道をたどるだけです。

簡単な計算では、各杉の木は、その寿命にわたって平均100万個の実行可能な種子を生成します。 しかし、私たちの惑星の樹木の数は増えていません。つまり、自然選択のレベルは約100万分の1です。 種の完全な繁殖と安定性を保証するのはこのレベルです。 （http://kedr.forest.ru/culture.html）



たとえば、サバ（Scomber scombrus）では、約99.9996％の人が生後50〜70日で死亡します。 したがって、100万個のスイープ卵（および女性のサバ1匹が水柱で泳ぐ最大50万個の小さな卵を一度に生産する）のうち、成熟まで生き残ることができるのはごく少数の個体のみです。 それにもかかわらず、サバは魚屋の棚に存在することから明らかなように、非常に一般的な魚のままです。 （http://elementy.ru/news/430696）

彼らと一行で私たちは、受信者に手紙を届けるために、大量生産に依存するスパマーを届けることができます。 そして、最も悲しいことに、このアプローチはそれ自体を正当化します。



報告によると、2005年にスパムメッセージ（たとえば、ほとんどのメッセージにある「ここをクリック」リンク）で広告を出したユーザーの割合は11％（http://www.technewsworld.com/story）でした。 /44655.html)、2006年-約6％（http://www.yale.edu/its/email/spam/whyspam.html)、2008年-29％（http://www.marshal.com /pages/newsitem.asp?article=748&thesection=news）。

これは信じられないほどの数ですが、最新の調査で622人しかインタビューされなかったため、結果は正確とはほど遠い可能性があります。 しかし、たとえこの結果が誇張されていても、スパムが所有者に収入をもたらすことを毎日証明しているのは何百人もの人々です。



一方、まったく異なる性質の数字があります（http://habrahabr.ru/blogs/spam/44353/）-「実際のスパムCTRは0.000008％です。」 これもおそらく人生の完全な真実ではありません。 しかし、まだ収入があります。



この観点から、スパムを撃退する唯一の方法は、スパムに応答しないことです。 または、スパムメッセージがまだ応答している無意識の受信者に届かないようにしてください。 私たちの文明の発展のこの段階では、悲しいかな、それは不可能です。

スパムとは（http://ru.wikipedia.org/wiki/Spam）

スパムメーリングには特定の目標があります-それ以外の場合はコスト

すべての意味を失います。 目的に応じて、手紙の内容も変わります。



スパムメッセージの大部分は広告です（比較のため、フィッシングまたはウイルスの電子メールは合計でスパムの総数の2％を超えません）。



広告の中で、最も人気のある（9月の統計）：アダルトスパム-28％、薬; 健康のための商品とサービス」-19％、「教育」-12％、「高級品のレプリカ」-6％、「レジャーと旅行」-6％。



実際のスパムサービスの広告は、最近5％前後に浮上しています。



スパマー自身がスパムについて言うことを賞賛してください。

「スパミングは非倫理的な広告方法であると考える人もいますが、

練習では、多くの人が少なくとも好奇心からそのような手紙を見ることが示されています

のような。 そして必然的にその中に潜在的なクライアントがいます、

オファーに興味があります。 スパムは十分なので

安価なサービス、多くの顧客、そのようなレバレッジの有効性の評価

潜在的な消費者への影響、定期的な顧客になる、

他の同僚にこの広告方法を推奨します。」（http://www.direct-mail-reklama.ru）

配布

技術的には、スパムは主にメールで配信されます。 前世紀の終わりに開発されたメールプロトコルの欠点、大量メール送信ソフトウェアの実装の単純さ、アドレスデータベースの可用性は、ここでの活動の幅広い分野を提供します。 たとえば、初心者であれば、 forum.antichat.ru / thread58130.htmlスパムFAQを読んだり、 forum.antichat.ru / thread72829.htmlの関心のある質問に対する多少の容認できる回答を得ることができます。



実際、技術進歩の過程でのメール送信も変更されました-スパマー自身による直接メール送信からユーザーのコンピューターのハッキングと特殊なボットネットの作成（http://www.viruslist.com/en/spam/info?chapter=156608519）



最近、スパムがフォーラムやブログでIMによって拡散されています。 たとえば、 www.xakep.ruには、「Microsoftが最もスパム耐性のあるプロバイダーのリストで5位にランクされています」というタイトルのメモがあります。



クラスメートとの例。 個人的に、クラスメートからメッセージを受け取りました。

こんにちは、助けてください、アカウントにはお金がありません（投票してください。テキスト「XX 222761」（費用10ルーブル）でSMSを3649に送信してください





さまざまなメディアに加えて、スパマーは驚くべき富を示しています。

メッセージの形の空想-メッセージを写真に送信することから、自動フィルターの動作を混乱させるためのテキストの乱雑化まで。

スパムの問題

スパムによる主な種類の害（http://beskov.ru/2006/05/16/spam-harm/）。



1.ネットワークチャネルの負荷-最新のデータによると、約80％

インターネットで送信される電子メールはスパムとウイルスです。 増加した負荷

失敗のリスクと、意図的に不必要な転送のリスクが増加する

データ。

2.メールサーバーのスペースの詰まり-多くの場合、スパムを検出して削除できますが、これは常に発生するとは限りません。

3.スパムフィルタリングに関与するメールサーバーの計算能力の負荷。

4.サーバーを構成し、スパムをクリーンアップし、スパム対策フィルターを構成するためのサービス担当者のコスト。 （労働時間の損失）

5.ユーザーのマシンのスペースの詰まり-ユーザーがクライアントプログラムを使用してメールを収集すると、多くの場合、スパムがマシンに直接届き、削除されるまでそこに保存されます。

6.メールボックスからスパムを表示および削除するユーザーのコスト。



特に、2008年9月15〜21日の期間、 www.spamtest.ru / document.html？context = 15946＆pubid = 208050461のスパムは80.5％でした



さらに、スパムの道徳的な側面を忘れないでください。 3分の1

メールボックス内の手紙はスパムであり、少なくともユーザーの気分を低下させるため、心理にとって憂鬱になる可能性があります。 不十分に機能するフィルターはそれらを強制します

定期的にメールボックスから漏れたスパムメッセージを除去し、

迷惑メールで誤検知を確認します。



ロシアの場合、すべてのスパム被害者の合計被害額は年間2億ドルを超えており、最も控えめな推定によると、スパム企業の収入は数件に上る可能性があります。

年間百万ドル。

スパムの戦い

スパムに抵抗するには？ これまでのところ、進歩的な人類は非常に思いついていません

多くの方法。 スパムを「処理する」方法により、それらはブロックとフィルタリングに分けられます。 ブロックとは、ブロックされたホストからのメッセージを無視することを意味します。 フィルタリングは、コンテンツを分析した後、スパムの定義に該当するメッセージを無視します（つまり、受信者はメッセージの一部を引き続き受け入れる必要があります）。



構成の方法によって、メソッドは条件付きでローカルと分散に分割できます。 分散メソッドを使用すると、「他人の間違いから学ぶ」ことができます。



スパムに対抗するあらゆる方法は、これらの方法を評価および比較する多くの特性によって区別できます。



-効率。 最も重要なパラメーター。 パーセンテージで表されます。 正しく識別され、ユーザーから隠されているスパムメッセージの割合として決定されます。 この値を100から引き離すと、「偽陰性」応答と呼ばれるパラメーター、つまりユーザーに届くスパムメッセージの割合を取得します。

-誤検知。 スパムまたはユーザーに到達しないと定義された「クリーン」な電子メール。

-ネットワークチャネルへの影響（この方法がスパムメッセージの数を減らすことで負荷を軽減できる限り）。



したがって、スパムと戦う主な方法を簡単にリストしてください。 ブロックには次のものが含まれます。



ブラックリスト。 トラフィックの問題を根本的に解決し、約半分に削減されることがわかりました。 ただし、この方法の有効性は理想とはほど遠いです-フィルタがスパムの約50％を削除する場合、削除される実際のメッセージの割合は約30％です。 それは正直な会社に害を与えます。



他の極端な場合、 ホワイトリストは他のすべてのメールを無視します。 トラフィックの問題は解決しません。 効率100％:)残念ながら、誤検出コンポーネントもこの制限に取り組んでいます。



ブラックリストの進化の次のステップとして、 グレーリストもあります。

グレーリスト方式は、スパムを送信するように設計されたソフトウェアの「動作」が通常のメールサーバーの動作と異なるという事実に基づいています。つまり、スパマーは、SMTPプロトコルで必要な一時エラーが発生したときにメッセージを再送信しようとしません。 より正確には、保護をバイパスしようとして、後続の試行で、異なるリレー、異なる返信アドレスなどを使用するため、これは異なる文字を送信する試みとして受信側に見えます。 www.redcom.ru/isp/ispNews/netNews/ni1170203597

誤検知のレベルは数パーセントに低下し、非常に良好です。



以下にリストされているすべてのメソッドはフィルタリングされます。



公式には、メソッドの次のグループは名前を受け取りませんでした。 そのような方法は、手紙がスパムであるかどうかの質問に、間接的な標識によって、手紙のふるまいによって答えます。



そのような品種があります：



予防接種 ：サーバーは、スパムであると報告できるユーザー（たとえば、電子メールクライアントのインターフェイスのボタンをクリックするなど）のみに電子メールをすぐに配信します。 サーバーはメインフィルターを「トレーニング」し、有害な電子メールは配信の第2波に該当しません。 「投票」メソッドとも呼ばれます。



トラップ（ハニーポット） ちなみに、この方法（初めてかどうかはわかりません）は、K。カスペル​​スキーの著書「コンピューターウイルスの研究者によるノート」で提案されました。 実際のユーザーに属さない一定数の「ランダムな」メールボックスが作成されます。 スパマーは、このアドレスをフォーラムで特別に強調表示された場所か、単にブルートフォース（abc@mosglavprodsnab.com）で見つけます。 実際のメールがそのようなメールボックスに届くことは決してないという事実に基づいて、ほぼ100％の確実性をもって、これはスパムであると言えます。 実際には- 「PC Magazineのテストでは、SkyScanサービスは96％のスパム検出率と0.48％の誤検知率を示しました」（http://www.lexa.ru/articles/distributed-antispam-2.html）



チェックサム方式。 メールシステムを通過するすべてのメールがスキャンされ、手紙のチェックサムが中央サーバーに送信されます。 同じチェックサムを持つ文字のフローが特定のしきい値を超える場合、サーバーはこれをスパムの兆候と見なし、リクエストに応じてメールサーバーに喜んで通知します。



ところで、これらの方法はすべて、分散アーキテクチャを使用している場合にのみ効果を発揮します。 特に、SpamorezはRazorやDCCなどのサービスを使用して、文字の質量を決定します。



このようなシステムに対抗する主な方法は、「ランダム化」です-オリジナルのコピーを送信します。それぞれのコピーは非常にわずかに異なります-単語の順序またはセットです。 これは、コンテンツ全体からではなく、一部、ランダムに選択された単語、またはファジーテキスト比較用の多数のアルゴリズムの1つからチェックサムを計算することで、非常にうまく処理できます。



メッセージの内容に基づいたフィルタリング。



発見的方法。 コンテンツの比較に使用する一連のテンプレートが作成されます。 基本的に、これは正規表現を使用して行われます。 信じられないほどのメンテナンスコストが必要です。 効率-約70〜80％、多くの偽陰性応答。



人工知能メソッド。 今までのところ、Spam Assassinがニューラルネットワークアルゴリズムを使用して文字に評価を割り当てることしか知りません。



名前が示すように、 統計的手法は、

電子メールの言葉の感覚。 つまり、どのコンテキストでも問題ではありません

「性別」という言葉が使用されます-親密な商品の広告であろうと、「性別」の列であろうと

申込書。 これらの方法は、手紙が

スパムです。 主な計算方法はベイズ式です

（http://en.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0_%D0%91%D0%B0% D0％B9％D0％B5％D1％81％D0％B0）



ろ過の分野での基本的な仕事は、ポール・グラハムの記事「計画

スパム」（http://paulgraham.com/spam.html）、およびその継続-paulgraham.com/better.html （ほぼすべての記事

グラハムを指す「スパム」という単語が見つかりました。



一般的に、スパムを識別する必要があります

-テキストを単語に分割します（電子メールメッセージの場合、これには手紙の件名と見出しの一部の両方を含める必要があります）。 具体的には、単語はテキストを「トークン」と呼ばれる部分に分割する特殊なケースです。 たとえば、テキストを切り取るさまざまな方法によって、テキストの「ポイ捨て」に抵抗できます。

-スパムメッセージ内のトークンの発生頻度が検出されます（データベースに保存され、フィルターを「学習」するプロセスで作成されます）

-代表的なサンプルが選択されます（Grahamは最も一般的な15個を選択しました）。

-ベイズの公式により、その手紙がスパムである確率が計算されます。

-確率が特定のしきい値（80〜90％）を超える場合、メッセージは除外され、自動的にスパムフォルダーに移動します。

[式]単語Xは、スパムとしてマークされたメッセージに95％で、Yは

60％



メッセージがスパムである確率：P（SPAM）= P（X）* P（Y）/（P（X）* P（Y）-（1-P（X））*（1-P（Y） ））= 0.95 * 0.6 /（0.95 * 0.6 + 0.05 * 0.4）= 0.57 /（0.57 +

0.02）= 0.966。



単語Xは、スパムとしてマークされたメッセージに50％で、Yは

60％



メッセージがスパムである確率：P（SPAM）= P（X）* P（Y）/（P（X）* P（Y）-（1-P（X））*（1-P（Y） ））= 0.5 * 0.6 /（0.5 * 0.6 + 0.5 * 0.4）= 0.3 /（0.3 +

0.2）= 0.6

ベイズの式に加えて、 カイバドラット分布も使用されます。 それは

分布、それは放電（セグメントにのみ依存するという点でのみ良い

定義の領域）、および均一からの偏差だけでなく、

あらゆる種類の分布。 （これは私には明確ではありません。明確な説明を聞くのは素晴らしいことです）。



隠れマルコフモデル 、より複雑な方法に基づく方法

数学的な装置。 検索のヘルパーメソッドとして使用

「ほぼ」類似のテキスト。 残念ながら、それは両刃の剣です-を除いて

認識タスクはテキスト生成にうまく対応します。 スパムメッセージに加えて、生成されたメッセージは、たとえばライブログで積極的に使用されます。



統計的手法の有効性は、入力内容に大きく依存します。 たとえば、単純なアプローチでは、スペースまたは改行で区切られたすべての単語がアルゴリズムに転送され、すべてのスペースがアンダースコアに置き換えられた場合、残酷に分割されます。 または、「バイアグラ」、電話番号、「戦争と平和」の3ページのテキストを小さな活字で書きます。



テキストを部分に「カット」すること（「トークン」と呼ばれます）はさまざまな方法で行うことができますが、共通する部分が1つあります。テキストは単語の組み合わせである部分に「カット」されます。 たとえば、OSB（Orthogonal Sparse Bigram）アルゴリズムは「あなたは未来のインターネットです」というフレーズをカットします。

-あなたはオンラインです*

-あなた*未来の

-*未来のインターネット。

分類子の比較については、 www.esi.uem.es / 〜jmgomez / papers / sigir07.pdfで少し読むことができます。 また、テキストを分類するタスクに専念するプロジェクトについて学ぶことも役立ちます-CRM114-crm114.sourceforge.net/wiki/doku.php?id=documents

次は？

欠点を取り除くために、すべての方法を最大限に活用する必要があります。 つまり、たとえば、予防接種と自動ろ過を組み合わせます。



分類問題自体の観点から、2つの垂直軸に沿って開発を区別できます。 一方で、これはハードウェアベースと計算の高速化の改善であり、これにより、既存のフィルターのセットにすばやく文字を渡し、それに応じて応答できるようになります。

一方、これはアルゴリズム自体の開発です。 たとえば、OSB分類器を含む通常のベイジアンフィルターは、フィルターの効率を数倍向上させます。

おわりに

スパムは機能するため、根絶できません。 そして彼は働いているので、これは新しい方法の発明を奨励しています。 特効薬はありません。 しかし、バランスは一方向または他の方向に変動します。 私たちはまだ彼をサポートする必要があります...