さまざまなスパム対策ソリューション（商用製品および無料製品）の独立したテスト

このテストの目的は、さまざまなスパム対策システムのパフォーマンスを評価することでした。 次の製品がテスト用に選択されました。

•Apache Spamassassin-SA（無料）

•Yandex Spamooborona 2.3-SO（商用）

•カスペルスキーアンチスパム3.0-KAS（商用）

•FastBL 0.7.0（無料）

•dnsblリスト：

bl.spamcop.net

cbl.abuseat.org

dnsbl.sorbs.net

dul.nsbl.sorbs.net

dul.ru

sbl-xbl.spamhaus.org

zen.spamhaus.org





DNSBLリストは、人気のある用途に選択されています。

製品ごとに個別のサーバーが割り当てられ（P4 3.0GHz HT / 1GB RAM / FreeBSD 7.2-PRERELEASE）、メールの通信がテストされました。 MTAとして、SA、SO、KASサービスを接続するためのmilterサポートでコンパイルされたsendmailが使用されました。 商用製品のテストには、開発者のWebサイトから取得した一時ライセンスが使用されました。



メールトラフィックは、2002年と2003年に登録された2つのドメインで使用されました。 これらのドメインへの1日の総トラフィックは5〜12,000文字であり、テストに十分なメールです。 これらのドメインは、主に個人的な通信、メーリングリストの購読に使用され、約10人の実際のメール受信者がいます。 これらのドメインの個人トラフィックは1日に10〜40文字の範囲であるため、テストした製品のパフォーマンスと各システムのFalse Negative係数を評価できます。 残念ながら、個人トラフィックが少ないため、False Positive係数を評価することはできませんでしたが、テストされたシステムはスパムを評価するためにテンプレートメソッドを使用し、通常のメッセージがスパムに入る確率は非常に小さいため、これは問題ではありません。



分析用のサーバー接続図は次のとおりです。





メインリレーは、すべての着信接続を受け入れ、DNSBLリストを照会し、RFCセッション（FastBL）のコンプライアンスを確認し、テストされた製品を含むサーバーにさらに文字をリダイレクトすることにより、初期分析を実行しました。 DNSBLゾーンのクエリはIPアドレスに関する情報を取得するためだけのものであり、アドレスはブロックされていなかったとすぐに言わなければなりません。 推定係数の過大評価という形で、製品の追加の「調整」なしでテストが実行されました。 「そのまま」。



テスト対象のシステムにはレターをテストするためのさまざまな方法があるため、製品は次のスキームに従って更新されました。

「Apache Spamassassin」-1日1回sa-update

カスペルスキーアンチスパム-3分ごと

Yandex Spamooborona-20分ごと



指定された時間間隔は、開発者の新しい更新および推奨の可能な頻度によって決定されます。



各製品には、電子メールコンテンツをテストする独自の機能があります。

Kaspersky Anti-Spamはオフラインテストを使用して、ローカルデータベースを定期的に更新し、さらにdnsblシートを接続します。

Yandex Spam Defenseは、オンラインテストテクノロジーを使用して、常に中央サーバーと連携し、必要に応じてローカルデータベースを更新し、dnsblシートを接続する機能も備えています。

Apache Spamassassinは、オフラインデータ処理、およびオンラインリストサービスDNSBL、Razor、Pyzor、DKIM、SPFを使用します。



SAとKASはfork（）を使用して各メッセージを処理し、SOは順番にスレッドを使用します。スレッドはメモリ消費の観点からはるかに経済的です。 同時に、SAはプリフォークされたプロセスを使用して、構成ファイルで指定された制限を超えるフィルタリングプロセスのレベルを超えることなく、必要に応じてメモリオーバーランとKASフォークの可能性を制限します。

各プロセスのおおよそのメモリ消費：

SA〜40 MB

KAS〜30 MB

SO〜90 MB



以下にコメント付きの結果表を示します。

表で使用される略語：

PS-合格（逃した文字の数）

BL-ブロック済み（スパムとして識別されたブロック済みメッセージの数）

FN-FalseNegative（良好だがスパムであると識別されたメッセージの数）

FP-FalsePositive（スパムではなく、スパムとして定義されたメッセージの数）。

日付：2009年4月2日。 カウント：10291	PS	BL	Fn	FP
スパモーボロナ	56	10235	42	0
スパマサシン	887	9406	873	0
カスペルスキーアンチスパム	277	10014	264	1
bl.spamcop.net	5107	5184	5093	0
cbl.abuseat.org	2353	7938	2339	0
dnsbl.sorbs.net	5732	4559	5718	0
dul.nsbl.sorbs.net	7773	2518	7759	0
dul.ru	10255	36	10241	0
Fastbl	89	10202	75	0
sbl-xbl.spamhaus.org	2336	7955	2322	0
zen.spamhaus.org	395	9896	381	0

テストの最初の日は、Kaspersky Antispam製品のスパム対策保護の奇妙な故障から始まりました;この点で、KASは予想よりも多くの文字を逃しました。 同じ日、ロシアのスパムに対するdnsbl-listsとSpamAssassinの個別の作業の弱点が示されました。 テスト中に、スパム文字の1つを引用する4文字をワードミキシングとともにテストサーバーに送信しました。 カスペルスキーは、コンテンツの文脈分析に関連して、DKIMが署名した有効な手紙をgmail.comからSPAMに送信しました。 一方では、メッセージの内容は確かにスパムでしたが、順番に、メッセージは[Possible Spam]ではなく[SPAM]と評価されました。 この手紙をヘッダーの内容を分析するためにシステム管理者に送信できることを考慮して、KASは1 FPを受け取りました。

日付：2009年4月3日。 カウント：6357	PS	BL	Fn	FP
スパモーボロナ	61	6296	31	0
スパマサシン	780	5579	750	0
カスペルスキーアンチスパム	65	6292	35	0
bl.spamcop.net	3455	2902	3425	0
cbl.abuseat.org	1571	4786	1541	0
dnsbl.sorbs.net	3759	2598	3729	0
dul.nsbl.sorbs.net	4801	1556	4771	0
dul.ru	6331	26	6301	0
Fastbl	77	6280	47	0
sbl-xbl.spamhaus.org	1557	4800	1527	0
zen.spamhaus.org	325	6032	295	0

テストの2日目に、SpamooboronaとKaspersky Antispamはそれぞれの立場を均等にしました。

日付：2009年4月5日。 カウント：7025	PS	BL	Fn	FP
スパモーボロナ	59	6966	39	0
スパマサシン	1291	5739	1271	0
カスペルスキーアンチスパム	29日	6996	9	0
bl.spamcop.net	4170	2855	4150	0
cbl.abuseat.org	2031	4994	2011	0
dnsbl.sorbs.net	4424	2601	4404	0
dul.nsbl.sorbs.net	5180	1845	5160	0
dul.ru	6986	39	6966	0
Fastbl	42	6983	22	0
sbl-xbl.spamhaus.org	2018年	5007	1998	0
zen.spamhaus.org	368	6657	348	0

テストの3日目と4日目（週末）に、単一メッセージの急増によりSpamooboronaの保護が少し悪化しました。 Yandex Spamooboronaからのレターのコンポーネントコンポーネントに関するデータはオンラインで処理されるため、頻繁に繰り返されないメッセージは失われる可能性があります。 Kaspersky Antispamは、オフライン評価システムの利点を示しています。

日付：2009年4月6日。 カウント：9963	PS	BL	Fn	FP
スパモーボロナ	53	9906	33	0
スパマサシン	1506	8459	1486	0
カスペルスキーアンチスパム	125	9837	105	0
bl.spamcop.net	7042	2921	7022	0
cbl.abuseat.org	2562	7401	2542	0
dnsbl.sorbs.net	6420	3543	6400	0
dul.nsbl.sorbs.net	7561	2402	7541	0
dul.ru	9907	56	9887	0
Fastbl	68	9895	48	0
sbl-xbl.spamhaus.org	2549	7414	2529	0
zen.spamhaus.org	308	9655	288	0

5日目には、Kaspersky Antispamの故障数の増加を除いて、特別な驚きは発生しませんでした。

日付：2009年4月7日。 カウント：10923	PS	BL	Fn	FP
スパモーボロナ	88	10832	48	1
スパマサシン	1418	9503	1377	0
カスペルスキーアンチスパム	190	10727	149	0
bl.spamcop.net	6405	4518	6364	0
cbl.abuseat.org	2651	8272	2610	0
dnsbl.sorbs.net	6478	4445	6437	0
dul.nsbl.sorbs.net	8237	2686	8196	0
dul.ru	10877	46	10836	0
Fastbl	103	10820	62	0
sbl-xbl.spamhaus.org	2633	8290	2592	0
zen.spamhaus.org	293	10630	252	0

6日目に、SpamooboronaはFPを押収し、subscribe.newsland.ruからの有効なメーリングリストをブロックしました。 テストの日々、かなり多数のNDRにスパムメッセージが配信されなかったという報告がありましたが、すべてのNDRはスパムとして製品によってフィルタリングされ、これに対処しませんでした。 これは事実ではありませんが。

合計 カウント：44552	PS	BL	Fn	FP
スパモーボロナ	317	44235	193	1
スパマサシン	5882	38686	5757	0
カスペルスキーアンチスパム	686	43866	562	1
bl.spamcop.net	26178	18374	26053	0
cbl.abuseat.org	11168	33384	11043	0
dnsbl.sorbs.net	26812	17740	26687	0
dul.nsbl.sorbs.net	33551	11001	33426	0
dul.ru	44353	199	44228	0
Fastbl	379	44173	254	0
sbl-xbl.spamhaus.org	11093	33459	10968	0
zen.spamhaus.org	1689	42863	1564	0

すべてのテストの最後に、文字の総量（44552文字）から125の完全に有効な文字が選択され、それに基づいてFalseNegativeおよびFalsePositiveパラメーターが計算されました。 テストの初日を除外すると、スパムを分析するときに商用製品がどのように上下するかを確認できます。 それでもSpamassassinは外国のスパムを分析するように設計されており、コンテンツの正規化がないためにメールをスキップすることがよくあります。 市販製品は、特定の種類の文字を導きます。 たとえば、「R-A-S-S.Y、L = K-I」などの単語に余分な文字を挿入するためにスパマーがよく使用する方法は、ロシア語の文字を同様のスペルの英語の文字に置き換えるだけで、正規化に対してはまったく効果がありません。その単語は依然として「メーリングリスト」に変わり、コンテキスト分析の対象となり、そのような単語ごとに文字全体に一定数のポイントが追加されます。 同様に、SpamAssassinは「医療、バイアグラ、シアリス、拡大」などの外国のスパムをかなりよく区別し、コンテキストアナラ​​イザーの「ベイズポイズニング」もフィルタリングします。



dnsbl-listsについては、意見がまちまちです。 一方で、パブリックdnsblの人気は非常に高く、スパムに対するある程度の保護を提供できます。 ただし、一方で、有効なドメインで作業している場合はまだFPがあるため、dnsblリストを万能薬として使用することはできません。 RFC（FastBL）による着信接続の検証に関しては、テスト期間中にFPは発生せず、フィルタリングレベルは商用製品に匹敵します。 しかし、それは別の話です。 :)



さて、最後に、コンテキストアナラ​​イザーがDNSBLリストとペアになった場合のイベントオプションを集計することにしました。 予想どおり、外国のApache SpamAssassin製品を使用しても、100％のスパムフィルター効率が得られました。

総数：44552	PS	BL	Fn	FP
bl.spamcop.net + so	124	44243	184	1
bl.spamcop.net + sa	125	38702	5725	0
bl.spamcop.net + kas	124	44050	377	1
cbl.abuseat.org + so	124	44266	161	1
cbl.abuseat.org + sa	125	40541	3886	0
cbl.abuseat.org + kas	124	44264	163	1
dnsbl.sorbs.net + so	124	44258	169	1
dnsbl.sorbs.net + sa	125	39832	4595	0
dnsbl.sorbs.net + kas	124	44068	359	1
dul.nsbl.sorbs.net + so	124	44247	180	1
dul.nsbl.sorbs.net + sa	125	39398	5029	0
dul.nsbl.sorbs.net + kas	124	44013	414	1
dul.ru +そう	124	44236	191	1
dul.ru + sa	125	38714	5713	0
dul.ru + kas	124	43872	555	1
Fastbl +そう	124	44413	14	1
Fastbl + sa	125	44374	53	0
FastBL + kas	124	44412	15	1
sbl-xbl.spamhaus.org + so	124	44268	159	1
sbl-xbl.spamhaus.org + sa	125	40519	3908	0
sbl-xbl.spamhaus.org + kas	124	44265	162	1
zen.spamhaus.org + so	124	44309	118	1
zen.spamhaus.org + sa	125	43747	680	0
zen.spamhaus.org + kas	124	44387	40	1

さて、スパム対策に関するこの有益な話の中で最も悲しいことについて-商用製品のセットアップとライセンスについて。

製品のほぼ完璧なコアにもかかわらず、外側のラッパーは非常に不成功で不便です。 個人的に、私はそのような計画の製品開発者からより多くのプロ意識を期待していました。

それで、いくつかの「蜂蜜の樽の中にタールのスプーン」。

どちらの製品も、リリースで使用されている製品のバージョンと同様に、セキュリティの観点から古くなったFreeBSD 6.2システムへのインストールを目的としています（compat6xでシャーマライズする必要がありました）。

カスペルスキーのアンチスパムには、配布パッケージにperl 5.6.2と特定のperlモジュールの一部が含まれています。 KAS管理コンソールは、thttpdと大麦CGIスクリプトの形式のシステムバインディングを使用します。 もちろん、見た目は美しいですが、私の意見では、仕事のスケジュールはフィルターにかけられていますが、あまり有益ではありません。 さまざまなフィルタリング方法でユーザーグループを作成する可能性があります。ホワイトリストとブラックリストがあります-ユーザーとIPアドレスの両方です。 残念ながら、管理者のWebコンソールで外部ユーザーおよびグループデータベースを使用する機能は見つかりませんでした（コンソールユーティリティのどこかに埋まっている可能性があります）。 ライセンスに関しても、完全に明確ではありません;正式には、ユーザーごとのライセンスを評価する量的単位を見つけたことがありません。 一時ライセンスでは、指定された250メガバイトの処理しきい値は、実際には250から499メガバイトの範囲です。 製品のライセンスは、購入時に取得したライセンスファイルに基づいています。 システムは、複数のライセンスの追加とインストールをサポートしています。 さて、KAS開発者に対する私の最大の「fi」は、sendmail.cf構成ファイルにmilterフィルターをインストールする方法です

みんな!!! 最初の更新中に行われたすべての変更をキャンセルするWORKING COMPILATED CONFIGを編集するのはなぜですか？

構成にフィルターを追加するためのスクリプトは、詳しく調べると、sendmail.mcを指定してフィルターを呼び出す行を挿入できる非表示フラグがありますが、このフラグは構成スクリプトMTA-config.plからは呼び出されません。

すべてのKASプロセスは、/ usr / local / ap-mailfilter3を操作するための独自のディレクトリを持つユーザーmailflt3の下で実行されます。 起動スクリプトは、/ etc / rc.confから制御されない古いサービス起動メカニズムを使用します。



Yandex Spamooboronaも驚いた。 コンフィギュレーターはDIALOGで書かれていますが、インストール中にこれをやや期待していませんでした。 コンフィギュレーターのブランチは非常に「頭が大きく」、そこに迷子になりやすいです。 ほとんどの設定は既に事前に定義されていますが、メニューのすべての項目を調べて、必要なパラメーターを設定することをお勧めします。 SOにはプレーンテキストファイル、LDAPを操作する機能があり、MySQLでも構成内のSQLコードの断片によって判断できます。 SOの作業をセットアップした後、ある人が私に尋ねました：「スパム防御がセットアップするのがひどく困難で、Yandexから直接サポートを購入していない人は誰もそれを手に入れることができないだろうというスパム対策販売者のレビューを聞きました あなたは珍しいか、誰かがどこかに横たわっています。」

実際、プレーンテキストファイルでの設定はそれほど複雑ではなく、原則として完全に透過的です。 しかし、主な構成の問題は依然としてLDAPとMySQLに関連しているように思えます。 ライセンスポリシーも珍しいです。 スパムから保護するには、システムが保護するすべての電子メールアドレスを手動または自動で登録する必要があります。 なぜなら 動的に成長するネットワークでは本当に不便です。 ユーザーごとのライセンスは、この特定のユーザーリストに基づいています。 ユーザーのリストがライセンスで指定された最大レベルを超えた場合に何が起こるかはわかりませんが、私には思えますが、これは完全に正しいわけではありません。 私の組織には、約30のドメイン、600のユーザー、および約50のグループがあります。 各ユーザーは2つのドメイン（エイリアスなど）のアドレスを持つことができるという事実にもかかわらず、私は会社の通常の運用のために事実上無制限のライセンスを購入する必要があります。 別の記事がライセンスキーです。 キーは、spam.ini（メインフィルター設定）とドメイン（保護ドメインのリスト）の2つのファイルから生成されます。 これら2つのファイルはSO Webサーバーに「手動で」送信され、Webフォームに必要な情報を入力した後、サーバーはキーを生成します。 キーはso.keyファイルに保存され、他のSO設定が配置されているディレクトリに配置されます。 また、spam.iniファイルとドメインファイルの少なくとも1ビットを修正することを禁止しています。登録手順全体を繰り返す必要があります。そうしないと、フィルターが機能しません。 初心者の管理者にとってプラスになるのは、SO設定インターフェイスのロシア化です。



SpamAssassinは大部分のメールリレーにインストールされるため、SpamAssassinの構成と動作を説明する意味はありません。



まあ、基本的に、すべてがそうです。 私が書いて言いたかったこと-書いて説明した。

もちろん、テストのバイアスについての疑いは、誰からも受け入れます。 このテストに偏りがあり、ネジを大きく締めなくても他の結果が得られると思われる場合は、関心のある製品の構成ファイルを送信してください。既存の構成と構成を含むサーバーをいくつか配置できます。結果を比較します。



PS：テストについて質問がある場合、Kaspersky Labは素晴らしいドキュメントを作成しました： www.spamtest.ru/document.html?context=15948&pubid=16638で 、テストに関するすべての推奨事項を見つけることができます。 私のテストでは、テスト時間を除き、2004年のドキュメントとまったく同じように、可能な限り正確に追跡されました。

ZZY：庭で石を捕まえる準備ができました。



ABORCHE 2009



SpamAssassinの構成：

bayes_auto_learn 1

bayes_ignore_header X-Bogosity

bayes_ignore_header X-Spam-Flag

bayes_ignore_header X-Spam-Status

loadpluginメール:: SpamAssassin ::プラグイン:: AWL

loadpluginメール:: SpamAssassin ::プラグイン:: AutoLearnThreshold

loadpluginメール:: SpamAssassin ::プラグイン:: Bayes

loadpluginメール:: SpamAssassin ::プラグイン:: BodyEval

loadpluginメール:: SpamAssassin ::プラグイン::チェック

loadpluginメール:: SpamAssassin ::プラグイン:: DKIM

loadpluginメール:: SpamAssassin ::プラグイン:: DNSEval

loadpluginメール:: SpamAssassin ::プラグイン:: HTMLEval

loadpluginメール:: SpamAssassin ::プラグイン:: HTTPSMismatch

loadpluginメール:: SpamAssassin ::プラグイン:: Hashcash

loadpluginメール:: SpamAssassin ::プラグイン:: HeaderEval

loadpluginメール:: SpamAssassin ::プラグイン:: ImageInfo

loadpluginメール:: SpamAssassin ::プラグイン:: MIMEEval

loadpluginメール:: SpamAssassin ::プラグイン:: MIMEHeader

loadpluginメール:: SpamAssassin ::プラグイン:: Pyzor

loadpluginメール:: SpamAssassin ::プラグイン:: Razor2

loadpluginメール:: SpamAssassin ::プラグイン:: RelayEval

loadpluginメール:: SpamAssassin ::プラグイン:: ReplaceTags

loadpluginメール:: SpamAssassin ::プラグイン:: Rule2XSBody

loadpluginメール:: SpamAssassin ::プラグイン:: SPF

loadpluginメール:: SpamAssassin ::プラグイン:: SpamCop

loadpluginメール:: SpamAssassin ::プラグイン:: URIDNSBL

loadpluginメール:: SpamAssassin ::プラグイン:: URIDetail

loadpluginメール:: SpamAssassin ::プラグイン:: URIEval

loadpluginメール:: SpamAssassin ::プラグイン:: VBounce

loadpluginメール:: SpamAssassin ::プラグイン:: WLBLEval

loadpluginメール:: SpamAssassin ::プラグイン:: WhiteListSubject

report_safe 0

rewrite_header Subject *****スパム*****

use_bayes 1