ホスティングスパムとの闘い。 EFA Project Free Spam /アンチウイルスフィルターのセットアップ

この記事では、約束されたように 、スパム対策の経験を共有したいと考えています。 何らかの原因が結果をもたらすことが知られています。 このフレーズは、現象のつながりの哲学的形態の1つを表しています。

私たちの理由は、ホスティングおよびVPSクライアントから発せられるスパムの苦情が繰り返されたことです。 これらがクライアントの意図的な行動であるのか、それともスパムボットの被害者であると疑っていなかったのかを常に確実に言うことはできません。 それが何であれ、問題は解決されなければなりませんでした。

彼らはスパムが好きではありません。 IPアドレスがブラックリストに追加されると、スパムはプロバイダーの表面に「ブラックスポット」を残します。これはすべてのクライアントに影響します。 ブラックリストからIPを削除することは特別な会話です。 しかし、これはコインの片側です。 IPアドレスのレピュテーションを回復できる場合、会社のレピュテーションと信頼を返すことははるかに困難です。

解決策を見つけ、Unihost構造内の不要なメールを保護および防止するための複合体を実装することにしました。 ブレーンストーミングと議論の後、彼らはスパム/ AVコミュニティが提供しなければならないものをテストし、比較し始めました。

市場には多くのオプションがあります。 ただし、高品質のソリューションの大部分は、1台のサーバーに対して1ライセンス、または送信/受信文字数に対しても料金が課せられるため、料金が高くなります。 そのため、オープンソースの中からのみ選択しました。

人気のあるオープンソースのスパム対策ソリューション

Rspamd

さまざまなサイズのシステムに適しています。 さまざまなMTA（Exim、Postfix、Sendmail、およびHarakaについてのドキュメント）に統合するか、SMTPプロキシモードで動作できます。

メッセージを評価するためのシステムは、特にさまざまな要因に基づいて、SpamAssassinと同じです：正規表現、DNSブロックリスト、ホワイト、グレー、ブラックリスト、SPF、DKIM、統計、ハッシュ（ファジーハッシュ）など-これらは作業でのみ使用されます他のアルゴリズム。

Rspamdはプラグイン拡張をサポートしています。

Apache spamassassin

SAは、ベイジアンフィルタリングテクノロジーの使用により名声を得ました。 各テストメッセージは特定のスコアを取得し、しきい値に達するとスパムに入れられます。

ほとんどすべてのメールサービスと簡単に統合できます。 プラグインとして接続する一般的なテクノロジーは、SAで利用可能です：DNSBL、SPF、DKIM、URIBL、SURBL、PSBL、Razor、RelayCountry、自動ホワイトリスト（AWL）など。

通常、インストールは複雑ではありません。 インストール後、SpamAssassinにはパラメーターの微調整とスパムメールに関するトレーニングが必要です。

ASSP

MTAの前にメッセージを受信し、スパムを分析するプラットフォーム固有のSMTPプロキシサーバー。

ホワイトおよびグレーリスト、ベイジアンフィルター、DNSBL、DNSWL、URIBL、SPF、DKIM、SRS、ウイルススキャン（ClamAVを使用）、添付ファイルのブロックまたは置換など、すべての一般的なテクノロジーがサポートされています。 暗号化されたMIMEスパムおよび画像が検出されます（Tesseractを使用）。 モジュールの助けを借りて、可能性が広がります。

プロジェクトのドキュメントは必ずしもわかりやすいものではなく、多くの場合、指示はすでに古くなっていますが、ある程度の経験があれば理解できます。

メールスキャナー

MailScannerは、フィッシングメールに対抗し、メールでウイルスやスパムをチェックするための包括的なソリューションです。 手紙の内容を分析し、メールクライアントやHTMLタグを狙った攻撃をブロックし、添付ファイル（禁止された拡張子、二重拡張子、暗号化されたアーカイブなど）をチェックし、手紙のアドレスのなりすましを制御します。

MailScannerは任意のMTAと簡単に統合でき、配信には既成の構成ファイルがあります。 彼自身の開発に加えて、彼はサードパーティのソリューションを使用できます。 SpamAssassinを使用して、スパムをチェックできます。

EFAプロジェクト

別のオープンソースプロジェクト-「eFa-project」-Email Filter Applianceがあります。 EFAは元々、VmwareまたはHyperVで実行する仮想デバイスとして設計されました。 このプログラムは、既製のパッケージMailScanner、Postfix、SpamAssasin（以下のリスト全体）を使用してスパムとウイルスを阻止します。これらはすでにインストールされ、vmで正しく動作するように構成されています。 これは、松葉杖が必要ないことを意味します-すべてが箱から出して動作します。

EFAには次のコンポーネントが含まれています。

PostfixはMTA（メール転送エージェント）として機能します-信頼性が高く、高速で、長年にわたって実証されています。

スパムフィルターのコア-MailScanner-アンチウイルスと肩を並べて全体を攻撃します。

スパムフィルター-SpamAssassin-スパムメールを定義します。 多くの評価システム、MTA、および正規表現セットが含まれています。

ClamAV -MailScannerで動作するアンチウイルス。

MailWatch -MailScannerおよびその他のアプリケーションを操作するための便利なWebインターフェイス。

コンテンツフィルター-DCC-は、手紙の本文のハッシュを特別なサーバーに送信することにより、大量メール送信を決定します。このサーバーは、受信したハッシュの数の形式で回答を提供します。 数がしきい値スコア= 6を超える場合、メッセージはスパムと見なされます。

PyzorおよびRazor-スパム検出ネットワークを使用して、SpamAssassinがスパムをより正確に認識できるようにします。

グレーリストにはSQLgreyが使用されます-受信者が受け入れることができるスパムの量を減らすことができるpostfixポリシーサービス。

ImageCeberusモジュールは画像認識に使用されます-ポルノ画像などを定義します。

プロジェクトには上記のすべての最高の機能が含まれているため、EFAを選択しました。 さらに、管理者はすでにある程度の経験があったため、EFA専用に選択しました。 インストールの説明に進みます。

EFAをインストールして構成する

彼らは、中継サーバーとして機能するクリーンなCentOS 6.8 x64を備えたVPSにインストールすることにしました。 まず、すべてのシステムユーティリティとコンポーネントをリポジトリで利用可能な最新バージョンに更新する必要があります。 これを行うには、次のコマンドを使用します。

yum -y update
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、wgetおよびscreenユーティリティがインストールされていない場合はインストールします。

 yum -y install wget screen
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後、EFAをインストールするスクリプトをダウンロードします。

 wget https://raw.githubusercontent.com/EFA/v3/master/build/prepare-build-without-ks.bash
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトに実行権限を与えます。

 chmod +x ./prepare-build-without-ks.bash
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実行画面：

 screen
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、スクリプトを実行します。

 ./prepare-build-without-ks.bash
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、Ctrl + A + Dの組み合わせを使用して画面を折りたたむことができます。

インストール後、最初のログインのデータを使用して、sshを介してサーバーに再入力する必要があります。 これは、EFAの初期化スクリプトと初期構成を実行するために必要です。

ログインすると、EFAを設定するためのいくつかの質問に答えるように求められます。

質問のリストは次のとおりです。

機能	物件
ホスト名	マシンのホスト名が示されます。
ドメイン名	マシンが属するドメイン。 ホスト名と合わせて、完全なFQDNサーバーを取得します
管理者	システム自体から電子メールを受信する管理ボックス（利用可能な更新、さまざまなレポートなど）
ポストマスターメール	MTAに関連する手紙を受け取る人の箱
IPアドレス	マシンのIPアドレス
ネットマスク	仮面
デフォルトゲートウェイ	ゲートウェイ
プライマリDNS	プライマリDNSサーバー
セカンダリDNS	セカンダリDNSサーバー
ローカルユーザー	ローカル管理者のログイン。 MailWatch Webインターフェースへのログインに使用
ローカルユーザーのパスワード	パスワード
ルートパスワード	ルートユーザーのパスワード
VMwareツール	VMwareを実行している仮想マシンにインストールされている場合にのみ表示されます。 VMwareツールをインストールする必要があります。
UTC時間	マシンがUTCタイムゾーンにある場合は、[はい]を選択します。
タイムゾーン	ここでは、UTCとは異なるタイムゾーンを選択できます
キーボードのレイアウト	システムで使用されるキーボードレイアウト
IANAコード	機械が所在する国のコードを示します。 これは、今後どのミラーから更新プログラムをダウンロードするかを決定するために必要です。
メールサーバー	個別のパラメーター。 EFAが電子メールの受信に機能する場合に使用されます。
あなたの組織名	組織の名前。 手紙の見出しに使用
自動更新	自動更新ポリシーが設定されます。 デフォルトは無効です。 この場合、自動更新は行われませんが、利用可能な更新に関する通知は管理者のメールに送信されます

このようなアンケートの後、回答のリスト全体が表示されます。 何かを変更する必要がある場合は、質問番号をダイヤルして新しいデータを入力します。 次に進む準備ができたら、「OK」と入力してEnterキーを押します。 システムは自動調整プロセスを開始します。

構成が完了すると、システムが再起動し、完全な戦闘準備が整います。

次回、ssh経由でログインすると、EFA設定メニューがすぐに表示されます。 このメニューには多くの便利なアクションがあります：

• システムの再起動/シャットダウン。
• ネットワーク設定を変更します。
• MailScannerを構成します。
• 灰色リストのオン/オフを切り替えます。
• 自動更新を有効/無効にします。
• システムを発信リレーサーバーとして構成します。
• Adminemailメールボックスを変更します。
• メールドメインの追加/削除。
• スパムフィルターの設定を変更します。
• 異常なシャットダウンによる損傷の場合のmysqlデータベースの復元。

これは、MailWatch Webインターフェイスでは編集できない主要なEFAオプションのリストです。 したがって、それらをどこで見つけるかを知っておくとよいでしょう。

手動EFAチューニング

私たちは苦労しましたが、より柔軟になりました。 EFA自体の構成は、対話型メニューではなく、構成ファイルによって決まりました。 すべてを構成するだけでなく、すべてのコンポーネントを理解し、その機能と仕組みを理解したいと考えました。

postfix設定のmain.cfファイルで最初に追加されたのはmynetworksで、そこからSMTP接続が受け入れられました。 次に、heloリクエスト、送信者、受信者に制限を設定し、特定の条件に応じてACCEPTまたはREJECTポリシーを使用してカードへのパスを示しました。 また、inet_protocolsはipv4に変更され、ipv6接続が除外されました。

次に、設定ファイル/etc/MailScanner/MailScanner.confにSpam ActionsポリシーをStoreに変更しました。 これは、メッセージがスパムとして識別された場合、隔離されることを意味します。 これは、SpamAssassinをさらにトレーニングするのに役立ちます。

これらの設定後、最初の問題が発生しました。 受信者you @ example.com、fail2ban @ example.com、root @ localhost.localdomainなどから何千ものメールが届きました。 受信者は似ていました。 また、MAILER-DAEMONから送信された、つまり実質的に送信者のいない手紙を受け取りました。

その結果、「赤いキャンバス」の中から通常の非スパム文字を見つけることができないキューが詰まっています。 Postfixカードの標準機能であるhelo_access、recipient_access、sender_accessを使用して、このような文字を拒否することにしました。 有害な受信者などが正常に拒否を開始しました。 そして、MAILER-DAEMONによって送信されたこれらの手紙は、heloリクエストによってフィルタリングされます。

回線が空になり、神経が落ち着くと、SpamAssassinの構成を開始しました。

SpamAssassinトレーニング

SpamAssassinトレーニングは、すでにスパムになっているメールに対して行われます。 これを行うには2つの方法があります。

Webインターフェイス経由

最初の方法は、MailWatch Webインターフェイスを使用することです。 各文字には、見出し、本文、ベイズアルゴリズムによる評価、およびその他の指標が表示されます。 次のようになります。

得点	マッチングルール	説明
-0.02	AWL	From：アドレスのAWLレピュテーションからの調整されたスコア
0.80	BAYES_50	ベイズのスパム確率は40〜60％です
0.90	DKIM_ADSP_NXDOMAIN	DNSにない有効な著者署名とドメインはありません
0.00	HTML_MESSAGE	メッセージに含まれるHTML
1.00	KAM_LAZY_DOMAIN_SECURITY	送信ドメインには偽造防止方法がありません
0.00	NO_DNS_FOR_FROM	エンベロープ送信者にMXまたはA DNSレコードがありません
0.79	RDNS_NONE	rDNSのないホストによって内部ネットワークに配信されます
2.00	TO_NO_BRKTS_HTML_IMG	宛先：括弧とHTMLがなく、1つの画像
0.00	WEIRD_PORT	HTTPに非標準のポート番号を使用します

レターを開いたら、「SA Learn」チェックボックスにDawを入力して、いくつかのアクションのいずれかを選択できます。

• As Ham-文字をクリーンとしてマークします（ベイジアンアルゴリズムのトレーニング）。
• スパムとして-メッセージをスパムとしてマークします（ベイジアンアルゴリズムトレーニング）。
• 忘れる-手紙をスキップする;
• スパムとして+レポート-メッセージをスパムとしてマークし、ネットワーク上でそれに関する情報を送信してスパムを検出します（カミソリ+ pyzor）。
• As Ham + Revoke-メッセージをクリーンとしてマークし、それに関する情報をネットワークに送信して、スパム（カミソリ+ pyzor）を検出します。

コンソールから

これは単純に行われます。 コマンドは次のとおりです。

 sa-learn --ham /20170224/spam/0DC5B48D4.A739D
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコマンドでは、特定の日付/ 20170224 / spam /のスパムメールアーカイブにあるID 0DC5B48D4.A739Dの文字は、クリーンな（スパムではない） bash--ham



としてマークされます。

効果的なメールフィルタリングのためだけにSpamAssassinをトレーニングすれば十分であるという意見があります。 私たちはSpamAssassinを訓練し、クリーンとスパムの両方の絶対にすべての手紙を彼に与えることにしました。 さらに、スパムメールのデータベースを見つけ、SAを断片に送信しました。

このようなトレーニングは、ベイジアンアルゴリズムをより正確に調整するのに役立ちました。 その結果、フィルタリングははるかに効率的です。 メールのトラフィックがそれほど多くないときに、最大数の文字を分析してキャプチャするために、このようなトレーニングを実施します。

SpamAssassinがフル稼働するためには、最初に約1000種類の文字を入力する必要があります。 したがって、辛抱強くトレーニングを開始してください。

---

スパムに対する完全な勝利について話すのは時期尚早です。 ただし、サーバーからのスパムの苦情の数はゼロになりました。 現時点では学習プロセスについてこれ以上詳しく説明しません。すべてのチップを公開したくありません。 ただし、設定をさらに深く掘り下げれば、それを理解することは難しくありません。

PS：この記事は万能薬ではありません。 スパムと戦うための方法の1つを共有することにしました。

すべてが良いとハムはあなたと一緒にありますように！ :)