サイトから偽のトラフィックを削除する方法

Google Analyticsによって収集されたデータを分析して、サイトのトラフィックが急増していることに非常に頻繁に気付きます。 これは、リソースへの関心として認識されます。 そしてもちろん、出席者のこのような増加は喜ばしいことです。



しかし、これは常に喜びの原因ではありません。 後で、この参照トラフィックのほとんどがスパマーから送信されたことを発見しました。 スパムは最近大きな問題になっています。



参照スパムは、サイトがスパムボットから偽のトラフィック指示を受け取ったときに発生します。 このトラフィックの偽造は、Googleアナリティクスによって記録されます。 Analyticsでスパムソースから受信したトラフィックに気づいた場合、統計からこのデータを削除するために特定のアクションを実行する必要があります。

ボットとは何ですか？

ボットは通常、最大の速度と精度で反復タスクを実行することをタスクとするプログラムと呼ばれます。



ボットの従来の使用例は、検索エンジンによって定期的に実行されるインターネットリソースのコンテンツのWebインデックス作成です。 しかし、ボットは悪意のある目的にも使用できます。 たとえば、次の場合：

• クリック詐欺;
• 電子メールアドレスの蓄積;
• Webサイトのコンテンツ転送
• マルウェアの配布。
• 人工的にリソーストラフィックを増大させます。

ボットが使用されているタスクを分析することにより、それらを安全と危険に分けることができます。



危険で安全なボット



優れたボットの例はGooglebotで、Googleはこれを使用してインターネット上のWebページをクロールし、インデックスを作成します。



ほとんどのボット（安全または危険）はJavaScriptスクリプトを実行しませんが、一部のボットは実行します。



Javascriptスクリプト（Googleアナリティクスコードなど）を実行する検索ボットは、Googleアナリティクスレポートに表示され、トラフィックインジケーター（直接トラフィック、参照トラフィック）およびセッション（直帰率、コンバージョン率など）に基づくその他のメトリックデータを歪めます。



JavaScriptを実行しない検索ボット（Googlebotなど）は、上記のデータを歪めません。 ただし、訪問はサーバーログに記録されます。 また、サーバーリソースを消費し、スループットを低下させ、サイトの読み込み速度に悪影響を及ぼす可能性があります。



安全なボットは、危険なボットとは異なり、robots.txtディレクティブに従います。 偽のユーザーアカウントを作成し、スパムを送信し、電子メールアドレスを収集し、CAPTCHAをバイパスできます。



危険なボットは、検出を複雑にするさまざまな方法を使用します。 これらは、通常のサイトからのトラフィックだけでなく、Webブラウザー（Chrome、Internet Explorerなど）に影響を与える可能性があります。



Googleデータが歪む可能性のある危険なボットとそうでないボットを確実に言うことは不可能です。 したがって、すべての危険なボットをデータの整合性に対する脅威と見なすことは価値があります。



スパムボット



名前が示すように、これらのボットの主なタスクはスパムです。 彼らは毎日大量のWebリソースにアクセスし、偽のリファラーヘッダーを持つサイトにHTTPリクエストを送信します。 これにより、ボットとしての検出を回避できます。



偽造リファラーヘッダーには、スパマーがバックリンクを促進または受信したいWebサイトアドレスが含まれています。



サイトが偽のリファラーヘッダーを持つスパムボットからHTTPリクエストを受信すると、すぐにサーバーログに記録されます。 サーバーログにパブリックアクセスがある場合は、Googleによってクロールおよびインデックス登録できます。 システムは、サーバーログ内のリファラー値をバックリンクとして処理します。これは、最終的にスパマーが宣伝するWebサイトのランキングに影響します。



最近、Googleのインデックスアルゴリズムは、ログのデータを考慮しないように設計されています。 これにより、このようなボットの作成者の努力が不要になります。



JavaScriptスクリプトを実行できるスパムボットは、Googleアナリティクスで使用されるフィルタリングメソッドをバイパスできます。 この機能により、このトラフィックはGoogleの分析レポートに反映されます。



ボットネット



スパムボットがボットネット（ローカルまたは世界中にある感染したコンピューターのネットワーク）を使用する場合、数百の異なるIPアドレスを使用してWebサイトにアクセスできます。 この場合、IPアドレスのブラックリストまたはレート制限 （送信または受信されるトラフィックのレート）はほとんど役に立ちません。



スパムボットがサイトへのトラフィックを歪める能力は、スパムボットを使用するボットネットのサイズに正比例します。



異なるIPアドレスを持つ大規模なボットネットを使用すると、スパムボットはファイアウォールやその他の従来のセキュリティメカニズムによってブロックされることなくWebサイトにアクセスできます。



すべてのスパムボットがリファラーヘッダーを送信するわけではありません。



この場合、このようなボットからのトラフィックは、Googleアナリティクスレポートの参照トラフィックのソースとして表示されません。 直接のトラフィックのように見えるため、検出がさらに難しくなります。 つまり、リファラーが送信されない場合は常に、このトラフィックはGoogleアナリティクスで直接処理されます。



Spambotは、多数の偽のリファラーヘッダーを作成できます。



1つのリファラーソースをブロックした場合、スパムボットは別の偽物をサイトに送信します。 したがって、Google Analyticsまたは.htaccessのスパムフィルターは、サイトがスパムボットから完全にブロックされることを保証しません。



これで、すべてのスパムボットが危険なわけではないことがわかりました。 しかし、それらのいくつかは本当に危険です。



非常に危険なスパムボット



本当に危険なスパムボットの目標は、Webリソースのトラフィックを歪めたり、コンテンツをクリアしたり、電子メールアドレスを受信したりすることだけではありません。 彼らの目標は、他の人のコンピューターにマルウェアを感染させ、マシンをボットネットの一部にすることです。



コンピューターがボットネットのネットワークに統合されるとすぐに、インターネット上の他のコンピューターにスパム、ウイルス、その他の悪意のあるプログラムを送信するために使用され始めます。



ボットネットの一部でありながら、世界中に実在の人々が使用しているコンピューターは数百、数千あります。



お使いのコンピューターがボットネットの一部である可能性は高いですが、あなたはそれについて知りません。



ボットネットをブロックすることにした場合、ほとんどの場合、実際のユーザーからのトラフィックをブロックしています。



紹介トラフィックレポートから疑わしいサイトにアクセスするとすぐに、マシンがマルウェアに感染する可能性があります。



したがって、適切な保護（コンピューターにインストールされているウイルス対策プログラム）がない分析レポートから疑わしいサイトにアクセスしないでください。 そのようなサイトを訪問するために、特に別のマシンを使用することが望ましいです。 または、システム管理者に連絡してこの問題に対処することもできます。



スマートスパムボット



一部のスパムボット（darodar.comなど）は、サイトにアクセスしなくても人工的なトラフィックを送信できます。 これを行うには、ウェブプロパティIDを使用して、GoogleアナリティクストラッキングコードからのHTTPリクエストを再生します。 偽のトラフィックだけでなく、偽のリファラーも送信できます。 たとえば、bbc.co.uk。 BBCは正当なサイトであるため、レポートにこのリファラーが表示されている場合、評判の良いサイトからのトラフィックが偽物であるとは思わないでしょう。 実際、誰もあなたのサイトをBBCで訪れたことはありません。



これらのスマートで危険なボットは、Webサイトにアクセスしたり、JavaScriptを実行したりする必要はありません。 実際にサイトにアクセスするわけではないため、これらのアクセスはサーバーログに記録されません。



また、訪問はサーバーのログに記録されないため、何らかの手段（IP、ユーザー、紹介トラフィックなどのブロック）で訪問をブロックすることはできません。



スマートスパムボットは、サイトをクロールしてウェブプロパティ識別子を探します。 Googleタグマネージャーを使用しないユーザーは、ウェブページにGoogleアナリティクストラッキングコードを残します。



Googleアナリティクスのトラッキングコードには、ウェブプロパティIDが含まれています。 識別子は、スマートスパムボットによって盗まれ、他のボットが使用するために転送できます。 Webリソース識別子を盗んだボットと人為的なトラフィックを送信するボットが同じ「顔」であることを保証する人はいません。



この問題は、Googleタグマネージャー（GTM）を使用して解決できます。



GTMを使用して、サイトのGoogleアナリティクスを追跡します。 WebリソースのIDが既に借用されている場合、この問題を解決するのはおそらく遅すぎます。 今できることは、異なるIDを使用するか、Googleからの解決策を待つことだけです。



すべてのサイトがスパムボットによって攻撃されるわけではありません。



当初、スパムボットのタスクは、Webリソースの脆弱性を検出して悪用することです。 弱く保護されたサイトを攻撃します。 したがって、カスタムCMSをホストまたは使用する「予算」にページを配置すると、攻撃される可能性が高くなります。



危険なボットによる攻撃に頻繁に襲われるサイトは、Webホスティングを変更するだけでよい場合があります。 この簡単な方法は本当に役立ちます。

スパムの発信元を見つけるには、以下の手順に従ってください。

1）Googleアナリティクスアカウントの参照トラフィックレポートに移動し、拒否の割合で降順にレポートを並べ替えます。







2）直帰率が100％または0％のリファラーと、10セッション以上のリファラーを確認します。 おそらく、これらはスパマーです。



3）疑わしいリファラーのいずれかが以下にリストされているサイトのリストに属している場合、これは参照スパムです。 自分で確認することはできません。

buttons-for-website.com

7makemoneyonline.com

ilovevitaly.ru

resellerclub.com

vodkoved.ru

cenokos.ru

76brighton.co.uk

sharebutton.net

  <em> simple-share-buttons.com </ em> 

  <em> forum20.smailik.org </ em> 

  <em> social-buttons.com </ em> 

  <em> forum.topic39398713.darodar.com </ em> 

スパム送信元の完全なリストは、 ここからダウンロードできます 。



4）疑わしいリファラーの身元を確認できなかった場合は、リスクを冒して疑わしいWebサイトにアクセスしてください。 おそらく、これは確かに通常のリソースです。 これらの疑わしいリソースにアクセスする前に、ウイルス対策ソフトウェアがあることを確認してください。 あなたが彼らのページに行くとき、彼らはあなたのコンピューターに感染することができます。



5）危険なボットの身元を確認した後、次のステップはそれらが再びサイトにアクセスするのをブロックすることです。

サイトをスパムボットから制限するにはどうすればよいですか？

チャートに注釈を作成し、 トラフィックの異常な急増の原因を説明 する メモを 書き ます 。 分析中にアカウントからこのトラフィックを破棄することが可能になります。











Spambotの機能を使用して紹介スパムをブロックします 。 .htaccessファイル（またはIISを使用している場合はWeb構成）に次のコードを追加します。

RewriteEngine On Options +FollowSymlinks RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*buttons-for-website\.com\ [NC,OR] RewriteRule .* – [F]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコードは、buttons-for-website.comサブドメインを含む、buttons-for-website.comからのすべてのHTTPおよびHTTPS方向をブロックします。



スパムボットが使用するIPアドレスをブロックします 。 .htaccessファイルを取得し、以下に示すコードで完了します。



Rewriteengine on

オプション+ FollowSymlinks

注文拒否、許可

234.45.12.33から拒否



注 ：コードを.htaccessにコピーする必要はありません-スキームは機能しません。 .htaccessファイルでIPブロッキングを提供する例を次に示します。



スパムボットは異なるIPアドレスを使用できます。 サイトで利用可能なスパムボットのIPアドレスのリストを体系的に補充します。



サイトに影響するIPアドレスのみをブロックします。



既知の各IPアドレスをブロックしようとしても意味がありません。 .htaccessファイルは非常に面倒になります。 管理が難しくなり、Webサーバーのパフォーマンスが低下します。



在庫ブラックリストIPアドレスの数が急速に増加していることに気付きましたか？ セキュリティ問題の明確な兆候があります。 Webホスティング担当者またはシステム管理者に連絡してください。 Googleを使用して、IPアドレスをブロックするためのブラックリストを見つけます。 有害性が疑いのないIPアドレスを個別に検索してブロックできるスクリプトを作成することにより、この作業を自動化します。



スパムボットが使用するIPアドレスの範囲をブロックする機能を活用してください 。 特定の範囲のIPアドレスがスパムボットによって使用されていることが確実な場合、以下に示すように、1回の移動で一度に多数のIPアドレスをブロックできます。



Rewriteengine on

オプション + FollowSymlinks

76.149.24.0/24 からの 拒否

すべてから許可

ここで、76.149.24.0 / 24はCIDR範囲です（CIDRはアドレス範囲を表すために使用される方法です）。



CIDRブロッキングを使用すると、最小のサーバースペースを占有できるため、特定のIPアドレスをブロックするよりも効率的です。



注： CIDRで多数のIPアドレスを非表示にしたり、逆にこのツールを使用してIPアドレスを開いたりできます： www.ipaddressguide.com/cidr



スパムボットを使用して禁止ユーザーをブロックします 。 サーバーログファイルを毎週分析し、スパムボットを使用するユーザーの悪意のあるエージェントを検出してブロックします。 ブロックした後は、Webリソースにアクセスできなくなります。 これを行う機能を以下に示します。

Rewriteengine on

オプション+ FollowSymlinks

RewriteCond％{HTTP_USER_AGENT} Baiduspider [NC]

RewriteRule。*-[F、L]

Google検索ボックスを使用すると、既知の禁止されているユーザーエージェントの記録をサポートするリソースの印象的なリストを取得できます。 情報を使用して、サイト上のこれらのユーザーエージェントを識別します。



最も簡単な方法は、プロセス全体を自動化するスクリプトを作成することです。 既知のすべての禁止ユーザーエージェントでデータベースを作成します。 データベースからのデータに依存して、自動的にそれらを識別してブロックするスクリプトを使用します。 新しい禁止されたユーザーエージェントでデータベースを定期的に補充します-それらはうらやましい不変で表示されます。



リソースに実際に影響するユーザーエージェントのみをブロックします。 すべての既知のIPアドレスをブロックしようとするのは無意味です。これにより、.htaccessファイルが大きくなりすぎ、管理が困難になります。 サーバーのパフォーマンスも低下します。



Googleアナリティクスで利用可能な「ボットフィルタリング」フィルタリング-「既知のボットおよびスパイダーからのヒットを除外する」を使用します。







サーバーログを少なくとも毎週監視します 。 危険なボットとの戦いを始めることは、サーバーレベルで現実的です。 スパムボットがリソースにアクセスすることを「阻止」することはできませんが、Googleの分析レポートからそれらを除外しないでください。



ファイアウォールを使用します。 ファイアウォールは、コンピューター（サーバー）と仮想空間の間の信頼できるフィルターになります。 危険なボットからWebリソースを保護することもできます。



システム管理者から専門家の支援を受けてください 。 悪意のあるオブジェクトからのクライアントWebリソースの24時間の保護が主な仕事です。 ネットワークセキュリティの責任者は、サイトの所有者よりもボット攻撃を撃退するためのツールをはるかに多く持っています。 サイトを脅かす新しいボットを見つけた場合は、すぐにシステム管理者の発見について知らせてください。



ウェブサーフィンに Google Chrome を 使用し ます 。 ファイアウォールを使用しない場合は、Google Chromeを使用してインターネットを閲覧することをお勧めします。



Chromeは マルウェアも検出できます。 同時に、マルウェアのスキャンを忘れずに、他のブラウザよりも速くWebページを開きます。



Chromeを使用すると、コンピューターでマルウェアを「拾う」リスクが軽減されます。 Google Analyticsの紹介トラフィックのレポートから不審なリソースにアクセスした場合でも。



予期しないトラフィックの急上昇を監視するときに、カスタムアラートを使用します。 Googleアナリティクスのパーソナライズされたアラートにより、有害なボットリクエストを迅速に検出して無効化し、サイトへの有害な影響を最小限に抑えることができます。



Google Analyticsで利用可能なフィルターを使用します 。 これを行うには、[表示]列の[管理者]タブで[フィルター]を選択し、新しいフィルターを作成します。







フィルタの設定は非常に簡単です。 主なことは、それを行う方法を知ることです。







[管理者]タブの[表示設定]セクションにある[ボットフィルタリング]チェックボックスを使用できます。 痛いことはありません。







Googleアナリティクスではフィルタを簡単に使用できますが、実際に使用することはお勧めしません。







これには、次の3つの理由があります。

• 数百および数千の不良ボットが存在し、毎日膨大な数の新しいボットが出現しています。 いくつのフィルターを作成してレポートに適用する必要がありますか？

 

• 適用するフィルタが多いほど、Googleアナリティクスから受信したレポートの分析が難しくなります。

• Google Analyticsでスパムトラフィックをブロックすることは隠蔽ですが、解決策ではありません。 スパムボットによるトラフィックの歪みの程度を評価する機能が失われます。

同様に、「 紹介除外リスト 」を使用して紹介トラフィックをブロックしないでください-これは問題を解決しません。 それどころか、このトラフィックはその後直接と評価され、Webリソースのトラフィックに対するスパムの影響を監視する機能が失われます。



スパムボットがGoogleの分析サービスの統計情報を取得すると、トラフィックデータは永久に歪められます。 もう修正することはできません。

おわりに

上記の推奨事項が、サイト上のすべてのスパムの発信元を取り除くのに役立つことを願っています。 これはさまざまな方法で実行できますが、Googleアナリティクスで多くのリソースがデータを保護するのに役立つ方法を説明しました。