猫の差別：目に見えない画像によるWebトラッキング

ターゲット広告が表示される原理について考えたことはありますか？ サーフィン中に何も好きではないのに、Facebookに戻ったときに、訪問したサイトに関連する広告が表示されるのはなぜですか？ そして、ユーザーの追跡に関心があるのは誰ですか？ トレーニングプロジェクトの一環として、ウェブサイトへのアクセスを追跡している企業と、あまり注目を集めずにこれを行うために使用している企業を見つける必要がありました。

なぜ差別

インターネット上のユーザーの差別とはどういう意味ですか？ これは、カタログを表示するために使用されるデバイスに応じて、オンラインストアの商品の価格が変わるときです。 インターネットで過ごす時間に関するデータがサードパーティ企業に送信されていることを示しているため、不眠症の広告がサイトに表示されると、プライバシー違反が始まります。

Webビーコンとは

Webビーコン（英語版の「Webビーコン」、または「1x1ピクセルイメージ」）は、ページに埋め込まれ、ユーザーアクションの追跡に使用される小さなまたは透明な画像です。







このような不可視のビーコンは、Web分析だけでなく、ソーシャルグラフを構築するために、サードパーティのサイトに販売するために集約された情報を収集するためにも使用できます。 Webビーコンを使用する別の方法は、電子メールが読み取られたことを確認することです。 送信者は、特定のリンクから写真が要求されるとすぐにこのことを確認します。受信者は、それが手紙の本文にあることに気付かない場合があります。

データ収集と統計

初期データとして、上位800ドメイン（ ALEXAによる）からの写真（静的および動的にロードされたもの）へのリンクを持ついくつかのJSONファイルがありました。 これらのファイルを解析し、リンクをたどり、写真をアップロードし、それらに関する情報をSQLiteデータベースに保存するスクリプトを開発することは残っていました。







これらのJSONファイルには、ファーストパーティ（写真はそれらへのリンクが投稿されているのと同じサイトにあります）とサードパーティ（写真はサードパーティのサイトに保存されています）の両方の写真へのリンクが含まれています。 そして、最初のケースでビーコンを完全に無害な目的で使用できる場合（サイト内のWeb分析）、2番目のケースでは複数の関係者が関与します。これはクロスサイトトラッキングです。 後者のケースに興味があったので、トップレベルドメインを抽出するためにtldライブラリを使用しました。



このスクリプトは、各リクエストの前にすべてのCookieがクリアされたかのように機能するため、サーバーへの最初のリクエストでは、Cookiesフィールドは空です。 サーバーからの応答に設定済みのcookieフィールドが含まれている場合、この値はデータベースに入力されます。



ビーコンを計算する方法は2つあります。サイズの確認とHTTPコンテンツサイズヘッダーのフィールドの確認です。 ただし、リクエストに対するすべての応答にコンテンツの長さとコンテンツタイプのフィールドが含まれているわけではありません。これらはオプションであり、誤ったデータが含まれている可能性があるためです。 画像はPNG形式であるため、サイズが1x1でコンテンツの長さが100を超えるパケットで返されるビーコンもあります。 したがって、プロットするとき、コンテンツの長さの値を考慮しませんでした。



回答に画像が含まれていない場合はどうなりますか？ サーバーが204のステータスを返すことがあります。これは、コンテンツがないことを意味しますが、それにもかかわらず、リンクの通過は固定されています。 そのため、ステータスが204で、HTTPヘッダーのコンテンツタイプに「image /」が含まれている場合、スクリプトはそれがWebビーコンであると想定し、データベースにwidth = 0およびheight = 0の値を入れます。



合計8 586 314の写真へのリンクがチェックされ、データベースには5 873 372のサードパーティの写真のデータが含まれ、そのうち2 431 277のビーコン（サードパーティの写真の数の41％はWebビーコンです！）

さらにいくつかの統計

image_domainsテーブルには、画像プロバイダーに関する情報が格納されます（つまり、これらは画像へのリンクがある上位800サイトではなく、これらの画像を直接格納するサーバーです）。



ドメインの数：800

少なくとも1つのビーコンが満たされたドメインの数：760

ページ数：124,214

少なくとも1つの灯台が出会ったページ数：111,442

画像プロバイダーの数：4,348

ビーコン画像プロバイダーの数：1,325



また、単一のビーコンが満たされていないドメインが40個あるという事実は、それらがそれらを使用しないことを意味しません。 おそらく彼らは、リンクのスポットチェック中に見つかった非標準サイズ（1x2、3x1）のビーコンを使用しています。

ウェブ追跡市場のトッププレイヤー

それで、2,431,277灯台のベースに。 1,325個のプロバイダーのビーコンのうち、上位800個のドメインのページで最も頻繁に見つかったものを知るのは興味深いことです。

def plot1(dbname, condition): #providers of beacons - count of beacons logname = open(u'plot1'+dbname+'.csv', 'w') db = SqlConnector(dbname) output = db.execute("SELECT image_domains.domain, count(images.id) \ as imgcount FROM images INNER JOIN image_domains ON \ image_domains.id = images.id_image_domains WHERE " + condition + " group by image_domains.domain order by imgcount DESC;") for item in output: logname.write("{0};{1}\n".format(item[0], item[1])); logname.close()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここで、 条件は「幅<= 1および高さ<= 1」です。



発見された同じ灯台は異なるページにあるため、灯台の数は一意の灯台の数と等しくないことに注意してください。つまり、 画像テーブルに重複がある可能性があります（ URLフィールドは一意ではありません）。



x軸はビーコンプロバイダー、y軸はビーコンの数です。







次に、ビーコンプロバイダーによって追跡される上位800ドメインのページ数を見てみましょう。 つまり、これらの各ページに少なくとも1つの灯台があります。

 SELECT image_domains.domain, count(distinct images.id_pages) as pagescount FROM images INNER JOIN image_domains ON image_domains.id = images.id_image_domains WHERE width<=1 and height<=1 group by image_domains.domain order by pagescount DESC;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

x軸はビーコンプロバイダー、y軸はページ数です。







そして、以下では、ビーコンプロバイダーによって追跡される一意のドメイン（同じ上位800）の数を示す最も興味深いグラフが表示されます。つまり、各ドメインには、少なくとも1つのビーコンを持つ少なくとも1つのページがあります。

 SELECT image_domains.domain, count(distinct pages.id_domains) as domainscount FROM images INNER JOIN image_domains ON image_domains.id = images.id_image_domains INNER JOIN pages ON images.id_pages = pages.id WHERE width<=1 and height<=1 group by image_domains.domain order by domainscount DESC;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

x軸はビーコンプロバイダー、y軸はドメインの数です。







最後のグラフは、主にプロバイダーが「ウェブ分析」と「広告」のカテゴリーに分類されることを示しています。 しかし、Google検索エンジンやソーシャルネットワークのFacebookやTwitterからのビーコンがあるのは興味深いことです。 これらのプロバイダーは、ユーザーが許可されている場合、そのような追跡は匿名ではないため、最も興味深いものです。

FacebookとGoogleの例で目に見えない追跡写真

Facebookピクセル

Facebookピクセルはクロス分析に使用されます。 各Facebookユーザーは、 Adverts Managerで独自のビーコンを無料で作成できます。 原則として、Facebookにはさまざまなサイトのユーザーの訪問に関するデータを受け取り、それらをターゲット広告に使用できるという利点があるため、これが無料である理由は理解できます。



合計で751の一意のFacebookピクセルがデータベースで検出され、インターネット上の59,023ページで検出されました。



次の実験では、これがどのように機能するかを示します。 Facebookピクセルを使用してテストhtmlページを作成するか、それが存在するサイトを見つけることができます。 次に、開始する前にブラウザの設定に移動し、保存されているすべてのCookieを削除する必要があります。 また、ブラウザの設定でサードパーティCookieの保存と送信を許可する必要があります。



ユーザーがFacebookにログインしていない場合、Send-CookieヘッダーでFacebookピクセルに送信されるのは、「fr」フィールド（明らかにユーザーの場所）だけです。







この場合、ユーザーのプライバシーを侵害しない匿名の統計が収集されます。 しかし、ユーザーがFacebookにログインしている場合はどうなりますか？ この場合、ユーザーを識別する値が送信されます。







Facebookはユーザーがどのサードパーティのサイトを訪問したかを知っていることがわかりますが、もちろんこれに同意します（ FacebookのCookieポリシーを参照）。

Googleビーコン

Googleは、サービスで許可されたユーザーを追跡することもできます。 スクリーンショットでは、Googleのビーコンに出会った大手ディスカウンターの1つでサーフィンを見ることができます。 Gmailでの承認後、ユーザーID「SID」、「HSID」、「SSID」、「APISID」、「SAPISID」の送信が開始されたため、サーフィンは匿名でなくなりました。



Gmailにログインする前に：







Gmailにログインした後：

自分を守る方法

誰もが自分を守るかどうかを決めるかどうかにかかわらず、彼は私が知らないうちに私が訪問するサイトに関する情報を第三者に販売したくないと考えています（Cookieの同期、Cookieのマッチングを参照）。 保護手段があるかどうかを検討してください。

クッキーを毎回きれいにする

新しいセッションごとに、トラッカーから新しい識別子を受け取ることでCookieをクリアできます。 ただし、前のセクションで示したように、次のタブ（Facebookなど）で承認されている場合、これは役に立ちません。 さらに、Cookieをクリアしたホストを再識別できる指紋技術が一般的になりました。 「永遠のCookie」のようなものもあります。これらは、ユーザーの識別子を再計算することにより、トラックを隠そうとするユーザーの試みを妨げる技術です。 これは、HTML 5 LocalStorage、Flash LSO、EtagsキャッシュおよびフィンガープリントでCookieを複製することにより実現されます。 ブラウザー間のユーザーフィンガープリントに関する最近の研究により、ブラウザーのユーザー認証技術は引き続き改善されています。

JavaScriptブロック

JavaScriptサポートを無効にすることは、データを収集するためにAPIアクセスを必要とするトラッカーに対して効果的ですが、トラッカーがHTMLリダイレクトを使用し、HTTPヘッダーを介して単にCookieを設定する場合は役に立ちません。 さらに、Webビーコンはスクリプトなしで簡単にダウンロードできます。 たとえば、Facebookピクセルでの実装方法は次のとおりです。

 <script> !function(f,b,e,v,n,t,s){if(f.fbq)return;n=f.fbq=function(){n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments)};if(!f._fbq)f._fbq=n; n.push=n;n.loaded=!0;n.version='2.0';n.queue=[];t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)[0];s.parentNode.insertBefore(t,s)}(window, document,'script','https://connect.facebook.net/en_US/fbevents.js'); fbq('init', '777', {em: 'insert_email_variable,'}); fbq('track', 'PageView'); </script> <noscript><img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=777&ev=PageView&noscript=1" /></noscript>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

追跡しない

DNTは、WebサイトのユーザートラッキングをバイパスできるHTTPヘッダーです。 しかし実際には、「追跡しない」リクエストが許可されるという保証はありません。 さらに、このフラグは、ブラウザーをより正確に識別するための指紋技術の多くのパラメーターの1つとしても使用されます...

サードパーティのCookieをブロックする

幸いなことに、ブラウザにはサードパーティのCookieをブロックするオプションがあります。 デフォルトでは無効になっていますが、設定の腸内に隠れています。 最も見つけにくいのはChromeでした。



設定/詳細設定を表示... /コンテンツ設定/サードパーティのCookieとサイトデータをブロックで無効にできます 。



Firefoxの場合： オプション/プライバシー/履歴のカスタム設定を使用する/サードパーティのCookieを受け入れる：しない。

Safariの場合： 設定/ CookieとWebサイトデータ/現在のWebサイトからのみ許可

Operaの場合： 設定/ Cookie /サードパーティのCookieとサイトデータをブロックする



このオプションを有効にして以前の実験を繰り返すと、サードパーティのサイト（それぞれFacebookとGoogle）からのCookieが受け入れられ送信されないことがわかります。 これで落ち着くことができるように思えますが、識別子が別の場所に保存されている場合はどうでしょうか（「永遠のCookie」を思い出してください）。 次に、Facebookでの承認後、識別子を標準のCookieに保存するだけでなく、ローカルブラウザーストレージに複製し、別のサイトからWebビーコンのダウンロードを担当するコードがこれらの識別子を取得してユーザーに関連付けることができます。 Javascriptを無効にするとここで役立ちます...

結論

目に見えない画像を介したWebトラッキングは非常に広範囲に行われていることがわかりました。 ビーコンは、ユーザーには見えませんが、非標準サイズ（1x5など）で、さまざまな形式にすることができます。 また、最新のブラウザーにはサードパーティのCookieの送信と保存をブロックする機能がありますが、デフォルトではこのオプションは無効になっており、万能薬ではありません：Webテクノロジーの開発により、これはサービスがユーザーIDを保存するために他の方法を普遍的に使用することを恐れている可能性があります。



そして、あなたが猫であることをインターネット上の誰も知らなかったなら、今、これはそうではありません。