小さな余談として、私自身について簡単に説明します。 とりわけ、私は小さな真面目な出会い系サイトでサーバーと管理の部分をしています。 サイトは小さく、もちろん、ユーザー向けのメーリングリストがあります（新しい手紙、新しいユーザー）。 「スパマー」が鳴らないようにするために、すべての郵送がCOIモデルと100％一貫していることを明確にします-ユーザーが承認し、「バウンス」を受け取った場合、ユーザーはいつでも退会できます。その後、ボックスを自動的にブロックします。 数年前、Spamhausは私たちに非常に気分を害し、私はこの生涯にわたって彼らとコミュニケーションをとった経験を思い出しました。 したがって、ニュースレターの正確性は私たちにとって非常に優先されます。
ユーザーに送信するレターには、サイト上の他のユーザーのプロファイルへのリンクがあります。 このようなリンクごとに自動ロギングが機能します。 なぜなら パスワードを覚えている人はほとんどいませんが、私たちの仕事は、ユーザーができるだけ早く簡単にサイトにアクセスできるようにすることです。 もちろん、ユーザーのメールがハッキングされると、サイトへのアクセスがリークされますが、この場合、妄想よりも利便性の方が重要だと思います。
だから、私たちに連絡した女の子の呼び出しのログを見て、私は今日（午前8時）にIP 178.154.243.78とユーザーエージェントMozilla / 5.0（互換性のあるYandexBot / 3.0; + http： //yandex.com/bots）。 whoisによると、IPアドレスは本当にYandex LLCに属します。 私は女の子のアカウントを見ます-yahoo.comのメール。 私はログで少女自身のエントリを探しています-私はそれを見つけました、ユーザーエージェントはOpera / 9.80（Windows NT 6.1; Edition Yx）Presto / 2.12.388 Version / 12.15、すなわち Yandex（Edition Yx）によってコンパイルされたデスクトップOpera。 Yandexが11の異なるプライベートリンクの存在について知った2つのオプションがあります。
1）女の子がこれらのリンクにアクセスし、OperaがYandexでそれについて「ノック」しました。
2）彼女は、データ圧縮を使用してOpera経由でYahooメールを確認し、プロキシ（女の子が有効にしている）時にYandexが、さらに「使用」するためにそこにあったすべてのリンクを収集しました。 少女の世論調査で確認-YandexのOpera、データ圧縮、Yahooメール。 しかし、先を見て、私は第1の選択肢をもっと信頼していると言います。
掘り続けました。 今日のnginxログの8時間（モスクワでは11時間、ログは0 GMTから開始）、YandexBotから350の一意のログインがありました。 さらに見ると、15人のユーザーからのプライベートリンクを介してすべてが判明しました。 2つのランダムなものを見ました。 両方のユーザーは、純粋なYandex.Browserを使用します。 プロキシなし。 YandexBotのアカウントへのログインは2015年4月3日に始まりました。
最も「きれいな」オプションを見つけることにしました。 そしてそれを見つけました。 私たちが提供するリンクには、手紙が作成された日付が含まれています。 したがって、今日ユーザーに送信したレターからnginxログのエントリを見つけることは難しくありませんでした（grep + awk）。
私はnginxログを提供します（ユーザーIP、サイト、正確なリンクが変更されました）：
site.ru 1.1.1.1 - - [26/Jun/2015:08:12:18 +0000] "GET /member/detail/111111750?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6803 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.107 cs=-upstream: 192.168.106.14:7002 answer=200 response=0.107 0.107 site.ru 1.1.1.1 - - [26/Jun/2015:08:12:18 +0000] "GET /member/detail/111111750?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6803 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.092 cs=-upstream: 192.168.106.4:7002 answer=200 response=0.092 0.092 site.ru 1.1.1.1 - - [26/Jun/2015:08:12:30 +0000] "GET /member/detail/111111708?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6354 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.049 cs=-upstream: 192.168.106.12:7002 answer=200 response=0.049 0.049 site.ru 1.1.1.1 - - [26/Jun/2015:08:12:30 +0000] "GET /member/detail/111111708?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6331 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.030 cs=-upstream: 192.168.106.10:7002 answer=200 response=0.030 0.030 site.ru 1.1.1.1 - - [26/Jun/2015:08:12:45 +0000] "GET /member/detail/111111436?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6293 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.047 cs=-upstream: 192.168.106.18:7002 answer=200 response=0.047 0.047 site.ru 1.1.1.1 - - [26/Jun/2015:08:13:00 +0000] "GET /member/detail/111111053?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6630 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.030 cs=-upstream: 192.168.106.10:7002 answer=200 response=0.030 0.030 site.ru 1.1.1.1 - - [26/Jun/2015:08:13:08 +0000] "GET /member/detail/111110974?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6542 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.045 cs=-upstream: 192.168.106.12:7002 answer=200 response=0.045 0.045 site.ru 1.1.1.1 - - [26/Jun/2015:08:13:24 +0000] "GET /member/detail/111110878?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 7651 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 YaBrowser/15.6.2311.4046 Safari/537.36" "-" 0.102 cs=-upstream: 192.168.106.12:7002 answer=200 response=0.102 0.102 site.ru 5.255.253.141 - - [26/Jun/2015:08:13:26 +0000] "GET /member/detail/111111053?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6741 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" 0.113 cs=-upstream: 192.168.106.4:7002 answer=200 response=0.113 0.113 site.ru 5.255.253.141 - - [26/Jun/2015:08:13:32 +0000] "GET /member/detail/111110974?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6651 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" 0.161 cs=-upstream: 192.168.106.6:7002 answer=200 response=0.161 0.161 site.ru 5.255.253.141 - - [26/Jun/2015:08:13:34 +0000] "GET /member/detail/111111436?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 6405 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" 0.140 cs=-upstream: 192.168.106.10:7002 answer=200 response=0.140 0.140 site.ru 5.255.253.141 - - [26/Jun/2015:08:13:43 +0000] "GET /member/detail/111110878?a=1&c=10000080000&v=11ebeedf6eeam4ihkdeb7540037b5ab7&mail=1435305126_60&t=1 HTTP/1.1" 200 7764 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-" 0.117 cs=-upstream: 192.168.106.18:7002 answer=200 response=0.117 0.117
ユーザーが7つのリンクを使用して電子メールを入力し、YandexBotがすぐにそのうちの4つを通過したことがわかります。
検索結果に結果が見つかりませんでした。 Yandexがそれらで行うことは、Yandexだけが知っています。
個人的な結論：Yandex.BrowserとYandexのOperaは、ユーザーがクリックするリンクを収集します。 それらは分析され、YandexBotはリンクを通過します。 2015年4月3日に始まりました。
2015年7月19日からの更新
ボットがメールのリンクをクリックしないというコメントから、Yandexの従業員の言葉を確認したいと思います。 これは事実です。 私は数日間ログをチェックしましたが、彼らのロボットによるYandex-mailからのリンク上のエントリーは見つかりませんでした。
2015年7月19日からの更新
以下のコメントから引用
一般的に、これは非常に不快な間違いです。
プレスのコメントは次のとおりです。
Yandex.Browserは、匿名化された統計情報を収集して、ブラウザーの品質を向上させます。これには、訪問したページのアドレスも含まれます。 これは、プログラムの設定で許可されている場合にのみ発生します（[使用統計をYandexに送信する]ボックスをオンにしました）。
技術的なエラーにより、ブラウザのこれらのページの一部に関する情報は、Yandexロボットによってインデックス付けされたリストに含まれていました。 Habréで説明したサイト用にすでに修正済みであり、まもなく完全に修正されます。 このエラーを見つける手助けをしてくれたHabrahabrのユーザーに感謝します。
2015年8月25日からの更新
40日が経過しました。 Yandexは、この "機能/エラー"を1つのドメインに対してのみ修正しました-私はそれらを送信しました。 残りのすべてについては、前と同じように歩く。