ツイートのリンクをたどるボットをキャッチします

CloudAppを使用して、 Twitterで新しく公開されたリンクがすぐに18〜20のヒットを受け取ることに注目しました。 明らかに、これらはロボットであり、私はそれらを決めました カウントする。



サーバーで空のhtmlファイルを作成し、Twitterへのリンクを投稿しました。 その後、このリンクを参照して、User-Agentsの値を収集しました。 さらに、私はほぼ即座にツイートを削除しました。



ライトアップされたサービスと製品：

• js-kit.com
• Googlebot
• www.oneriot.com
• www.postrank.com
• kmbot（一部の中国のボット-cl.ly/1pcT ）
• Twingly Recon（ http://www.twingly.com ）
• www.linksalpha.com
• tweetmeme.com
• www.ellerdale.com/crawler.html
• トプシーバタフライ（ http://labs.topsy.com/butterfly ）

IP	リファラー
38.113.234.181	ボイジャー/ 1.0（2回）
128.242.241.133	Twitterbot / 0.1
204.236.175.30	JS-Kit URL Resolver、 js-kit.com （2回）
66.249.71.218	Mozilla / 5.0（互換性; Googlebot / 2.1; + http：//www.google.com/bot.html）
216.24.142.45	Mozilla / 5.0（Windows; U; Windows NT 5.1; en-US; rv：1.9.1.7）Gecko / 20091221 Firefox / 3.5.7 OneRiot / 1.0（http://www.oneriot.com）
74.123.148.48	Mozilla / 4.0（互換性あり; MSIE 6.0; Windows NT 5.1; SV1）
65.52.17.163	Mozilla / 4.0（互換性あり; MSIE 7.0; Windows NT 6.0）
204.236.206.79	PostRank / 2.0（postrank.com）
204.236.202.14	Mozilla / 5.0（互換性あり; kmbot-62c5 / 0.0; + http：//knowmore.com/bots）
65.52.2.3	Mozilla / 4.0（互換性あり; MSIE 7.0; Windows NT 6.0）
79.99.6.106	Twingly偵察
174.129.146.212	PycURL / 7.18.2
72.14.212.81	AppEngine-Google; （+ http：//code.google.com/appengine; appid：linksalpha）
89.151.116.54	Mozilla / 5.0（互換性あり; MSIE 6.0b; Windows NT 5.0）Gecko / 2009011913 Firefox / 3.0.6 TweetmemeBot
70.37.65.108	Mozilla / 4.0（互換性あり; MSIE 7.0; Windows NT 6.0）
64.13.147.188	Mozilla / 5.0（互換性あり; abby / 1.0; + http：//www.ellerdale.com/crawler.html）
75.101.235.29	-
74.112.128.62	Mozilla / 5.0（互換性; Butterfly / 1.0; + http：//labs.topsy.com/butterfly/）Gecko / 2009032608 Firefox / 3.0.8
174.129.89.199	Python-urllib / 2.5

ブロックしたい場合は、 www.botsvsbrowsers.comが便利です



PS。 サイトの「重い」リンクへのリンクを公開するときは、リツイートごとに+20ヒットすることに注意してください。