
この調査の目的は、.RUゾーン内のすべてのアクティブドメインの最新リストを取得することでした 。 2016年1月 1日までに、 5040277名が登録されていました 。 彼らはクローラーで各名前を調べ、結果を分析することにしました。
サーバーの応答は次のように配布されました。

応答コードを含む完全な表
rc | cnt | % |
200 | 2670175 | 53.0 |
IPFAIL | 826869 | 34.9 |
タイムアウト | 486924 | 7.4 |
301 | 444719 | 7.3 |
404 | 191831 | 3.4 |
302 | 176133 | 3.2 |
403 | 108624 | 2.1 |
503 | 43330 | 0.8 |
CHARSETFAIL | 32606 | 0.6 |
500 | 19603 | 0.4 |
401 | 6847 | 0.1 |
303 | 5919 | 0.1 |
429 | 5501 | 0.1 |
502 | 5340 | 0.1 |
402 | 4232 | 0.1 |
0 | 2954 | 0.1 |
Nonhtml | 1796 | 0.0 |
423 | 1688 | 0.0 |
400 | 1654 | 0.0 |
409 | 1125 | 0.0 |
307 | 1014 | 0.0 |
521 | 273 | 0.0 |
999 | 203 | 0.0 |
410 | 191 | 0.0 |
523 | 150 | 0.0 |
504 | 138 | 0.0 |
509 | 98 | 0.0 |
508 | 93 | 0.0 |
204 | 46 | 0.0 |
520 | 45 | 0.0 |
434 | 32 | 0.0 |
Clex | 32 | 0.0 |
406 | 20 | 0.0 |
501 | 14 | 0.0 |
479 | 8 | 0.0 |
407 | 8 | 0.0 |
418 | 7 | 0.0 |
405 | 7 | 0.0 |
451 | 4 | 0.0 |
435 | 4 | 0.0 |
304 | 4 | 0.0 |
201 | 3 | 0.0 |
300 | 2 | 0.0 |
456 | 2 | 0.0 |
3 | 1 | 0.0 |
507 | 1 | 0.0 |
101 | 1 | 0.0 |
126 | 1 | 0.0 |
422 | 1 | 0.0 |
557 | 1 | 0.0 |
412 | 1 | 0.0 |
413 | 1 | 0.0 |
420 | 1 | 0.0 |
合計 : | 5040277 | 100.0 |
IPFAIL-ドメインを解決できませんでした(委任されていない、ネームサーバーがないなど)。
タイムアウト-IPは受信されましたが、何も提供せず、タイムアウトによって落ちました。
CHARSETFAIL-コンテンツのエンコードを認識できませんでした。
NONHTML -Webサーバーがスクリプトを解釈しなかったが、データベースやその他の設備への接続の詳細とともにそれらをテキストで提供したサイト。
CLEX-応答サイズが10 MBを超えるクローラー例外。
301リダイレクト (永続):

バルク -衛星ネットワーク、代替Webサイトアドレスなどの動物園
cnt | % | |
http:// www.domain | 215289 | 48.4 |
バルク | 144275 | 32.4 |
http://ドメイン/ページ | 76417 | 17.2 |
https://ドメイン | 7617 | 1.7 |
https:// www.domain | 1121 | 0.3 |
合計 : | 444719 | 100.0 |
302リダイレクト (一時):

バルク -すべて同じグリッド、エラー、さまざまなcmsのインストーラーなど
cnt | % | |
バルク | 135464 | 76.9 |
http://ドメイン/ページ | 22658 | 12.9 |
http:// www.domain | 10660 | 6.1 |
https://ドメイン | 7168 | 4.1 |
https:// www.domain | 183 | 0.1 |
合計 : | 176133 | 100.0 |
メタリフレッシュを介してリダイレクトも調べますが、今回はそこに興味深いものは見られません。 ユーザーを多数のエクスプロイトに誘導する最も一般的な方法。
200 OKを与えた2670175ドメインはすべて、 192213のIPアドレス、上位10で展開します。
ip | cnt | example_url |
109.206.190.54 | 180983 | http://ksimelin.ru |
188.166.49.110 | 40199 | http://samoobsluga.ru |
81.177.141.15 | 15040 | http://plusheviy-buket.ru |
89.111.167.3 | 11887 | http://ipoezd.ru |
94.76.205.132 | 11774 | http://mediatr.ru |
78.108.80.238 | 10937 | http://bikesurfing.ru |
78.108.86.63 | 10883 | http://asp-v.ru |
185.32.57.224 | 10157 | http://salgroup.ru |
188.120.232.174 | 9431 | http://moscowspa.ru |
199.59.243.120 | 9057 | http://asolutbank.ru |
IP 109.206.190.54の180983ドメイン( すべてのアクティブの6.77% )は、 www.homes.ruのミラーです(もちろん、ipだけでチェックしていません)。 駐車場からでも大きなマージンで行きます。 大規模に作業します。
Runetのメインページのコンテンツコンポーネントの平均値:
タイトルの平均長 | 47 |
キーワードの平均長 | 220 |
ページあたりの平均単語数 | 515 |
平均ページ重量(オクテット単位) | 42320 |
テキスト内の262のドメインで、「 habrahabr 」という単語が見つかりました。
メインページからHabrユーザープロファイルへのリンク
ユーザー | アンカー | cnt |
ワイルドグレイプラス | ワイルドグレイプラス | 17 |
ダリヤ・コルサック | ダリヤ・コルサック | 17 |
ptsecurity | ptsecurity | 17 |
デニス・イズマイロフ | デニス・イズマイロフ | 17 |
pkruglov | pkruglov | 17 |
マイスベンドゥ | マイスベンドゥ | 17 |
アレックスソフト | アレックスソフト | 17 |
スマートエンジン | スマートエンジン | 17 |
ドメフィスト | ドメフィスト | 17 |
デニス・ヴァシリエフ | デニス・ヴァシリエフ | 17 |
あなたの運命 | 4 | |
anatoly_rr | ハブラ | 2 |
@ taxi5mblog | 2 | |
グリウリョフ | ハブ | 2 |
クゾトフ | ハブラハブル | 1 |
勇敢な | 勇敢な | 1 |
n教授 | habrahabr.ru | 1 |
エフィミッチ | habrahabr.ru/users/efimich/ | 1 |
ネクトデフ | 1 | |
アレクサンドル | ハブラハブル | 1 |
ftp27 | 1 | |
建設的な | ハブレについて | 1 |
ilusha_sergeevich | ユーティリティ(ilusha_sergeevichから) | 1 |
パ | 1 | |
岩 | 1 | |
ペイオンライン | ハブラハブル | 1 |
ソフトリンク | ソフトリンク | 1 |
blv | ボリス・ウルフソン | 1 |
ilusha_sergeevich | グループディスカッション、インターネットポッドキャスト | 1 |
teaminds | ハブラハブル | 1 |
ニクメリニコフ | ハブレ | 1 |
jaloveast1k | 1 | |
サクレ | 1 | |
ブレダン | 1 | |
オメギクス | ブログ | 1 |
xnim | 1 | |
nkochnev | ハブラハブル | 1 |
brntsrs | ハブラ | 1 |
スプルーロフ | ハブラハブル | 1 |
バタゾール | 1 | |
ヒース | Habrahabrに関する記事の著者 | 1 |
クリプトメン | Habrahabr(1つ...) | 1 |
sil1999 | 1 | |
アドバートン | ハブラハブル | 1 |
mwsoft | 1 | |
スーパーアリーシャ | ハブラハブル | 1 |
イゼルドミ | habrahabre | 1 |
キャディー | リンク | 1 |
クスデーモン | ハブラハブル | 1 |
インビゾリー | ハブラ | 1 |
yegorf1 | H | 1 |
ゾリコ | ゾリコ | 1 |
ニッカーズ | 1 | |
アソマー | 1 | |
d530 | HABR.RU | 1 |
極地 | 極地 | 1 |
Dataart | ハブラハブル | 1 |
シルヴァンスキー | シルヴァンスキー | 1 |
ヨケロフ | ヨケロフ | 1 |
グラチェバマリ | グラチェバマリ | 1 |
アンドルーコンスト | ハブラハブル | 1 |
アルトゥーデトー | ハブラハブル | 1 |
イハブル | ハブラハブル | 1 |
ustas | 1 | |
アリザール | アリザール | 1 |
ウィレルフ | 1 | |
rebirther23 | 1 | |
オルドス | ハブラハブル | 1 |
シュクシニヴァン | 1 | |
ファルーラ | ファルーラ | 1 |
ドブリ | ハブラハブル | 1 |
denxc | 1 | |
ガーステレコム | 1 | |
シュロム | HabrahabrHabrahabr.ru | 1 |
パブロフM | Habrに書き込みます | 1 |
アイリー | アイリー | 1 |
noldo32 | 私はHabréにいます | 1 |
valerasergeevich | H | 1 |
カチカエフ | Habrahabrの私のアカウント | 1 |
icw82 | ハブラハブル | 1 |
スクーチン | ハブラハブル | 1 |
genixg | 1 | |
サイラス | サイラス | 1 |
コードファッカー | ハブラ | 1 |
divan0 | divan0 | 1 |
devpreview | 1 |
200 OKを付与したドメインのリストdataoperator.ru/ru_domains_200_ok.zip