.RUゾーンに登録された第2レベルドメインの概要

クロールジョブ



この調査の目的は、.RUゾーン内のすべてのアクティブドメインの最新リストを取得することでした2016年1月 1日までに、 5040277登録されていました 。 彼らはクローラーで各名前を調べ、結果を分析することにしました。



サーバーの応答は次のように配布されました。



rc



応答コードを含む完全な表
rc cnt
200 2670175 53.0
IPFAIL 826869 34.9
タイムアウト 486924 7.4
301 444719 7.3
404 191831 3.4
302 176133 3.2
403 108624 2.1
503 43330 0.8
CHARSETFAIL 32606 0.6
500 19603 0.4
401 6847 0.1
303 5919 0.1
429 5501 0.1
502 5340 0.1
402 4232 0.1
0 2954 0.1
Nonhtml 1796 0.0
423 1688 0.0
400 1654 0.0
409 1125 0.0
307 1014 0.0
521 273 0.0
999 203 0.0
410 191 0.0
523 150 0.0
504 138 0.0
509 98 0.0
508 93 0.0
204 46 0.0
520 45 0.0
434 32 0.0
Clex 32 0.0
406 20 0.0
501 14 0.0
479 8 0.0
407 8 0.0
418 7 0.0
405 7 0.0
451 4 0.0
435 4 0.0
304 4 0.0
201 3 0.0
300 2 0.0
456 2 0.0
3 1 0.0
507 1 0.0
101 1 0.0
126 1 0.0
422 1 0.0
557 1 0.0
412 1 0.0
413 1 0.0
420 1 0.0
合計 5040277 100.0






IPFAIL-ドメインを解決できませんでした(委任されていない、ネームサーバーがないなど)。

タイムアウト-IPは受信されましたが、何も提供せず、タイムアウトによって落ちました。

CHARSETFAIL-コンテンツのエンコードを認識できませんでした。

NONHTML -Webサーバーがスクリプトを解釈しなかったが、データベースやその他の設備への接続の詳細とともにそれらをテキストで提供したサイト。

CLEX-応答サイズが10 MBを超えるクローラー例外。



301リダイレクト (永続):



301リダイレクト

バルク -衛星ネットワーク、代替Webサイトアドレスなどの動物園

cnt
http:// www.domain 215289 48.4
バルク 144275 32.4
http://ドメイン/ページ 76417 17.2
https://ドメイン 7617 1.7
https:// www.domain 1121 0.3
合計 444719 100.0


302リダイレクト (一時):



302リダイレクト



バルク -すべて同じグリッド、エラー、さまざまなcmsのインストーラーなど

cnt
バルク 135464 76.9
http://ドメイン/ページ 22658 12.9
http:// www.domain 10660 6.1
https://ドメイン 7168 4.1
https:// www.domain 183 0.1
合計 176133 100.0


メタリフレッシュを介してリダイレクトも調べますが、今回はそこに興味深いものは見られません。 ユーザーを多数のエクスプロイトに誘導する最も一般的な方法。



200 OKを与えた2670175ドメインはすべて、 192213のIPアドレス、上位10で展開します。

ip cnt example_url
109.206.190.54 180983 http://ksimelin.ru
188.166.49.110 40199 http://samoobsluga.ru
81.177.141.15 15040 http://plusheviy-buket.ru
89.111.167.3 11887 http://ipoezd.ru
94.76.205.132 11774 http://mediatr.ru
78.108.80.238 10937 http://bikesurfing.ru
78.108.86.63 10883 http://asp-v.ru
185.32.57.224 10157 http://salgroup.ru
188.120.232.174 9431 http://moscowspa.ru
199.59.243.120 9057 http://asolutbank.ru


IP 109.206.190.54の180983ドメイン( すべてのアクティブの6.77% )は、 www.homes.ruのミラーです(もちろん、ipだけでチェックしていません)。 駐車場からでも大きなマージンで行きます。 大規模に作業します。



Runetのメインページのコンテンツコンポーネントの平均値:

タイトルの平均長 47
キーワードの平均長 220
ページあたりの平均単語数 515
平均ページ重量(オクテット単位) 42320


テキスト内の262のドメインで、「 habrahabr 」という単語が見つかりました。



メインページからHabrユーザープロファイルへのリンク
ユーザー アンカー cnt
ワイルドグレイプラス ワイルドグレイプラス 17
ダリヤ・コルサック ダリヤ・コルサック 17
ptsecurity ptsecurity 17
デニス・イズマイロフ デニス・イズマイロフ 17
pkruglov pkruglov 17
マイスベンドゥ マイスベンドゥ 17
アレックスソフト アレックスソフト 17
スマートエンジン スマートエンジン 17
ドメフィスト ドメフィスト 17
デニス・ヴァシリエフ デニス・ヴァシリエフ 17
あなたの運命 4
anatoly_rr ハブラ 2
@ taxi5mblog 2
グリウリョフ ハブ 2
クゾトフ ハブラハブル 1
勇敢な 勇敢な 1
n教授 habrahabr.ru 1
エフィミッチ habrahabr.ru/users/efimich/ 1
ネクトデフ 1
アレクサンドル ハブラハブル 1
ftp27 1
建設的な ハブレについて 1
ilusha_sergeevich ユーティリティ(ilusha_sergeevichから) 1
1
1
ペイオンライン ハブラハブル 1
ソフトリンク ソフトリンク 1
blv ボリス・ウルフソン 1
ilusha_sergeevich グループディスカッション、インターネットポッドキャスト 1
teaminds ハブラハブル 1
ニクメリニコフ ハブレ 1
jaloveast1k 1
サクレ 1
ブレダン 1
オメギクス ブログ 1
xnim 1
nkochnev ハブラハブル 1
brntsrs ハブラ 1
スプルーロフ ハブラハブル 1
バタゾール 1
ヒース Habrahabrに関する記事の著者 1
クリプトメン Habrahabr(1つ...) 1
sil1999 1
アドバートン ハブラハブル 1
mwsoft 1
スーパーアリーシャ ハブラハブル 1
イゼルドミ habrahabre 1
キャディー リンク 1
クスデーモン ハブラハブル 1
インビゾリー ハブラ 1
yegorf1 H 1
ゾリコ ゾリコ 1
ニッカーズ 1
アソマー 1
d530 HABR.RU 1
極地 極地 1
Dataart ハブラハブル 1
シルヴァンスキー シルヴァンスキー 1
ヨケロフ ヨケロフ 1
グラチェバマリ グラチェバマリ 1
アンドルーコンスト ハブラハブル 1
アルトゥーデトー ハブラハブル 1
イハブル ハブラハブル 1
ustas 1
アリザール アリザール 1
ウィレルフ 1
rebirther23 1
オルドス ハブラハブル 1
シュクシニヴァン 1
ファルーラ ファルーラ 1
ドブリ ハブラハブル 1
denxc 1
ガーステレコム 1
シュロム HabrahabrHabrahabr.ru 1
パブロフM Habrに書き込みます 1
アイリー アイリー 1
noldo32 私はHabréにいます 1
valerasergeevich H 1
カチカエフ Habrahabrの私のアカウント 1
icw82 ハブラハブル 1
スクーチン ハブラハブル 1
genixg 1
サイラス サイラス 1
コードファッカー ハブラ 1
divan0 divan0 1
devpreview 1




200 OKを付与したドメインのリストdataoperator.ru/ru_domains_200_ok.zip



All Articles