Yandex検索ロボットは、クロール遅延とGZIPをサポートしています

ウェブマスターは、サーバーの負荷とトラフィックを最適化できる新しいYandexロボット制御機能を取得しました。

• クロール遅延ディレクティブ（「コーチマン、運転しないでください！」）
  
  gzipサポート。
  
  ロボットの魂を冷やしている詳細は、Yandexブログで説明されています。