新しいYahooクローラー

Googleのアップグレードに続いて、Yahooの検索エンジンも検索クローラーを更新しました。 ここでは更新が大きくなり、新しいクローラーの名前はYahoo! Slurp 3.0と同じユーザーエージェントステータス（Yahoo! Slurp / 3.0）。 新しいロボットは、古いユーザーエージェント「Slurp / 2.0」へのコマンドには応答しなくなりますが、企業ブログで報告されている一般的な短いメッセージ「Slurp」には応答します。



名前が示すように、これは第3世代のクローラーです。 ただし、同社は、以前のバージョンとの具体的な違いについて情報を漏らそうとはしません。 Slurp 3.0の動作は異なるため、検索ボットの動作を監視するすべてのアナリストにのみ適切な調整を行うよう警告します。 特に、プログラムははるかに小さいIPアドレスのセットから開始されますが、それらはすべてcrawl.yahoo.netドメインに対応しています（すべての技術情報はこちら ）。 クローラーを正確に識別するために、古いIPアドレスがログからすぐに消えるので、会社はDNS逆ルックアップ方法を使用することを強くお勧めします。