GooglebotはAjaxを介してPOSTリクエストを開始しました

Googleの検索クローラーは、サイトの比較的閉鎖された部分へのアクセスを取得するために絶えず改善されています。 2008年、GooglebotはGETフォームの送信を開始し、この夏、 JavaScriptの実行を開始しました。 ここで、POSTメソッドを使用してデータをサーバーに転送します。



ウェブマスターthumbtack.com 、2011年9月から10月のApacheログでそのようなリクエストの例を示しています



リクエストは、Googleクローラーに実際に属するIPアドレスから送信されます:66.249.71.47、66.249.72.198、66.249.72.207。



  66.249.71.47--[04 / Sep / 2011:04:53:52 +0000] "POST / act / site / clienterror HTTP / 1.1" 200 36 "http://www.thumbtack.com/ma/malden/dog -walking / dog-walking-and-pet-care-services "" Mozilla / 5.0(互換性; Googlebot / 2.1; + http://www.google.com/bot.html) " 


  66.249.72.198--[25 / Sep / 2011:04:27:50 +0000] "POST / act / site / clienterror HTTP / 1.1" 200 36 "http://www.thumbtack.com/ca/solana-beach /結婚式の写真家/ photography-cary-pennington-photography "" Mozilla / 5.0(互換性; Googlebot / 2.1; + http://www.google.com/bot.html) " 


  66.249.72.207--[04 / Oct / 2011:09:53:08 +0000] "POST / act / site / clienterror HTTP / 1.1" 200 36 "http://www.thumbtack.com/tx/san-antonio /ペインティング/ residential-commercial-construction-services "" Mozilla / 5.0(互換性; Googlebot / 2.1; + http://www.google.com/bot.html) " 


thumbtack.comでは、これらのPOST要求は、サーバーに報告しようとするエラー監視スクリプトによって生成されます。 Googleからのリクエストにもこのような情報が含まれており、ロボットがスクリプトを分析できたようです。 クローラーのこの動作はサイトに害を及ぼさないため、正常と見なすことができます。 ただし、ボットのインテリジェントな動作は驚くべきものです。



All Articles