前文。 専用のサーバーを使用して、約12のサイトを実行しています。 問題はありませんでした、マシンは元気で、新しいです。 数日前、すべてが「ハング」しているという報告が届きました。 リモートで再起動する必要がありました。 その後、CPU負荷が10％から60％に増加したことに気付き、そのレベルにとどまり始めました。 もちろん、私は警戒していましたが、あなたは決して知りません。
そして昨日、すべてが完全にハングします。 再起動-起動し、再び完全な落ち着き。 すべてのサイトがアクセス不能になります。 プロセスを監視した後、mysqlの負荷は99.9％でした。 そのようなダウンロードが行われるサイトを探しに行って驚いた。 他のクエリをふるいにかけたところ、誰かが1秒あたり4万件のクエリをしつこく叩いていることがわかりました。 ログを掘り始め、これらのリクエストの送信元のサブネットを確認します。 サーバーに接続し、/ 24マスクを使用してiptablesにDROPを登録すると、すべてが正常化されます。
ddoserがYandexボットのIDを送信していることに気付きました。 少し驚いたが、あなたは決して知らない。 私はチェックすることにしました、そして、私が禁止しなければならなかった2つのサブネットがYandexスパイダーに属していることがわかりました。
ボットがそのような狂気でサイトで何をしているのかを徹底的に研究した後、ボットは商品の閉じられていないフィルターに分割され、リンクを介して信じられないほどのページの束を作成し、インデックス作成のために集中的に閲覧し始めたことが明らかになりました。 このような何かのカットオフが機能しなかった理由は明らかではありません。 このフィルターを使用したサイトは3年以上稼働しており、問題はありませんでした。
現時点では、htaccessによるインデックス作成からフィルターが閉じられ、ボットは禁止されていません。Yandexサポートからの応答を待っています。
丸太の小片
[2015年10月29日：13：57：10] "GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 50＆page = 7＆page = 5＆show = 10＆page = 4＆page = 6 HTTP / 1.1" 200102 "-" "Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots）"
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 50＆page = 7＆page = 5＆show = 10＆page = 4＆page = 1 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 50＆page = 7＆page = 5＆show = 10＆page = 4＆page = 2 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 37 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 26 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 25 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.139--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 24 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 20 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 21 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 5＆show = 10＆page = 3＆show = 50＆page = 1＆page = 3＆page = 6＆page = 23 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.139--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 1＆page = 3＆show = 30＆page = 1＆page = 3＆page = 37 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 5＆page = 4＆page = 1＆page = 2＆page = 111 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.76.13.189--[29 / Oct / 2015：13：57：10] "GET / HTTP / 1.1" 200 102 "-" "Mozilla / 5.0（Windows NT 6.3; WOW64）AppleWebKit / 537.36（KHTML、Geckoなど） Chrome / 46.0.2490.80 Safari / 537.36»
87.250.244.16--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 8＆page = 7＆page = 8＆page = 6＆page = 4＆page = 5 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ページ= 8＆ページ= 7＆ページ= 8＆ページ= 6＆ページ= 4＆ページ= 7 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.139--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ページ= 8＆ページ= 7＆ページ= 8＆ページ= 6＆ページ= 4＆ページ= 6 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 8＆page = 7＆page = 8＆page = 6＆page = 4＆page = 1 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ページ= 8＆ページ= 7＆ページ= 8＆ページ= 6＆ページ= 4＆ページ= 2 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.138--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 4＆show = 50＆show = 10＆show = 30＆page = 37 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.143--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 1＆show = 50＆page = 4＆show = 30＆page = 37 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.137--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 30＆page = 1＆page = 3＆page = 2＆page = 3＆page = 1 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.132--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 30＆page = 1＆page = 3＆page = 2＆page = 3＆page = 6 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.15--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ショー= 30＆ページ= 1＆ページ= 3＆ページ= 2＆ページ= 3＆ページ= 4 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.38--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 30＆page = 1＆page = 3＆page = 2＆page = 3＆page = 5 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.14--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 7＆page = 9＆show = 30＆page = 11＆show = 50 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0;
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 50＆page = 7＆page = 5＆show = 10＆page = 4＆page = 1 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 50＆page = 7＆page = 5＆show = 10＆page = 4＆page = 2 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 37 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 26 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 25 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.139--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 24 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 20 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 111＆show = 50＆page = 1＆page = 23＆show = 30＆page = 21 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 5＆show = 10＆page = 3＆show = 50＆page = 1＆page = 3＆page = 6＆page = 23 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.139--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 1＆page = 3＆show = 30＆page = 1＆page = 3＆page = 37 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 5＆page = 4＆page = 1＆page = 2＆page = 111 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.76.13.189--[29 / Oct / 2015：13：57：10] "GET / HTTP / 1.1" 200 102 "-" "Mozilla / 5.0（Windows NT 6.3; WOW64）AppleWebKit / 537.36（KHTML、Geckoなど） Chrome / 46.0.2490.80 Safari / 537.36»
87.250.244.16--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 8＆page = 7＆page = 8＆page = 6＆page = 4＆page = 5 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.140--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ページ= 8＆ページ= 7＆ページ= 8＆ページ= 6＆ページ= 4＆ページ= 7 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.139--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ページ= 8＆ページ= 7＆ページ= 8＆ページ= 6＆ページ= 4＆ページ= 6 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.29--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 8＆page = 7＆page = 8＆page = 6＆page = 4＆page = 1 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.16--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ページ= 8＆ページ= 7＆ページ= 8＆ページ= 6＆ページ= 4＆ページ= 2 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.138--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 4＆show = 50＆show = 10＆show = 30＆page = 37 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.143--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 1＆show = 50＆page = 4＆show = 30＆page = 37 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.137--[29 / Oct / 2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 30＆page = 1＆page = 3＆page = 2＆page = 3＆page = 1 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
141.8.141.132--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 30＆page = 1＆page = 3＆page = 2＆page = 3＆page = 6 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.15--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆フィルター= 1＆fldX = 0＆ページ= 8＆ページ= 6＆ショー= 10＆ショー= 30＆ページ= 1＆ページ= 3＆ページ= 2＆ページ= 3＆ページ= 4 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.38--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆show = 30＆page = 1＆page = 3＆page = 2＆page = 3＆page = 5 HTTP /1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0; + http：//yandex.com/bots） "
87.250.244.14--[29/10/2015：13：57：10]「GET /カタログ/ kotli /？176＆filter = 1＆fldX = 0＆page = 8＆page = 6＆show = 10＆page = 7＆page = 9＆show = 30＆page = 11＆show = 50 HTTP / 1.1 "200 102"-"" Mozilla / 5.0（互換性あり、YandexBot / 3.0;
そして、私が賢明であれば、私は理解しています-そのような問題はないでしょう。 しかし、まだ。
ありがとう