Гугл ддосер

Судя по тому, что пишет ТС, он не похож на новичка, поэтому предполагаю, что сайт у него оптимизирован. Если бот создает нагрузку, скажем в 10 раз большую, чем обычная нагрузка от посетителей сайтов, то надо с ботом разбираться, а не кидаться оптимизировать сайт под 10-кратное увеличение нагрузки. Провести инспекцию сайта всегда полезно, но ускорить его работу не всегда возможно. А вы почему то сразу делаете вывод, что подумать головой и переписать сайт - это обязательно решит проблемы, не задавая вопросов, что это за сайт, какие запросы он выполняет. Если сайт написан хорошо, то чтобы выдержать 10-100 кратное увеличение запросов от ботов, надо купить новый тарифный план или более мощный сервер. А это не всегда целесообразно. Зачем мой сайт должен держать 1млн посетителей, если на него стандартно заходит 10 тыс. Когда количество живых посетителей достигнет 100тыс, только тогда я сменю железо, а не сразу буду покупать железо или ставить CMS, которая бы держала 1 млн.

Сорри, если изъясняюсь не совсем понятно )

Ну, в общем, так и есть. Суммарная посещалка сайтов на этом сервере где-то под 200к в сутки. Т.е. где-то в среднем 2 миллиона запросов страниц. Ещё столько же запросов страниц от спайдеров. При этом, средняя загрузка была около единички.

А тут гугл как с цепи сорвался и на одном только сайте такие фортеля выкидывает. Так ладно б он это в течение дня делал и просто немного увеличивал бы среднюю нагрузку. А он только к вечеру начинает какими-то волнами фигачить.

---------- Добавлено 07.07.2014 в 15:14 ----------

Ну, кагбе на первой странице кусок логов приведён :o

Из него просто выпилены уришники.

Очевидно, что логи я смотрю, и ни юзерагент, ни всё остальное ничем не отличается от обычных.

Для отслеживания работы сервера MySQL и настройки его производительности, одним из самых полезных инструментов является логгирование медленных запросов. Т.е. таких запросов, которые ввыполняются более, чем N секунд.

Создадим сам лога:

# touch /var/log/mysqld-slow-query.log

Изменим владельца:

# chown mysql:mysql mysqld-slow-query.log

Отребактируем файл конфигруации сервера MySQL. У меня он находится тут — /etc/my.cnf.

В блок [mysqld] добавляем строки:

long_query_time = 10

log-slow-queries = /var/log/mysqld-slow-query.log

Параметр long_query_time указывает, какие запросы считать медленными и записывать в лог. В данном случае — все, выполняющиесся более 10 секунд.

Перезапускаем сервер MySQL:

# service mysql-server restart

Stopping mysql.

Waiting for PIDS: 1368.

Starting mysql.

И проверяем лог:

# tail -f /var/log/mysqld-slow-query.log

В одной из строк есть строка:

Query_time: 11.894846 Lock_time: 0.000056 Rows_sent: 5 Rows_examined: 3358

Запрос выполнялся 11.8 секунд, и был занесен в файл лога.

Спасибо кэп :D

Кстати, если лонг тайм 10 секунд при селекте в продакшене - это вообще мёртвый сервер.

Если б меньше секунды можно было ставить - я 0.5 бы ставил.

Да, веб - это не промышленные системы. Там бывает инцидент поднимают, только когда запрос больше 20 мин работает ;-)

А почему Вы не используете вот эту настройку в WMT?

Мне она очень помогала ранее, когда часть моих сайтов с большим количеством страниц находилась на слабеньких VPS.

slavegirl:
А почему Вы не используете вот эту настройку в WMT?

Потому, что я её использую.

Стоит 6 запросов в секунду.

Тем временем у меня гугл робот набирает обороты. Но на позициях в поиске пока никак не отражается (фильтр...).

Резкий рост активности робота Google имел место на одном из проектов. Одновременно на основном домене и субдоменах с переводами основного сайта. График активности робота можно посмотреть на рисунке.

С основным доменом идет постоянная работа. Субдомены давно заброшены.

В итоге после всплеска на основном домене активность робота возросла, на субдоменах упала. Сейчас решил реанимировать один из субдоменов. Буду добавлять свежие материалы. Интересно, чем дело разрешится.