YandexBot атакует сайты

12
M
На сайте с 07.05.2019
Offline
22
#11

а я вчера смотрел выдачу и был сильно рад тому, что не обнаружил одного конкурента.
почекал сначала ручками, потом арсенкином по ключам, а после топвизор обновил и убедился окончательно, что сайта нет по двум большим кластерам. 

радовался, думал о причинах этого праздника, а через пол часа сайт вернулся.....

N1
На сайте с 16.07.2021
Offline
18
#12
TpaBkuH #:

Мне больше интересовало не почему нагрузка создается на сайте (это и так было понятно), а почему яндекс.бот с 22 мая начал усердно атаковать сайты (у меня их пару штук). Думал тут найду объяснение этому феномену. До этого по пол года все шло ровно.

P.S Такие всплески активности бота замечаю периодически в промежутки от 3-6 месяцев. То есть 3-6 месяцев идет норм обход бота, а потом на неделю-две бот становится агрессивным 😀

P.S.S  Скорость обхода в ВМ стоит минимум (0.6 запросов в секунду.)

Такая же тема примерно с 20 чисел июня, грузит, пылесосит все подряд, причем одну и ту же страницу может сосать по 20 раз, бесит уже. Причем может с разных IP на одну страницу накинуться. Это просто пипец товарищи.

Причем до этого полгода была тишина. Оптимизировал все что можно, не помогает... 

suffix
На сайте с 26.08.2010
Offline
331
#13

Настройте сайт нормально и 99%  запросов бота Яндекса к вашему сайту не будут его грузить ибо будут такими:

last-modified

Клуб любителей хрюш (https://www.babai.ru)
R
На сайте с 15.04.2019
Offline
41
#14
Подобная  ситуация но только с 403
Приходят уведомления , мол раздел / страница отдаёт в ответ 403, тут же бегу проверять в Яндекс веб-мастере, показывает 200 ок
Не понимаю, что не так ? 
N1
На сайте с 16.07.2021
Offline
18
#15
suffix #:

Настройте сайт нормально и 99%  запросов бота Яндекса к вашему сайту не будут его грузить ибо будут такими:


Уважаемый, а не подскажите как Вы настраивали 304 ответ сервера, ибо не совсем компетентен в этом.

suffix
На сайте с 26.08.2010
Offline
331
#16
nick1403 #:

Уважаемый, а не подскажите как Вы настраивали 304 ответ сервера, ибо не совсем компетентен в этом.

Можно воспользоваться модулями/плагинами (точно есть под WP и Битрикс), но как по мне они все странно-кривоваты ибо как правило считают дату не изменения самой страницы а дату изменения кеша, хотя в принципе такой вариант работает. Тут больше вопрос в настройках кэширования / сброса кэша. 

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий