Резкий всплеск прямых заходов. Как бороться?

S
На сайте с 12.10.2012
Offline
223
#721
Openso #:
Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?
Зачем вам блокировать парсеры и краулеры? Тут обсуждают как блокироваться ПФ ботов.
softerra
На сайте с 02.10.2023
Offline
94
#722
Openso #:

Да уже 30 страниц пролистал, немного утомился. Боюсь ещё 40 страниц срача о том кто лучший сеошник не осилю

Здесь просто мирно конфликтуют 2 вектора

1 - блочить ботные сетки напрямую

2 - подключать всякую стороннюю мутату

Выбирайте, с кем вам по пути и фпирёт, к успехам

Openso
На сайте с 09.11.2016
Online
86
#723
softerra #:

Здесь просто мирно конфликтуют 2 вектора

1 - блочить ботные сетки напрямую

2 - подключать всякую стороннюю мутату

Выбирайте, с кем вам по пути и фпирёт, к успехам

Сначала поставил клауд и вроде всё ок, но потом меня начало напрягать каптча там где она не нужна, файлы с браузера добавить нельзя больше 100 метров, в рекламные сетки нормально не добавиться ещё и кэш говняный, я обновляю файлы а он по два дня отдает старые версии посетителям. 

Потом заблочил только одну ссаную битерику через хттаксес и роботность на уровне 5-8%, что вполне приемлимо.

Но подумал тут ещё, что когда дорами баловался, то использовал а-парсер и теперь захотелось ещё всякую дичь типа парсеров забанить, по поиск по гуглу ничего не выдал. Вот и решил здесь спросить актуальный список может у кого есть?

softerra
На сайте с 02.10.2023
Offline
94
#724

Openso #:

Но подумал тут ещё, что когда дорами баловался, то использовал а-парсер и теперь захотелось ещё всякую дичь типа парсеров забанить, по поиск по гуглу ничего не выдал. Вот и решил здесь спросить актуальный список может у кого есть?

Все ответы в логах. Там много интересного.

К вам может долбиться сетка, которая ко мне не придет и наоборот.

Ну да, Битерика & Racktech - этих сразу в блок всех без разбора

А потом по ситуации мониторить

Dmitriy Vlasov
На сайте с 22.03.2019
Online
63
#725
Забанил бота keys.so и сразу все боты с США пропали :)
Сергей
На сайте с 10.07.2022
Offline
43
#726
Shelton724 #:
как метрика находит столько роботов

Мегафон 

Открытый проект для юристов в Москве и Московской области https://ask.mosdok.ru сопровождение сделок, регистрация домов, оформление строительства
Сергей
На сайте с 10.07.2022
Offline
43
#727
Openso #:
Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?

Краулеры и параметры одни из самых мирных по сравнению с ботами кликающими по рекламе и нагуливающими профиля. Вы не с теми ботами боритесь на своих сайтах

Openso
На сайте с 09.11.2016
Online
86
#728
Сергей #:

Краулеры и параметры одни из самых мирных по сравнению с ботами кликающими по рекламе и нагуливающими профиля. Вы не с теми ботами боритесь на своих сайтах

Мне хватило битерику забанить, пока там больше не с чем бороться. Но я не хочу чтобы мой сайт парсили под доры и обсасывали всякие кейсо и мегаиндексы.

softerra
На сайте с 02.10.2023
Offline
94
#729
Openso #:

Мне хватило битерику забанить, пока там больше не с чем бороться. Но я не хочу чтобы мой сайт парсили под доры и обсасывали всякие кейсо и мегаиндексы.

В роботс можно добавить. Многих отшивает.

txt rob-bots.txt
Openso
На сайте с 09.11.2016
Online
86
#730
softerra #:

В роботс можно добавить. Многих отшивает.

Спасибо большое! Вот такое я и искал.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий