Помощь в фильтрации ботов через .htaccess

123
M
На сайте с 29.08.2024
Offline
31
#11
Hatta #:

Предлагаю оживить тему в свете событий с cloudlfare.

Кто как фильтрует

Все ведь в любом случае закончится блоком или можно как то условия выставлять в аХтессе?

Наверное только и остается пустой реферер+айпи и кому то полный блок по айпи.

Жалко что не только лишь все © могут в хтаксессе по ASN блочить.

Антоний Казанский
На сайте с 12.04.2007
Offline
729
#12
Hatta #:
Кто как фильтрует ботов без cf?

Мы с программистом пилим и обкатываем свой "брандмауэр" под Битрикс,


Небыстро, нудно, но совершенно точно к нужному результату придём. 

Со своей статистикой, выгрузками, точечной и групповой работой, правилами по признакам.

Основной принцип - собираем списки хостеров, откуда валят поведенческие боты, грузим им вместо сайта имитированную заглушку без загрузки Метрики и подсовываем капчу, если вдруг человек и капчу проходит - перенаправляем на рабочий сайт c Метрикой.

+ логирование и возможности для стат. аналитики (кто/как/когда/куда/в каком объёме) для мониторинга и принятия решений. 

С htaccess такой возможности нет, если доступ запретил, то возможный пользователь не попадёт на сайт. 

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
G6
На сайте с 12.07.2007
Offline
180
#13
Я тоже в своем "брандмауэре" пытался мутить с серыми списками  и собирал кучу инфы. В итоге, после анализа многомесячного, сразу отправляю на фильтрацию, капча или просто запрет. А то результат примерно одинаковый, а на анализ надо море ресурсов. А так ресурсы не тратишь. 😀
Очистите трафик сайта от ботов и накруток ПФ https://antibot.worldwebinfo.ru
Антоний Казанский
На сайте с 12.04.2007
Offline
729
#14
garry69 #:
Я тоже в своем "брандмауэре" пытался мутить с серыми списками  и собирал кучу инфы.

Ммм.. классно, значит я не один такой :)


garry69 #:
В итоге, после анализа многомесячного, сразу отправляю на фильтрацию, капча или просто запрет. А то результат примерно одинаковый, а на анализ надо море ресурсов. А так ресурсы не тратишь. 😀

В целом - да, но в моём случае есть целый ряд "но" в пользу точечной аналитики.

1) Анализом всё равно приходится заниматься и это в целом штатная работа в контексте анализа трафика для клиентского сопровождения, с которым работаем не первый год.

2) Точнее и шире понимаешь тенденции в наплыве бот трафика; попадаются довольно интересные решения и это всё полезно для накопления профильного опыта.

Обычно у меня подход такой - заметный бот трафик приходит "готовой схемой", например, наплыв ботов с реферерами по ссылочному переходу, где естественно ссылки никакой нет и быть не может (реферер поддельный), вот там как правильно сразу видны подсети и я баню по ASN маской.

Так что в моём случае боты просто гуляют по заглушкам без Метрики, которые выглядят как обычные страницы :)

Если боты капчу проходят (а иногда ботоводы тратятся и на капчу) - отправляю в черный список, где капчи нет и они просто водят мышкой по имитированной заглушке.  

G6
На сайте с 12.07.2007
Offline
180
#15
Антоний Казанский #:

Ммм.. классно, значит я не один такой :)


В целом - да, но в моём случае есть целый ряд "но" в пользу точечной аналитики.

1) Анализом всё равно приходится заниматься и это в целом штатная работа в контексте анализа трафика для клиентского сопровождения, с которым работаем не первый год.

2) Точнее и шире понимаешь тенденции в наплыве бот трафика; попадаются довольно интересные решения и это всё полезно для накопления профильного опыта.

Обычно у меня подход такой - заметный бот трафик приходит "готовой схемой", например, наплыв ботов с реферерами по ссылочному переходу, где естественно ссылки никакой нет и быть не может (реферер поддельный), вот там как правильно сразу видны подсети и я баню по ASN маской.

Так что в моём случае боты просто гуляют по заглушкам без Метрики, которые выглядят как обычные страницы :)

Если боты капчу проходят (а иногда ботоводы тратятся и на капчу) - отправляю в черный список, где капчи нет и они просто водят вышкой по имитированной заглушке.  

Безусловно без анализа нельзя, но я сначала фингерпринт практически собирать начал, было интересно, но не практично в одно лицо, да и не нужно. 😎 Немного сравнений, графиков, статы и инфы по ip, и жизнь проще))

alaev
На сайте с 18.11.2010
Offline
814
#16
Mnlaw #:

Все ведь в любом случае закончится блоком или можно как то условия выставлять в аХтессе?

Все давно подробно расписал.

https://alaev.net/zametki/staroe/blokirovka-botov-htaccess

От начала и до конца прочитай и все ответы на твои вопросы будут раскрыты.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
Анти ДДОС
На сайте с 14.03.2020
Offline
102
#17
alaev #:

Все давно подробно расписал.

Нужно приписку делать. Лимите на ссылку не жать 🤣
Тогда обязательно нажмут, и будут знать как выглядит заглушка Cloudflare о блокировке.

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
alaev
На сайте с 18.11.2010
Offline
814
#18
Анти ДДОС #:

Нужно приписку делать. Лимите на ссылку не жать 🤣

Если из спамного диапазона ростелекома, тогда сюда https://yadi.sk/d/7m5wQQnfh5wu0A

M
На сайте с 29.08.2024
Offline
31
#19
alaev #:

Если из спамного диапазона ростелекома, тогда сюда https://yadi.sk/d/7m5wQQnfh5wu0A

coderhs.com is coming soon

Михаил
На сайте с 02.03.2007
Offline
180
#20
Hatta #:

Предлагаю оживить тему в свете событий с cloudlfare.

Кто как фильтрует ботов без cf?

Собственный серверный механизм. Пока в обкатке базовые алгоритмы «Легионер», «Дятел», «Носорог», «Фантомас», «Рецидивист» – помогают при фильтрации примитивных ботов и краулеров (монстры типа «Битерики» – в чёрный список на первом шаге и соответственно последующая фильтрация их уже не касается). Фильтрация многоступенчатая: разовая блокировка за нарушение директивы, при нарушении набора директив за интервал времени – профилактическая блокировка на короткий период времени, при накоплении нескольких кратковременных блокировок – временная блокировка на сутки, плюс журнал «активистов» на анализ. Особо отличившиеся – в кают-компанию к «Битерике».

Вот видишь, Алиса, что нужно бежать со всех ног, чтобы оставаться на месте! А чтобы куда-нибудь добраться – нужно бежать вдвое быстрее!
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий