поиск и бан ботов

Анализ логов + iptables. Если запросы от ботов частые (чаще 1 раза в секунду) - ограничения средствами nginx.

Проще всего найти их проанализировав aceess.log.

Забанив всех, кто делает кликов более заданных лимитов.

Для начала нужно посмотреть насколько интенсивно кликают ваши боты.

Что бы не забанить поисковики нужно

1. использовать белый список подсетей поисковиков

2. использовать продуманные лимиты и алгоритмы поиска в aceess.log

Что бы свести к минимуму ложные срабатывания, есть много тонкостей и know-how.

Могу вам настроить бан ботов.

Пишите в аську ICQ#: 1699три8679

Рекомендую zexis - прикольная у него защита, у меня на сервере стоит - я очень доволен!

забыл уточнить что у меня шаред хостинг

насколько я знаю у поисковиков IP известны

На шаред хостинге банить придется не фаерволом, а через htaccess.

В любом случае сначала нужно посмотреть что за боты вас атакуют.

Выложите где ни будь access.log с вашими ботами и дайте мне ссылку, посмотрю.

не атакуют, просто его сайты регулярно парсят т.к они специфические и предоставляют интерес для некоторых людей.

я посмотрел, вот к примеру отловил

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/elitnye-proksi/page/5 HTTP/1.1" 200 29185 "http://anon-proxy.ru/category/elitnye-proksi/page/5" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/anonimnye-proksi/page/5 HTTP/1.1" 200 30026 "http://anon-proxy.ru/category/anonimnye-proksi/page/5" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/anonimnye-proksi HTTP/1.1" 200 29648 "http://anon-proxy.ru/category/anonimnye-proksi" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/elitnye-proksi/page/4 HTTP/1.1" 200 29042 "http://anon-proxy.ru/category/elitnye-proksi/page/4" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/elitnye-proksi/page/3 HTTP/1.1" 200 29209 "http://anon-proxy.ru/category/elitnye-proksi/page/3" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/anonimnye-proksi/page/4 HTTP/1.1" 200 29475 "http://anon-proxy.ru/category/anonimnye-proksi/page/4" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/elitnye-proksi HTTP/1.1" 200 29004 "http://anon-proxy.ru/category/elitnye-proksi" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/anonimnye-proksi/page/3 HTTP/1.1" 200 29803 "http://anon-proxy.ru/category/anonimnye-proksi/page/3" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

212.117.172.80 - - [12/Oct/2012:12:54:06 +0400] "GET /category/elitnye-proksi/page/2 HTTP/1.1" 200 29350 "http://anon-proxy.ru/category/elitnye-proksi/page/2" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

кстати этот ip регулярно приходит и парсит странички, около 20 адресов уже забанены давно, в ручную нет смылсла мониторить а автоматизация может навредить другим клиентам.

из за таких похождений у тс набегает процессорное время, отсюда соответствующий тариф.

наши лимиты на количество обращений они не превышают, на нашем хостинге стоит умная защита от атак но включается она к сожалению когда действительно есть угроза.

максимум что я могу так это включить для аккаунта проверку cookie но за последствия не отвечаю, кто их не пройдет будет забанен, белый список есть но он не идеален.

Вывод: оплачивать текущий тариф хостинга или переехать на впс и там самостоятельно рулить или сменить хостинг на другой в надежде что уместитесь в тариф.

Den73, в приведенном вами куске лога видно что все запросы были в течении одной секунды с одного IP.

Значит можно обнаружить их, настроив бан всех кто запрашивает страницы например чаше 5 раз в секунду.

Но для установки анализатора логов нужен SSH и возможность компиляции и запуска программ на С.

Для этого нужен VPS или выделенный сервер.

у нас и так это настроено, по умолчанию лимит на локейшен php стоит 10 для всех аккаунтов, значение меньше только навредит (от парсинга нужен другой алгоритм), а конкретно под его сайты настраивать смысла нету все равно не вместиться в тариф ниже, да и сайтов там много что бы заморачиваться с индивидуальными настройками.

так что если тс возьмет впс то сможет там делать все что захочет но по мне это не рациональная трата т.к хостинг обходится сейчас как есть примерно по такой же цене что и средний всп с 1гб озу.

ТС, когда я сидел на шареде, спасался этим http://avy.ru/ftopic1870.html

Тоже прикольная штука

да проще тогда проверку cookie сделать, ботов сразу порежит без вызовов php