Резкий всплеск прямых заходов. Как бороться?

Первые результаты по заблоченным спам-сетям ip-шников и непоказа рекламы и метрики без рефов на 3 сайтах из РСЯ. Посещалка по метрике стала в 3-5 раз меньше, показатель роботности все равно остался на том же высоком уровне (это самое удивительное), где и как метрика находит столько роботов - понятия не имею. Упрощенно говоря, сделал самый примитивный счётчик на php сразу при получении запроса, показывает, к примеру, 1000 обращений к серверу, из них 600 без рефов, 100 роботы яндекса и гугла, остальные похожи на людей. Метрика по этому сайту показывает посещалку 1800, из которых 1200 роботы. Где она вообще нашла столько обращений к метрике, если к серверу их не было (галочка "принимать только с указанных адресов" проставлена)? Ну и по РСЯ: в общем и целом количество показов осталось на прежнем уровне. Т.е. упрощенно что при посещалке нефильтрованной на 1000 уников было 200 показов, что на отфильтрованной посещалке на 300 униках тоже 200 показов. Вывод: РСЯ отлично видит роботов и рекламу им не показывает хоть фильтруй их, хоть нет, а метрика фигачит вообще непонятные данные какие-то, абсолютно не имеющие отношения к реальности.

Спорно... Отчего тогда площадки блокируются в РСЯ? Конкуренты гадят, кликая на блоки? Не думаю.

Это великая тайна. Они же сами не знают как работают их алгоритмы.

Ты явно переоцениваешь Яндекс. Можно нагуглить бесплатный софт и самому все проверить.

Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?

Я не думаю, что вообще технически реально определить, под статическим или динамическим адресом работает пользователь. Если только напрямую у провайдера.

Статика, не статика - это не важно.

vpsville.ru - отсюда пришли 3 прямых захода подряд с разными юзер агентами. Таких блокирую полностью по возможности.

Deny from 2a09:3800::/29

Здесь много раз выкладывали всякие сети, посмотрите ветку с начала.

Да уже 30 страниц пролистал, немного утомился. Боюсь ещё 40 страниц срача о том кто лучший сеошник не осилю

100% ботам реклама показывается и они на нее кликают.

Особенно в кампаниях на ретаргетинг, там весь этот мусор с прямых заходов сохраняется и им уже откручивают рекламу.

У меня был пример до установки CF, что в компании на ретаргетинг 90% кликов было из Тулы (хотя регион вся Россия). Я очень удивился и долго общался с поддержкой Яндекс, они конечно же ничего аномально не нашли.

Потом после настройки CF наткнулся на такую спам сеть AS52207 TULA-AS и все сразу встало на свои места.

От этого Яндекс не торопится боротся с ботами. С одной стороны качество выдачи становится не релевантным из-за накрутчиков, а с другой стороны боты - это значительная часть дохода от Директа.