Помощь в фильтрации ботов через CloudFlare

Парни ситуация такая. Столя в .htaccess редирект и сайт не работал после подключения  cloudflare, так так входил в цикл переадресации. В  cloudflare всё отключал в TLS и шиврование полностью, это не помогло почему то. Пришлось убрать редирект в  .htaccess вида

Далее сайт стал доступен по http, но в  cloudflare все настроил и он работает и переадресовывает на https. Кроме того, сервис bertal.ru показывает всё четко 301 с http яндекс и гугл ботом. Теперь вопрос. Почему в кабинете яндекс веб-мастера ответ от сервера 200 ОК? а не 301. Так же, открыл графу "Статистика обхода" в http версии сайта и заметил, что страницы стали 200, а не 301 как раньше. В чем прикол то? Что можно сделать?

Кто подскажет как помимо Biterika заблокировать еще вот этих ботов?

Причем после блокировки их в Cloudflare спустя несколько месяцев они начали переходить на Главную из поиска🤔

• Tele2 Russia IP Network;
• Metropolitan branch of OJSC Megafon;
• Mobile subscribers pool;
• YOTA – Moscow and Moskovskaya oblast
• 111250 Russia Moscow
  

А с чего вы решили, что это боты?

Если переход идет из поиска, тогда у Яндекса уже больше шансов отличить бота от юзера.

Потому что из этих же сетей также идут прямые заходы + заходы с рекламы которой на самом деле нет + большой % отказов с этих сетей.

Настроил CF, как описано на vc ru, и прямые заходы уменьшились, но выросли "внутренние переходы" с сетью  IPv4 address block not managed by the RIPE NCC в большей степени. Вот какие правила стоят в CF:

1.  Skip -  (cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot")

2.   Managed Challenge -  (ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})

3.  JS Challenge -  (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")

4.  Block - (ip.geoip.asnum in {35048 43966})

Как бороться с внутренними переходами?

Настроил CF, как описано на vc ru, и прямые заходы уменьшились, но выросли "внутренние переходы" с сетью  IPv4 address block not managed by the RIPE NCC в большей степени. Вот какие правила стоят в CF:

1.  Skip -  (cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot")

2.   Managed Challenge -  (ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})

3.  JS Challenge -  (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")

4.  Block - (ip.geoip.asnum in {35048 43966})

Как бороться с внутренними переходами?