А может все дело в robots.txt ?

Сегодня посмотрел серверную статистику кто ко мне приходил.

И что я увидил.. Яху пришла.. покушала чуть чуть и ушла. Приходила вчера кушала другое.

Приходил гугл (пришел на субдомен) попросил robots.txt получил 200.. обиделся.. сходил на главный домен... его съел по всей видимости (там 1 страница) и ушел.

Так уже продолжается 5-й день к ряду. Карту я гуглу не скармливал, так как на субдомене у меня лежит страница на которой фактически есть все ссылки на другие страницы.

Вопрос у меня следующий: какие есть варианты для разруления данной ситуации ?

1. прописать в robots.txt что конкретно можно индексировать.

2. скормить карту сайта ..

3. Не достаточно высокий PR?

4. ваш вариант..

п.с. просто не очень понятна логика бота. Да я понимаю что как бы съесть сайт за раз это было бы круто и что время сканеров то же ценно, и все хотят что бы их сайт боты посещали частенько. Вот пытаюсь понять в чем моя ошибка ?

Спасибо за мнения