Вопрос по файлу robots.txt

Файл robots.txt написан неправильно, нужно написать так:

User-agent: Yandex

Disallow: /includes/

Host: www.site.ru

User-agent: *

Disallow: /includes/

-----------------------------

Посмотрите не в панели вебмастера, а в общей выдаче виден ли сайт с www и без. Если домен не виден, ждите склейки.

Посмотрите куда ведут внешние ссылки на сайт с www или без

Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.

пишу в яндексе www.site.ru получаю в выдаче site.ru

webmaster-21 добавил 03.03.2009 в 10:55

я продвигал с www и соответственно большинство ссылок на сайт с www

Webexpert, подскажите, пожалуйста, правильно ли я понял (а то у меня похожая проблема, только мне наоборот поменяли:)) у меня есть несколько правил:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Нужно сначала все эти правила переписать для яндекса:

User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Host: site.ru

А потом еще раз повторить:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Host: site.ru

Всё нормально у Вас, основное зеркало site.ru.

Можете получать входящие ссылки как с www так и без.

Webexpert добавил 03.03.2009 в 11:03

Host - директива Яндекса.

Правильно будет так:

Так теперь я robots.txt исправил, яндекс как будет выводить сайт все таки с www или без него?

Webexpert, спасибо!

не забудьте еще сделать редирект site.ru на www.site.ru, чтобы не было дублированного контента

Не совсем понял, поподробнее пожалуйста... так что с ввв что без него выводится один и тот же сайт, только в адресной строке с ввв и без него

Поскольку у Вас сайт виден без www, то пока не произойдёт смены основного зеркала, сайт будет виден без www. Но это не принципиально.

так все-таки в будущем появится в выдаче с www?