Форум Практика оптимизации Любые вопросы от новичков по оптимизации

вопрос по роботсу

12
igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#11
MudryiKaa:
Ибо яндекс почему-то продолжает индексировать эти страницы

какие именно, приведите примеры?

Персональный VPN/Socks сервер (https://cp.inferno.name/aff.php?aff=2419)
MudryiKaa
На сайте с 31.01.2010
Offline
143
MudryiKaa
#12
igrinov:
какие именно?

Вот эти:

/oplata.php?
/.rtf
/userlist.php?

Короче, практически все. Факт в том, что последняя строка относится к форуму сайта, может тут сделать так:

/forum/userlist.php?
Здесь (http://webmasters.leadpush.ru/?ref=kGzamTENhj) адвокаты, риелторы и банки платят 100-500 рублей за клиента!!! Готовые СЯ для дорвеев и СДЛ.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#13

MudryiKaa, пути пишутся от корня...

igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#14
MudryiKaa:
может тут сделать так

да, советую почитать http://help.yandex.ru/webmaster/?id=996567

K
На сайте с 28.12.2008
Offline
169
kusanagi
#15

получается можно сделать так

User-agent: *
Disallow: /out/
Disallow: /wp-admin/
Disallow:
Host: ххх.ru

Sitemap: http://ххх.ru/sitemap.xml.gz

а почему тогда в примерах показано с дублированием отдельно для яндекса и всех остальных?

dma84
На сайте с 21.04.2009
Offline
168
dma84
#16 


1. User-agent: *
2. Disallow: /out/
3. Disallow: /wp-admin/
4. Sitemap: http://ххх.ru/sitemap.xml.gz

5. User-agent: Yandex
6. Host: ххх.ru

Полностью всё дублировать не нужно, правила 1-4 для всех роботов, а 5-6 только для Яши.

Опять же, Host понимает только Яша, так что строка 5 не нужна, остальные роботы просто не будут учитывать директиву Host

dma84 добавил 21.04.2011 в 09:08

kusanagi:
а почему тогда в примерах показано с дублированием отдельно для яндекса и всех остальных?

Мало ли что там показано

Яндекс внес изменения в Платон Щукин: Почему робот Рекомендации Яндекса по переезду
K
На сайте с 28.12.2008
Offline
169
kusanagi
#17

dma84,

спасибо

еще в догонку-как я понимаю после директивы User-agent: Yandex все нижестоящее относится только для яндекса, все боты будут игнорировать последущие строки?

dma84
На сайте с 21.04.2009
Offline
168
dma84
#18
kusanagi:
dma84,
спасибо
еще в догонку-как я понимаю после директивы User-agent: Yandex все нижестоящее относится только для яндекса, все боты будут игнорировать последущие строки?

Да

10 символов

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий