Директива Host

1 23
100chuk
На сайте с 02.12.2005
Offline
194
#21
Каширин:

Правильно писать - User-Agent! Agent нужно писать с большой буквы. Если вы пишете с маленькой - хоть запишитесь, все будут игнорировать.

С чего же тогда у Яндекса по-другому написано? 🚬

100chuk
На сайте с 02.12.2005
Offline
194
#22
londonetz:
Сегодня проверял яндексовским скриптом robots.txt на одном из сайтов - директиву Host игнорирует! Указывал "User-agent: *" и "User-agent: Yandex" - по барабану, видит только что в Disallow...

Две недели назад всё было нормально. Нововведение или глюк?

Тоже весьма интересно.

Садовский говорит, что


Анализатор robots.txt в Яндекс.Вебмастере уже поддерживает новые директивы и спецсимволы

Хотя он и не говорил, что они старые оставили. 🚬

S
На сайте с 29.01.2007
Offline
56
#23
Правильно писать - User-Agent! Agent нужно писать с большой буквы

Вот,что написано здесь:

http://help.yandex.ru/webmaster/?id=996567

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет)

Как же правильно, где посмотреть стандарты?

nihilanth
На сайте с 17.11.2005
Offline
44
#24

http://robotstxt.org.ru/RobotsExclusion/spec

Файл должен содержать одну или несколько записей (records), разделенных одной или несколькими пустыми строками (оканчивающимися CR, CR/NL или NL). Каждая запись должна содержать строки (lines) в форме:

<field>:<optional_space><value><optional_space>

Поле <field> является регистронезависимым.
PS
На сайте с 18.10.2007
Offline
5
#25
Каширин:

Правильно писать - User-Agent! Agent нужно писать с большой буквы. Если вы пишете с маленькой - хоть запишитесь, все будут игнорировать.

http://tool.motoricerca.info/robots-checker.phtml

тут вообще написано не регистрозависимо..хотя лучше писать User-аgent

Каширин
На сайте с 03.01.2004
Offline
1018
#26
paShaman:
http://tool.motoricerca.info/robots-checker.phtml

тут вообще написано не регистрозависимо..хотя лучше писать User-аgent
100chuk:
С чего же тогда у Яндекса по-другому написано? 🚬

Вот тебе и на ... И на старуху бывает проруха :) Всю жизнь считал, что с большой буквы! Приношу извинения 😕 Действительно, перечитал стандарт - факт, с маленькой. А русский хелп пишет с большой.

G_G
На сайте с 04.07.2006
Offline
28
G_G
#27

И что интересно у самого Яндекса в роботсе "User-Agent:" с большой

http://yandex.ru/robots.txt

"You could die just the same on a sunny day." (C) James Joyce.
100chuk
На сайте с 02.12.2005
Offline
194
#28

Откровенно глючная реализация последнего алгоритма.

1. Куча сайтов расклеилась.

2. Анализатор синтаксиса Yandex выдает, что он не знает что такое

Disallow:

и

Allow:

хотя в помощи явно сказано, что


Отсутствие параметров у директивы трактуется следующим образом:
User-agent: Yandex
Disallow: # тоже что и Allow: /

User-agent: Yandex
Allow: # тоже что и Disallow: /

3. Анализатор синтаксиса Yandex перестал узнавать директиву Host

Новые фичи добавили - а как насчет поддержки старых?

В своем блоге по поводу этого они молчат. Прямо как дети малые - написали пару постов, порадовались и все, а на комменты как бы можно и не отвечать. Это инструмент для взаимодействия или еще одно место для PR?

Вывод:

1) Нанять нормальных тестировщиков. ( У меня, кстати, на примете есть один - филологич. + технич. (2 высших), опыт работы инж. по тестированию 6 лет. 🚬)

1) Нанять нормальное лицо по связям с общественностью. Для мегакорпорации несерьезно, когда руководитель отдела является лицом по связью с немаленькой SEO-общественностью.

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий