Внимание синтаксис robots.txt

Изменить пару символов, наверное, вера не позволяет или что? Всё же интересно было бы посмотреть на сам синтаксис.

ТС наверно боится, что по кускам урла, которые останутся можно будет восстановить полный.

Так замените все, в чем проблема?

Было serchengines.ru/article/004481.html, стало: site.ru/some/fail.html

И Урлы скроете, и роботс засветите, интересно же, что там такого.

Я не утверждаю что накосячил гугл.

Просто проверка синтаксиса в я вебмастере дала нужный результат, а в инструментах гугла не нужное оказалось разрешено.

Ну какой смысл в порезаной аброкодабре ?

Зачем резать? Измените адреса и всё!

Я один не врубаюсь в логику автора? Кто здесь?

ТС, или показывайте свой роботс.тхт или закрывайте тему, глупо рассуждать о каких-то абстрактных вещах.

Я тоже не врубаюсь))

Проблема а том, что Вы привели ЭЛЕМЕНТАРНЫЕ урлы в правилах, а они (правила) много сложнее.

Нет там ни каких .html

тут никто не понимает его

Да я уже почти жалею что вообще об этом написал :) Если бы мог я бы закрыл.