Правильно закрыть дубли от индексации

C8
На сайте с 20.11.2009
Offline
54
604

На сайте такая структура страниц:

http://www.site.ru/pazdel/tema/statiya.html

С помощью htaccess настроил чпу (то есть физически файлы и каталоги не существуют).

не хватает опыта закрыть страницы дублей если обращаться к ним с помощью знака вопроса:

http://www.site.ru/pazdel/tema/statiya.html?далее любой текст

То есть на стороне сервера так и не решил проблему (видимо сервер воспринимает знак вопроса как мета-символ регулярных выражений)

Тогда решил с помощью robots.txt закрыть дубли. но как это сделать для большого количества страниц (то есть используя правило)

Нашел такое решение:

Disallow: /*?

Как думаете правильно или нет?

В мире существует 10 категорий людей: те кто знает двоичную систему и те кто нет... Лучшая Тизерка (http://redire.ru/tizer-block)! 230 копеек за клик по России!
sear4er
На сайте с 04.03.2010
Offline
750
#1

Правильно Disallow: /*? Уже миллиард раз обсуждалось ;)

П.С. А количество ссылок на site.ru всё растёт и растёт естественным путём :)

Профессиональный SEO аудит с гарантией результата (форум). ( /ru/forum/824674 ) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). ( https://evoseo.ru ) Бесплатные SEO консультации. ( https://evoseo.ru/seo-consultaciya/ )
C8
На сайте с 20.11.2009
Offline
54
#2
sear4er:
Правильно Disallow: /*? Уже миллиард раз обсуждалось ;)
П.С. А количество ссылок на site.ru всё растёт и растёт естественным путём :)

То есть закрытие дублей этим правилом еще актуально.

Просто всё время думал что если на сайт сделают плохие люди или по неосторожности ссылку со знаком вопроса то сайт проиндексируется дважды, а это не есть хорошо)

в таком крупном сайте

http://www.woman.ru/robots.txt

нет такого правила. так как они защищаются от дублей?

А разве здесь не стоит nofollow?:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий