Яндекс и большие сайты

При >>35к страница уникальность на высоте, вощем на мой взгляд сомнительно (если это не форум и т.д.), но не уверен что это влияет на индексацию.

Скорее всего как только он берет новые, он выбрасывает самые старые.

Пока на своей шкуре видел, у сайта с 3к страниц (именно текстов), отпадают те страницы, где статика и давно ничего не менялось. Очень напоминает робот рамблера, который если видит что не менялось, не переобходит, а хранит старую версию (судя по датам).

Может стоит их чемнить обновлять

Дим, буквально на днях говорили.

Вот, почитай: /ru/forum/24803

Нет. Страницы - это именно тексты (форум не в счет, хотя там тоже оооочень много страниц): новости, обзоры и т.д. и т.п.

Для сравнения индексация другими поисковиками:

(напомню, что в яндексе 35к страниц)

google.com - 92к

yahoo.com - 88к

alltheweb.com - 88к

по-моему, цифры говорят сами за себя. И такая ситуация не день, ни два, ни месяц... ;)

Seventh Son, интересная тема, спасибо.

Да, говорят о том, что у них роботы другие

Из своего опыта могу только сказать, очень долго , тотже гугле видел только одну страницу, хотя все остальные работали нормально... потом рассосалось само.

А о больших сайтах, возможно у робота есть не лимит на страницы, а лимит на время, которое он уделяет сайту.

- Если время возврата отклика сервером большое, то он исчерпав лимит,

останавливается.

- Возможно у него лимит на массив внутренних ссылок....

- Некоторые хост-платформы сами режут обращений от одного юзера (ИП) больше сколькито. Може Я на это и останавливается, а другие приходят через время.

- Иногда втечалось, что виртуальный сервер перепускается каждые сколько=то часов. Може Я берет, что успевает за это время, а потом бросает.

dimok, alltheweb.com обслуживается роботом Яху, так что 88к -- это аппетиты Slurp.

Интересна еще статистика msnbot и StackRambler.

Вынос разделов на поддомены не решит проблему для Яндекса, как для Google?

а я что-то не замечал, чтобы вылетали старые страницы.

единственное, что могу заметить, так это прожорливость робота яндекса - жрет тысячами, а в индекс попадают сотни. т.е. скорей всего умный индексатор помещает в индекс только наиболее значимые, по его мнению страницы.

тогда у меня он считает самыми важными - сборка с RSS каналов. Повторяемость этого материала - почти бесконечна. Странно.

Конечно молание Я имеет свой смысл. Хороший актер держит паузу сколько может....

Чего стоило заявление Я в пятницу об изменениях алгоритмов, когда со вторника народ сидел на таблетках.

Может придет время, и они смогут все новые мысли описать словами

у меня подозрения на то, что ключевым моментом являются именно сами странички, ссылки тут не причем: месяца два один сайтик создал, индексируется Яндексом все это время, медленно и уверенно, где-то по 5-7к за неделю, сейчас уже почти 47к в индексе, посмотрим что будет дальше :) а ссылок на него - буквально с десятка сайтов

Что-то мне тоже не верится в уникальность контента на 35К страниц...

Возможно, что он считает первоисточником контента другой сайт, например у меня он отказывается индексировать RSS с яндыкс.ньюс :) после того, как они стали более похожи на оригинал. А вот, когда вокруг каждой новости было еще много другого контента, они спокойненько проглатывал пачками свои же новости.