Яндекс и большие сайты

Дмитрий, у нас ситуация такая :

Сначала Яндекс съел 20К страниц и очень надолго остановился, затем продолжил индексировать и остановился примерно на 35К. За последний год увеличил индекс до 150К и сейчас не пойму - недели две по 100 страниц только ест.

Мое мнение - предела для страниц в индексе нет, либо он есть, но постоянно растет.

По количеству страниц за апдейт - сначала это было 200, затем 500, сейчас около 5К (больше за раз не брал, отсюда такая оценка)

По другим поисковикам - Яндекс катастрофически отстает ( Google - 560К).

Знаю также еще один ресурс - за год в Яндексе проиндексировано 105К, так что Ваши 35К - далеко не предел.

Самое главное - так же, как и Вы очень хочу знать, как проиндексировать ВСЕ и побыстрее.

Тут есть два пути.

1. Создать карту сайта на 10-20 страниц с линками на непроиндексированные страницы.

2. Увеличить число внутренних ссылок - больше внутренней перелинковки, устранить "узкие" места.

Условно говоря, структуру сайта можно представить в виде дороги. Если она широкая и удобная, то робот по ней быстро движется. А если попадаются узкие участки, то замедляется.

Не все так просто, Алексей. Взять хотя бы проблему "лимита бензина" для поездки и еще желания вернуться и посмотреть, что стало с началом дороги за время отсутствия :)

Angelika, это уже естественные причины. И обойти их в рамках одного домена нельзя. А вот удалить искусственные препятствия не мешало бы :)

У нас есть портал, который долгое время не мог нормально индексироваться. В индексе было около 10К страниц и прирост шел очень медленно. После небольшой рестректуризации это число быстро выросло до 34К, что составляет практически 95% от общего числа страниц.

Однозначно - да. Только вопрос-то именно о естественных причинах - каковы они и насколько их не обойти в рамках одного домена.

Angelika, без эксперимента тут не обойтись. Можно высказать только гипотезы.

Одна из гипотез: основное ограничение робота - индексация за раз не более 2-х или 3-х уровней в глубину. Ограничение по числу индексируемых страниц менее жесткое. Соответственно, увеличив число внутренних ссылок с главной и страниц второго уровня, можно значительно увеличить скорость индексации нового сайта. Увеличив число внутренних ссылок на сайте вообще, можно увеличить скорость индексации и переиндексации в целом.

Основание для гипотезы: нет четкого ограничения - у кого-то за раз робот индексирует 10 страниц, у кого-то 100, а у кого-то 1000.

Если кто-то запускает сейчас новый сайт - может проследить путь робота "в глубину".

Тоже самое. Как только были организованы переходы с любого места сайта в любое за 3-4 перехода, Я стразу схавал в 2.5 раза больше страниц. Хотя может и Я за это время что-то поменял.

Но в тоже время есть этот ворум, и Я его очень хорошо проходит, и быстро.

mnt, скорее всего из той тысячи 900 - это старые страницы. А только 100 - новые.

да, но для яху я 88.400 округлил до 88к, а для алзевеба 79.700 ;)

msn - 11.5к

рамблер - 40к

Ссылающихся в яндексе: 1550 сайтов.

что-то уже выносится. Это, конечно, должно помочь. Но без этого никак?..

мы наблюдаем это постоянно. Причем бывает, что вылетает главная страница.

<BOBER-3>, что ты имеешь в виду? Страницы, как я уже писал, уникальные - новости, обзоры и т.п.

с новостным роботом никаких проблем нет - индексит постоянно и очень хорошо. яндекс.новости очень приличный трафик дают.

Садовский откомментировал причину вылета морд недавно в курилке в теме про "работников Яндекса на форуме se.ru". Посмотри, может причина проблемы станет ясна.