ГугльБот оставляет странные логи...

L
На сайте с 24.04.2005
Offline
46
403

Решил просмотреть свои лог файлы и увидел странную вещь, когда заходит гуглбот нельзя посомтреть какую он страницу съел, т.е вот к примеру лог который оставляет МСН

207.46.98.36 - - [18/May/2005:05:51:57 +0000] "GET /stat/0009 HTTP/1.0" 200 23154 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"

видно, что съел страницу /stat/0009

а вот гугл

66.249.64.77 - - [18/May/2005:03:37:21 +0000] "GET / HTTP/1.0" 200 19760 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

66.249.64.77 - - [18/May/2005:03:38:15 +0000] "GET / HTTP/1.0" 200 25610 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

и так идет подряд, понять что он ест разные страницы можно только по указанному размеру страницы

Сайт написан пхп. Почему так происходит? Это у всех так? Вроде выдает код 200 так что все нормально должно быть..

[Удален]
#1

Это Гугл главную страницу запрашивает два раза.

И
На сайте с 11.10.2004
Offline
32
#2

А отчего размер страниц разный (интервал - меньше минуты).

Дряхлый кандидат (наук)
wolf
На сайте с 13.03.2001
Offline
1183
#3
А отчего размер страниц разный

Похоже, динамика и что-то на ней рандомится

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
maximusr
На сайте с 24.10.2003
Offline
44
#4
Похоже, динамика и что-то на ней рандомится

Какие-нибудь графические блоки.

Один банер весит 7К а при следущем заходе в ротации стоит другой банер весом к примеру 15К

TriLan - комплексный интернет-маркетинг (http://www.trilan.ru)
wolf
На сайте с 13.03.2001
Offline
1183
#5
Один банер весит 7К а при следущем заходе в ротации стоит другой банер весом к примеру 15К

При чем тут графика? Там же размер кода разный.

maximusr
На сайте с 24.10.2003
Offline
44
#6

ОЙ сорри, точно.

Вот что значит делать несколько дел сразу.

Но тем не менее по тому же прниципу и текст можно "крутить"

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий