- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет.
В логах увидели, что GoogleBot заходит на несуществующие страницы, таких страниц никогда не существовало.
Например:
curl -X GET -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' -H 'Accept-Encoding: gzip,deflate,br' -H 'User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' http://ww.site.com/category/4988
он именно пытается зайти на ww, а не на www. И соответственно попадает на страницу 404
или вот:
curl -X GET -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' -H 'Accept-Encoding: gzip,deflate,br' -H 'User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' http://mobile.site.com/category/4160
и таких логов много, особенно часто он подставляет m. или mobile. к домену
Зачем он это делает, кто-нибудь знает? :popcorn:
особенно часто он подставляет m. или mobile. к домену
Зачем он это делает, кто-нибудь знает?
Намекает на адаптацию.
где-то на сайте или на других сайтах/соц сетях есть на них ссылка
просто так бот по страницам не ходит
где-то на сайте или на других сайтах/соц сетях есть на них ссылка
просто так бот по страницам не ходит
У меня не было ссылок на такие страницы, сайт совсем молодой был на него вообще не было ссылок, и бот то же искал поддомены с m. и mobile.
где-то на сайте или на других сайтах/соц сетях есть на них ссылка
просто так бот по страницам не ходит
Ходит. Сразу пробивает мобильную версию по ссылкам как у ТС-а. А потом радостно сообщает, что их нет и там 404 ошибка.
Просто разработчики решили, чтоб, а ВДРУГ там будет мобильная версия и мы сразу о ней узнаем. Мы будем молодцы! Мы будем передовыми ребятами.
Вот и всё.
Спасибо.
Наверно действительно где-то есть ссылка с ошибкой "ww"
а подставляя m. и mobile. он пытается обнаружить мобильную версию сайта.
Тестирует на предмет ошибок в динамически генерируемых урлах.
+ еще ищет Soft 404
+ еще ищет Soft 404
Кстати, задолбал с этим. Если у меня каждые несколько минут контент меняется, накой я должен ставить 404, если контент появится через полчаса?