- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В моём случае сайт англоязычный, так что Яндекс там тоже идёт лесом.
Но удаление robots.txt мне кажется каким-то очень уж варварским методом борьбы с гуглоботом о_0
Вообще удалил физически файл robots.txt. Я видел что гугл бот не может прокраулить файлы, закрытые в /wp-content/themes, которые частично отвечали за стили.
Хуже точно не стало. Наверное даже лучше, т.к. в индекс зашли тэги и по некоторым нч+ хвостам сайт занимает по 2-3 позиции в выдаче. Больше никаких мусорных страниц нет в индексе и даже в дополнительном.
Если страницу нужно закрыть, закрываю ее в админке с помощью плагина, без использования robots.txt
<meta name="robots" content="noindex" /> - кстати это самый надежный способ, даже лучше robots.txt
С яндексом не работаю, только гугл.
Вот это зря, про удаление robots.txt, когда он существовал до этого - это равнозначно запрету на сканирование, не удивляйтесь потом, что будут проблемы.
---------- Добавлено 13.09.2018 в 10:59 ----------
По данному инструменту могу сказать, что он просто ограничен в ресурсах, т.е. при таймауте сливается в ошибки, это проявляется в проверке Посмотреть как гуглбот- временно не доступно и в проверке мобильности - "другая ошибка". Он больше предназначен для первичной проверки мобильности, но если в консоли показывает ошибку проверки, то конечно не гуд, на справочном форуме вебмастеров гугл проблема эскалирована, но сроков решения никто не говорит.
Вот это зря, про удаление robots.txt, когда он существовал до этого - это равнозначно запрету на сканирование, не удивляйтесь потом, что будут проблемы.
Что за тупость?)
Что за тупость?)
Ну почему тупость? Если отдает 4** ошибку то это одно, а если не доступен, то совершенно другое, спецификацию почитайте.
Ну почему тупость? Если отдает 4** ошибку то это одно, а если не доступен, то совершенно другое, спецификацию почитайте.
А как вы считаете, отсутствие файла на сервере это какая может быть ошибка?)
Специально для Вас, любителя спецификаций, цитирую developers.google.com:
4xx (ошибки клиента)
Google расценивает все ошибки 4xx аналогично и предполагает, что действительный файл robots.txt отсутствует. При этом также предполагается, что ограничений в отношении содержания сайта нет, то есть разрешен полный доступ для сканирования. Учтите, что к этому разделу относятся коды ответа HTTP 401 "Требуется авторизация" и 403 "Доступ запрещен".
Диаметрально противоположно тому, что Вы говорите.
А как вы считаете, отсутствие файла на сервере это какая может быть ошибка?)
Специально для Вас, любителя спецификаций, цитирую developers.google.com:
Диаметрально противоположно тому, что Вы говорите.
Я разве написал, что при 404 будет запрет на сканирование? Там чуть ниже в спецификации еще есть пункт "Неудачные запросы и неполные данные".
<meta name="robots" content="noindex" /> - кстати это самый надежный способ, даже лучше robots.txt
Нет ничего надежнее
))
А как вы считаете, отсутствие файла на сервере это какая может быть ошибка?)
Смотря какого. Если вдруг роботс улетает, гугл может и прекратить сканирования. Тут как повезет.
Ну что за фигнястрадание. Ладно была бы какая-то экзотика с динамической подгрузкой моб скриптов... А тут обычный вп, коих сотни сотент тысяч, а вы тут велик на 7 колесах изобретаете.
Разблокируйте в роботсе папки, содержащие фалы, отвечающие за прорисовки, обновите роботс + дней 5 на раздупление.
Можете в чекале проверить свои css-файлы и скрипты на предмет доступности.
И всё, в течение месяца начнется перескан и передупление анализатора.
Еще бывает, что гугл поклеит адаптивные страницы хер знает с чем и выкидывает надпсь "не оптимизировано", тут поможет правильный каноникд и отслеживание левых страниц поможет.
Проверьте сайт вот тут (укажет на проблемы с роботс):
https://search.google.com/test/mobile-friendly
Еще есть вероятность, что где-то на страницах контент вылезает за пределы окна. Например, какие-то таблицы.
Дело в том, что браузер Гугла больше похож на десктопный (старый) Сафари и ИЕ 11, чем на Хром в ражиме эмуляции (F12). Поэтому что-то легко можно пропустить.