АГС-40 часть 2

а у меня по 20 с фигом сайтам совсем другая статистика - яндекс даже и не пытается ходить по тем страницам, которые изначально зарезаны в robots.txt - как то своей статистике я больше доверяю.

в любом случае. есть конкретный сайт, попавший под АГС. вы высказали теорию о том, что он угодил под АГС из-за запрещенных в robots.txt спамных профилей. я же высказал теорию о том, что сайт из 70-и страниц попал под АГС из-за того, что половина страниц банальный копипаст.

моя теория намного правдоподобнее вашей. однако вы уперлись и начали тут гнать про то, что яндекс ходит по всем страницам сайта и что самое важное - учитывает их. а это, простите, уже бред полнейший.

Не надо приписывать мне то, что я не говорил.

1) АГС накладывается не по одному какому-то признаку, а по совокупности.

2) закрытость страниц в robots.txt это только закрытость от индексации, но не для загрузки и анализа, то что загружается, видно из логов и отчетов на ВМ - я предпочитаю информацию по профилям закрывать по 403 коду.

3) наличие спамных профилей - это признак того, что спам не чистится - один из многих факторов

4) где информация о том, когда профили поместили в роботс изначально? Их могли закрыть вчера, позавчера, до АГС (но после пометки где-то в базе о наличии такого признакоа), после АГС

Где я говорил, что они учитываются в поиске? То, что их учитывает в отчете ВМ - представил доказательства

P.S. А вы логи от Апача по 20 сайтам смотрели, что бы говорить о том, что робот там не ходит?

По вашему скрину как раз и видно, что закрытые страницы у вас грузятся, а потом исключаются из поиска

Ну это вы пошутили :) У меня стоит на одном сайте статистика, там разве что цвет трусов посетителя не видно, так точно могу сказать что роботы бегают по закрытым в robots.txt разделам.

Вообще роботс не запрещает загружать страницы, он запрещает их индексировать и выкладывать в поиск, но тем не менее они на сам Яндекс или Гугл загружаются и проходят обработку.

Это как Мэтт Каттс когда-то говорил в видео на счёт своих ботов, что запрещающие атрибуты которые например стоят в ссылках, дают понять роботу что эту ссылку учитывать не надо, но они не запрещают роботу перейти по этой ссылке и найти для себя что-то новое. То же самое и с Яндексом наверняка.

на сайте долгое время под АГС неожиданно проиндексировались давно удаленные ехе файлы - ну там какой-то текст отдавался типа бла бла удалено, вместо правильных 404. По внешним ссылкам. Уже все на радостях забил статьями.

Страницы правда не *.html а *.ехе ха-ха-ха но в индексе и траф с поиска "я" уже есть!

это называется - съехать с темы.

больше мне с вами не о чем говорить.

---------- Добавлено 23.11.2013 в 23:16 ----------

он это говорил о nofollow ссылках.

robots.txt совсем другое.

впрочем, гугл со спокойной совестью может игнорировать robots.txt - у меня на одной сайте уже 7-й год я не могу выкинуть страницы из индекса. исключаю их через гугл.вебмастер - они на некоторое время исчезают, а потом опять опять влетают в индекс. причем, при поиске гугл и говорит о том, что содержимое исключено из-за ограничений в robots.txt - но при этом все равно держит ссылки в индексе зачем-то.

а про яндекс - неважно куда там ходит яндекс. важно, что учитываться служебные и запрещенные к индексации страницы не могут. это вообще не имеет никакого ни практического, ни теоретического смысла. зачем алгоритмам яндекса учитывать запрещенные к индексации страницы?

у меня вот лично запрещенные в robots.txt страницы в ЯВМ никогда не загружаются, там исключенные это перемещенные и 404 страницы.

Интересно, а кто вам об этом сказал? Вы можете привести официальную информацию об этом?

Или у вам кто-то сливает инсайдерскую информацию об этом?

Кстати, еще как учитывают страницы в роботс

да вы задолбали уже троллить!

http://help.yandex.ru/webmaster/robot-workings/robot-workings-faq.xml#secret-data-access

http://help.yandex.ru/webmaster/recommendations/indexing.xml

а теперь, в духе ваших тролль-сообщений - дайте мне доказательство, что яндекс не только грузит запрещенные к индексации страницы, но и учитывает их в своих алгоритмах и дает за это АГС. все несколько страниц назад этого топика вы уже категорически утверждали - а теперь пытаетесь съехать с темы!

---------- Добавлено 23.11.2013 в 23:33 ----------

и через пару месяцев загруженных документов станет 0.

проверено неоднократно!

в сотый раз повторяю - если вы облажались и дали яндексу скачать запрещенную к индексации информацию, то выплевывать он ее будет долго!

но в конце концов он ее выкинет со своих серверов, даже упоминания о ней в ЯВМ не останется.

Интересно, а кто кого тролит?

http://help.yandex.ru/webmaster/recommendations/indexing.xml

Извнияюсь, то, что Я грузит страницы, я уже доказал

А по остальному - зачем мне доказывать то, что я не утверждал?

Это вы докажите, что я это говорил!

Еще раз внимательно прочитайте, что я утверждал

Уже несколько лет стоит, только прибавляется!

Не надо своей грубостью пытаться что-то доказывать, грубость и крики используют в основном те, кто не прав

На счет этих страниц - так и было задумано. Надо было бы спрятать - закрыл бы под 403 код

А так - нельзя выставлять на индексацию такие страницы, так они у меня и закрыт от индексации.

Я выкинет - так уже несколько лет почему-то не выкидывает

И дело совсем не только в синонимах.

Вот прям сейчас я хочу выбрать и купить starter kit модели железной дороги масштаба HO. Найти что-то, нормального производителя и с нормальными условиями доставки через обычный веб-поисковик типа гугла и яндекса совершенно невозможно. Ищу через Ebay и Amazon. И, да, в ход идет википедия со статьями про описания масштабов и модельных систем, а обычные веб-поисковики только чтобы найти сайт производителя Bachmann по запросу bachmann.

Вчера искал искал оффсайт производителя гидромассажных систем Koller по запросу koller jet. Потому что по запросу koller - гугл фигню всякую выдает.

Вот такого рода запросы и есть будущее поисковых систем. Да что там будущее - настоящее, топовый-то запрос уже сейчас "вконтакте".