С новостей гугл неестественный трафик. ddos или реальные люди?

Какой тематики новость? Возможно грабберы.

Трудно поверить, что 30 тысяч грабберов сразу пришло на одну новость. К тому же, стандартный граббер берет только html, а эти учитывались статистикой яндекса (если даже и js не выполняли, то рендерили саму страницу).

В любом случае, какого-либо «дискомфорта» от этого мы не испытывали, но разобраться с этим хотелось бы.

30к в минуту это DDoS, так что не похоже.

Может быть новость подсосалась в какой-то плагин, который установлен у 30к пользователей и собирает все новости, что попали на главную новостей гугла?

На некоторых бордах нынче модно подменять реальные тизеры, которые установлены на трафистом сайте, на свои. То есть выхлоп двойной - и клики, и ботнет (на сколько знаю, то для андроид-ботнетов). Трафа у них немеряно. Так что возможен и такой вариант.

Всё выше описанное, естессно, при наличие шелла к сайту, на котором меняют тизеры.

Та же история. То ли кривой DDos, то ли шо.. )

Повторялась ситуация несколько раз за последне две недели. В среднем прилетает 6-10К на новость (у меня есть внутренний каунтер запросов). Иногда до 15К. Все IP разные. В LI и GA трафик не виден. В Адсенсе не видны. В Метрике не видны. В РСЯ тоже не видны.

User Agent: Mozilla/5.0 (Linux; U; Android 1.5; en-us) AppleWebKit/528.5+ (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1

---------- Добавлено 31.05.2014 в 01:36 ----------

Отличная мысль, только у меня на страницах с новостью нет никаких тизеров...

Правдоподобный вариант, но тогда почему яндекс метрика учла половину таких обращений?

Странно всё это.

Посмотрел журналы за последние полгода. Раньше со статей, которые попадали в топ гугла новостей, также приходили «некто» с подобными user-agent’ами, но их было не так много. Начиная с апреля сего года, обращений стало в разы больше.

Если потеoретизировать, то... Мне кажется самым вероятным вариант аппликации, которая парсит Гугл ньюс, выдает список популярных новостей в саму аппликацию, где открывается страница сайта с отключенным JS. Или, как вариант, генерирует свое оформление новости, отпарсив страницу, опять же с выключенным JS.

Т.е. реклама не показывается (все коды генерации рекламы давно в JS), социальные плагины не работают, каунтеры не срабатывают (в моем случае) или отчитывают какой-то %% визиторов (не холодно, не жарко).

Вопрос, зачем это нужно владельцам новостных сайтов?

Я тоже склоняюсь к мысли о мобильном приложении, которое сосёт из гугл новостей данные и выдаёт их в «чистом» виде у пользователя.

В данной ситуации необходимо набрать стат.данных и попытаться идентифицировать зловреда. К сожалению, я не пользуюсь читалками или подобным ПО, посему, если кто-то может посмотреть популярные приложения для чтения новостей, пожалуйста, проверьте их user-agent’ы или принцип получения данных из гугла. Может быть, получится найти нужное ПО.

Это бесчисленные клиентские новостные приложения коих развелось немерено )

---------- Добавлено 06.06.2014 в 14:05 ----------

И? 😂 Приложение это, по-сути, такой же браузер для просмотра контента. Ничего незаконного они не делают - пользователь вправе просматривать через что хочет - и ничего поделать с этим Вы не сможете.

Кроме того я так и не понял: Вы не довольны тем, что к Вам пришел халявный трафик? :)

Вот же разжирел народ 😂

Уважаемый, вы невнимательно прочитали сообщение. Данный трафик – паразитный, т.к. пользователи не заходят на сайт. Клиентское приложение, какое бы оно не было, просто забирает данные с сайта и показывает в своей оболочке (кстати, тем самым нарушая ГК РФ ч4, раздел VII). Получается, реально на сайт пришло всего 8к, а обращений было порядка 30к.

Что касается блокировки, то, естественно, недобросовестные приложения, подменяющие или использующие различные user-agent’ы, поймать и «обезвредить» невозможно.

К тому же, зная программу, которая ведёт себя описанным ранее образом, можно найти пути её блокировки.