Запускаем краулер, затем вычищаем регулярками теги - Веб-строительство

456

[umka]

23 января 2010 г. в 19:38

#11

satrau, думаю, тут параллельно стоит задача не защищаться от ботов поисковых систем )

Иначе бы всё можно было сделать очень просто )

Лог в помощь!

345

pelvis

23 января 2010 г. в 19:43

#12

Все очень просто. Смотрим на разные страницы (этот метод приемлем для больших сайтов), как правило, это 3-5 темплейтов. Определяем начальные и конечные теги. Запускаем краулер, затем вычищаем регулярками теги. Профит.

satrau:
и каждое следующее предложение подгружать аяксом

Хм, а пользователь тоже должен отправлять сообщения для чтения?

Продаю вывески. Задарма и задорого (https://www.ledsvetzavod.ru/)

Могут ли убить сайт Яндекс кобласит Google: не используйте разные

[Удален]

23 января 2010 г. в 19:53

#13

pelvis:
Хм, а пользователь тоже должен отправлять сообщения для чтения?

нет, только поисковые боты. гугль бочаге пользователей :)

bearman добавил 23.01.2010 в 22:53

к тому же они чаще всех посещают сайты)

345

pelvis

23 января 2010 г. в 19:56

#14

bearman:
нет, только поисковые боты. гугль бочаге пользователей

Ну разве что Гуголь :) А так безперспективняк :)

112

Ervin

23 января 2010 г. в 20:05

#15

pelvis, а какие теги считаются начальными и конечными? По какому принципу отбираются? Можете на примере какой-нибудь страницы показать? :)

Credendo vidas!

345

pelvis

23 января 2010 г. в 20:07

#16

Ervin:
а какие теги считаются начальными и конечными?

Какие я парсеру укажу, такие он и будет считать. Страница скачивается целиком всегда, потом идет разбор с перезаписью.

112

Ervin

23 января 2010 г. в 20:15

#17

pelvis:
Какие я парсеру укажу, такие он и будет считать. Страница скачивается целиком всегда, потом идет разбор с перезаписью.

То есть, чтобы осложнить жизнь парсеру, можно периодически менять порядок и количество тегов, вроде

<html>

<div class="article">

<table width="100%">

<p>ТЕКСТ</p>

</table>

</div>

</html>

<html>

<div class="superarticle">

<div class="article">

<table height="100%" width="99%">

<p>ТЕКСТ</p>

</table>

</div>

</div>

</html>

<html>

<div class="article">

<div>

<p>ТЕКСТ</p>

</div>

</div>

</html>

?

[Удален]

23 января 2010 г. в 20:16

#18

Ervin, классный пример инвалидной верстки! +1!

293

Brand from Amber

23 января 2010 г. в 20:19

#19

Ervin, Может имеет смысл задуматься не над "защитой контента", а над "идентификацией парсеров"? Зашёл человек (или робот ПС) - отдали один контент, а если пришёл парсер - другой.

P.S. Кстати... самый простой способ обойти все ваши защиты - дёрнуть контент из кеша ПС, так-что не обольщайтесь ;)

Лучший способ понять что-то самому - объяснить это другому.

345

pelvis

23 января 2010 г. в 20:19

#20

Ervin, я ему отдам на скармливание <p> в данном случае :)

Brand from Amber:
Зашёл человек (или робот ПС) - отдали один контент, а если пришёл парсер - другой.

В чем отличие парсера от бота ПС?

Яндекс Вебмастер вынес товарные фиды в отдельный раздел

Переиграть и победить: как анализировать конкурентов для продвижения сайта

Защита от парсинга сайта

zproxy.org