Если вы не можете сказать по существу - советую просто усложнить задачу, чтобы усилия на настройку парсера были больше, чем ценность слитой инфы - Веб-строительство

112

Ervin

23 января 2010 г. в 20:19

#21

bearman, в данном случае меня мало интересует валидность вёрстки. Меня интересует сам принцип. Если не можете сказать по существу - скажите что и где мне читать/искать.

Credendo vidas!

293

Brand from Amber

23 января 2010 г. в 20:20

#22

bearman, +1

Лучший способ понять что-то самому - объяснить это другому.

[Удален]

23 января 2010 г. в 20:23

#23

одна из смешных для меня, но отпугивающая школьников наповал была на амазоне в свое время, сейчас не знаю как там, там было несколько ксс файлов и один из них был "убирающий шум", потому что хтмл содержал огромное кол-во тегов с контентом которые ничего не значили, все они были display: none :D

ну потратил я тогда не час, а два, ну а школоту да, похоронит это

Подгрузка рекламных блоков РСЯ Яндекс кобласит Не платил налоги к

293

Brand from Amber

23 января 2010 г. в 20:24

#24

pelvis:
В чем отличие парсера от бота ПС?

Ботов ПС мы знаем в лицо =) (ЮзерАгенты, подсети, география)

345

pelvis

23 января 2010 г. в 20:28

#25

Brand from Amber:
Ботов ПС мы знаем в лицо =)

Ну это обычно не пугает тех, кто чуть из-за школьной парты встал.

А хотите, я его стукну? Он станет фиолетовым.. в крапинку (с)

Продаю вывески. Задарма и задорого (https://www.ledsvetzavod.ru/)

293

Brand from Amber

23 января 2010 г. в 20:36

#26

pelvis:
Ну это обычно не пугает тех, кто чуть из-за школьной парты встал.

Однако смысл сказанного мне непонятен

Я сейчас заканчиваю разработку системы фильтрации скликов ЯДа, так там 30% ботов отсеивается именно пробивкой по IP. т.е: стучится к нам кто-либо - первым делом смотрим страну, вторым - регион, третьим - провайдера... левые страны, регионы (в ЯДе с геотаргетингом проще), левые провайдеры (датацетнры, хостинг-провайдеры... и т.п..) сразу идут садом (получают достаточно большой процент вероятности). Так-что непуганые "ЧутьПослеШкольники" нам не страшны - сами с усами.

112

Ervin

23 января 2010 г. в 20:41

#27

pelvis, я понял, спасибо :)

Brand from Amber:
P.S. Кстати... самый простой способ обойти все ваши защиты - дёрнуть контент из кеша ПС, так-что не обольщайтесь ;)

Ну так в кеше он тоже будет "разбавленный", так сказать...

Да и понятно, что если надо будет - всё сольют :) Я хочу просто усложнить задачу, чтобы усилия на настройку парсера были больше, чем ценность слитой инфы... ну или хотя бы больше, чем усилия на парсинг другого, не моего сайта ))

31

Gar-ant

23 января 2010 г. в 20:43

#28

Главное на сайт не ставьте различные XML интерфейсы, типа RSS тогда проблем будет меньше с парсингом.

ДонЛоад ТраФ конВерТим здесь (http://loadpays.com/s.php?f=5724) и Вот здесь ! (http://happytraffic.biz/register?ref=531)

138

Ink-developer

23 января 2010 г. в 20:45

#29

Ervin:
То есть, чтобы осложнить жизнь парсеру, можно периодически менять порядок и количество тегов, вроде

<html>

<div class="article">

<table width="100%">

<p>ТЕКСТ</p>

</table>

</div>

</html>

<html>

<div class="superarticle">

<div class="article">

<table height="100%" width="99%">

<p>ТЕКСТ</p>

</table>

</div>

</div>

</html>

<html>

<div class="article">

<div>

<p>ТЕКСТ</p>

</div>

</div>

</html>

?

И чем вы тут усложнили? Обсолютно ни чем всегда контент тут: <p></p>, а парсер на другое и смотреть не будет и соответственно не догадается об усложнении ему жизни :)

И как бы вы не делали всегда можно будет зацепиться за что ни буть чтобы парсить. В итоге советую просто не забивать мозг, больше времени потратите на придумывание защиты чем человек на написание парсера.

Hetzner начал выгонять хостеров Упал доход Яндекс цепляет в конец

[Удален]

23 января 2010 г. в 20:45

#30

Gar-ant:
Главное на сайт не ставьте различные XML интерфейсы, типа RSS тогда проблем будет меньше с парсингом.

ню-ню- :::)

Яндекс Вебмастер вынес товарные фиды в отдельный раздел

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

Защита от парсинга сайта

zproxy.org