Key Collector - автоматизированная система анализа семантического ядра. Часть 9

Хочется помочь новичкам, но и палить свои источники нет охоты. Опишу актуальную ситуацию на последний месяц:

персональные прокси: цены 2-5$ за штуку, в зависимости от конторы и условий. В самых дешевых конторах сразу пишут, что они даю двум-трм клиентам, а не в одни руки. Раньше выгодно было брать у Глобател пачку на 50 штук, так как у них самые оптимальные скидки на большие пакеты (+ промо-скидка от KeyCollector). Но после нового года цены они подняли, и уже стало не так сладко.

Для Вордстата персональные прокси (цены 2-5$ за штуку) в рунете трудно найти, так как бывает, что они влетают в бан всей сетью, либо постоянно капчу ловят (подозреваю что не в одни руки их отдают). Я искал забугорные конторы без наличия оплаты по WebMoney. Логично что там наши вебмастера не очень пасутся. Но у них пинги с Яндексом не очень, и для Гугла они уже не подойдут. Оптимальный вариант: по 5-10 прокси у разных контор (СНГ+мир), или в одной купить. А еще лучше – проявить смекалку, и организовать себе хотя бы десяток профилей Директа (купить на ачате), прикрепить каждый за своим персональным прокси (только персональным!) и снимать частотность через него. Там не все фразы снимает, но 95% обрабатывает. «1 Ip + 1 профиль» снимает приблизительно 50-100 запросов в минуту любой частотности.

На практике даже персональные прокси попадались с ограничениями:

- у одной СНГ-конторы сильно резало секции. К примеру брал парсинг поисковых подсказок сразу с трех ПС, так прокси выдавали ошибку, а по одной ПС парсили.

- Казалось бы сео-запросы это не скачка фильма по торенту, но у меня при пиковых нагрузках до 50 мбит нагрузка сети идет при использовании (50-100 быстрых прокси). В забугорных компаний часто попадались варианты с тормозами на Яндексе (скорость до 100 килобИт), вот за них я переживал.

Поисковую выдачу снимать легко через незакапченные халявные прокси. Их можно напарсить всякими ломаными софтинками, или покупать рабочие тысячами на прокси-сервисах. Если парсить самому, то надо иметь мощный ПК (CPU 4-8 ядер по 2-4 ГГц ) для много-потоковой проверки их валидности. Для гугла у меня так постоянно находит 300-600 незакапченных из 50к найденных прокси (раз в неделю ищу свежие). Для Яндекса из них обычно только 100-300 без капчи, зато он их не отбрасывает так быстро, при тех же таймингах, что и для Гугла. Также замечу что 5-10% дынных с мордами и вхождением фразы в тайтл будут неправильными, так как часто такие прокси искривляют выдачу, - в конце лучше пересчитывать.

2CB9TOIIIA

В КК я их прокси проверяю только с включенной опцией «Считать закапченные прокси-серверы плохими». Вот тогда покажет реальную картину. Без капчи проверю только персональные прокси, потом программа раскапчивает их через сервисы. А вот тратить деньги, чтобы распознавать капчу для общих прокси нет смысла, ведь потом через пару секунд тот же прокси загонят на капчу другие вебмастера…

Отлично, хорошее видео - a главное смысл ясен :)

Скажите, можно ли через кей коллектор собирать данные о PR страниц в топ-10 по заданным ключевым словам и выводить в каком нибудь столбце?

shtolz, нет, т.к. PR не является характеристикой слов и не кореллирует с параметрами конкурентности в топе.

Не планируем включать данный элемент

MyOST, есть возможность экспорта только тех колонок, которые в данный момент отображаются? А то каждый раз лезть в настройки и галочками отмечать нужное для экспорта, не вариант, но в то же время не хочется экспортировать абсолютно все колонки.

Пы.Сы. Страница поддержки на запускается из программы. Модуль тех. поддержки запускается, но сама форма не подгружается.

Proofer, скрытые колонки и так не должны попадать в экспорт. Возможно, Вы что-то делаете по ошибке не так? Напишите, пожалуйста, в службу поддержки (через почту тогда).

«Вид – автонастройка видимости колонок – Экспортировать» и будет Вам счастье.

Может быть и я туплю. Всякое бывает.

Но речь не о скрытых колонках, а о видимых)

Смысл такой: вот я создал новый проект, сделал видимыми нужные колонки, всё спарсил и теперь мне нужно экспортировать эти колонки, но только видимые. Вот чтобы каждый раз не лазить в настройки я и предлагаю сделать возможным экспорт только видимых в данный момент колонок без лизания в настройки. Проще говоря: что вижу, то и экспортируется.

А то у меня сейчас, к примеру, видимы колонки "Фраза", "Источник", "Дата добавления", но в настройках галочками отмечены только "Фраза" и "Источник", и вот приходётся лезть в настройки перед экспортом, чтобы добавить ещё и "Дата добавления".

Ну думаю, что смысл понятен)

Что то никак немогу снять позиции и релевантные страницы, в язле все в порядке через те же прокси, неясно в чем косяк может отклик поставить побольше.

для таких случаев есть саппорт и тикеты, создайте новый тикет с указанием проблемы, а также того что пишет Коллектор в журнале операций