A-Parser - многофункциональный парсер SE, PR, TrustRank, DMOZ, WHOIS etc.

Уважаемые БСовцы! Представляю вам(пока только вам) мою новую бомбу

A-Parser - парсер и анализатор поисковых систем, хуизов, дмозов, в будущем еще дохрена всего будет

Много писать здесь не будут, специально сделал лендинг - http://a-parser.com/projects/a-parser/wiki/Полуприватные_продажи_A-Parser

Цена - 200$, в качестве скидки БСовцам - год без абонентки



Обсуждаем!

 

если с моей стороны сравнивать, то это огромный шаг вперед. апостер и рядом не стоял

добавлено через 16 секунд
и спасибо!

 

тестировал и сейчас пользуюсь этим парсером, все устраивает, парсит отлично.

 

Выглядит солидно Поздравляю с запуском

 

Тоже присоединюсь к поздравлениям. Явлюсь пользователем а-постера.
Но на данный момент, с заявленным функционалом, имхо, цена довольно таки высокая + еще поквартальная оплата. Возможно в дальнейшем с расширением функций, цена будет и адекватной.
Желаю удачи в совершенствовании продукта.

 

Forbidden, я так понимаю лицензия на будущую линуксовую версию распространяется или придется докупать?

 

да, распространяется, так же как с апостером

может я чего не написал? еще пока мало возможностей описано, однако насколько мне известно ниодин парсер(из продающихся) не может одновременно тянуть с нескольких источников и формировать результат сразу с нескольких парсеров
или это больше к количеству парсеров относится? Они добавлятся будут в большом числе скоро
вообщем если чего то нехватает можете прямо здесь писать. все учту

добавлено через 2 минуты
и поквартальная оплата(абонетка) - это стимул делать его каждый день лучше
тем более она не такая и большая(15$ / 3 месяца)
и тем более для БС год без абонентки

 

Версия 0.8.63

Добавлен перевод на русский, парсер Google Suggest(8000 запросов\мин в 500 потоков), добавлены новые опции для парсера гугла.

Добавлено\исправлено:

 

Версия 0.8.75

Добавлена поддержка Linux систем, установка не требуется.
Повышена общая производительность

Связанные задачи:

добавлено через 1 минуту
P.S. В разработке используется Redmine, все серьезно все баги и улучшения регистрируются мной или пользователями и реализуются

 

Версия 0.8.101

Колоссально повышена производительность:
40k+/min Google Suggest parsing(2k threads)
600+/min(about 3k pages/min) Google serp parsing(1k threads, full 100-mbit channel usage(100%))
40k+/min Google PR parsing(2k threads)

Полностью переделано внутреннее устройство очереди заданий, теперь она сохраняемая, при случайных падениях\перезагрузках продолжает работу с места падения, при этом не теряя ни одного запроса.

Связанные задачи:

 

Версия 0.8.102

Новые парсеры - яху и яндекс, новые парсеры подсказок - бинг, яху, яндекс

Связанные задачи:

 

Версия 0.8.104

Проделана огромная работа - добавлена уникализация по любому полю любого парсера, добавлена возможность делать парсерам дополнительные опции, например для гугл парсера уже сделан автоматический парсинг всех возможных резалтов.

Добавлена возможность прямо при создании задания изменять отдельные настройки каждого парсера(например парсим запросы inurl: - меняем Proxy retries с 10 на 200)

Добавлен парсинг релейтед кейвордов гугла, яху, бинга и яндекса; тренд-кейвордов яху.

Добавлены подсказки по возможным результатам от каждого парсера(например парсер гугла возвращает: кол-во страниц, серп с линками, анкорами, сниппетами и релейтед кеи)

Вот пару пикч:



- парсинг гугла с уником урла по домену 2ого уровня, с опцией сбора всех резалтов и оверрайдингом настроек, задание добавляется в пару кликов



- одновременный парсинг гугла бинга и яху, уник линков по домену, уник делается сразу для всех резалтов от всех парсеров, т.е. на выходе только уникальные по домену линки


Связанные задачи:

 

Версия 0.8.109

Начнем по порядку заходя в интерфейс сначала Вас попросят ввести пароль, по дефолту - пустой.

Для всех тех кому надо быстро добавлять типовые задания, кто не хочет копаться в настройках или просто лень - создан новый интерфейс добавления заданий(передыдущий никуда не делся, он для тех кто хочет большего). В данном интерфейсе добавление задания максимально упрощено, достаточно выбрать что парсить и указать запросы, и при надобности изменить кое какие опции - и опа, задание уже готово



По поводу парсера подсказок гугла - добавлена возможность автоматической подстановки уже найденных кеев. Теперь достаточно указать один кей и уровень до которого собирать и парсер автоматом вытянет все кеи с огромной скоростью.

И напоследок - включена возможность одновременного выполнения нескольких заданий в очереди.

Связанные задачи:

 

Версия 0.8.119 - исправление ошибок

Связанные задачи:

Открыто для общего доступа wiki апарсера, где можно читануть уже имеющиуюсь документацию, описания и т.д.
http://a-parser.com/projects/a-parser/wiki

P.S. для тех сеошников, кто заглядывает в этот топик, у нас у всех есть какие то специфичные задачи, подразумевающие парсинг чего то где то, давайте вместе обсудим, может вы бы хотели видеть что то этакое в парсере?

 

парсер wordstat'а есть?

 

еще нету, сделаем

сам я вордстат если и юзал то очень давно, вкратце можешь описать что и как парсить?

 

http://wordstat.yandex.ru

Выбираешь регион, собираешь слова и стату по ним, собираешь дополнительные слова, парсишь через прокси. Все опционально. Ничего хитрого за исключением того что Яндекс часто капчу подсовывает.

 

сделал, собирает до указанной страницы все кеи - показы, дополнительные кеи - показы, дату обновления и отдельно показы по главному кею

можно выбрать любой из 388 регионов

 

Версия 0.8.126

Парсер Yandex WordStat и скачивание результатов из админки.

Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.

Связанные задачи:

 

Респект за оперативные фичи!

 

Версия 0.9

Фильтрация результатов парсинга по любому полю, сравнения строк, чисел, регексы! Возможность парсить только уникальный запросы, выбор языка для SE::Google::Suggests, макрос {query} в имени файла! А так же динамическое использование памяти при уникализации, исправления SE::Google::TrustCheck и Net::Whois парсеров! Подробнее тут

Связанные задачи:

 

Версия 0.9.4

Парсинг результатов регулярными выражениями, Net::HTTP - скачивание страниц, HTML::LinkExtractor - парсинг внутренних и внешних ссылок, SE::Bing::LangDetect - проверка языка сайта, опции в тестовом парсинге, импорт и экспорт пресетов заданий. Теперь можно парсить сторонние ресурсы. Стучите если необходимо составить пресет для специфичного парсинга. Подробнее тут

Пример кастомного парсинга:


Связанные задачи:

 

Версия 0.9.16

Новые парсеры

• [noparse]Net:NS[/noparse] - парсер резолвит домены в IP адреса
• SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
• SE::Google:osition - проверка позиции домена по ключевому слову в гугле

Новые возможности

• Подстановка найденных ключевых слов в качестве запросов для парсера SE::Yandex::WordStat, аналогично как сделанно для SE::Google::Suggests
• Поддержка страниц для парсера Net::HTTP, теперь можно делать полноценные парсеры поисковых систем и т.п., пример для aol.com:

Подробнее тут

 

Юзаю, и парсер хорош и Форбидден хорош, помогает постоянно.

 

Версия 0.9.38

15 Исправлений и улучшений, в т.ч. сохраняемый уник при перезагрузки сервера и парсинг всех позиций для SE::Google:osition с выдачей ссылок с серпа!

Связанные задачи:

 

парсить по признакам из файла он может?
т.е. есть файл с 50к запросами
нужно парсить все во всех се с отбором результатов по уник юрлам и сброс результатов через заданные промежутки времени
+опционально фильтры - добавлять/не добавлять если содержит/не содержит дополнительные признаки

 

из файла конечно умеет
во всех сразу - тоже можно, уник тоже общий можно, резалт сохраняется сразу

про фильтры немного не понял что добавлять или не добавлять? фильтры есть по результатам - по равентсву, вхождениям строк, регексы и т.п.

 

Купил и активно юзаю, нравится что не грузит сервак практически (400 поток сейчас перманентно в фоне).
Форбиден терпеливо отвечает на все мои ламерские вопросы

 

Версия 0.9.57

Новый парсер SE::QIP - парсинг яндекса через search.qip.ru(в т.ч. парсинг до 5000 результатов с одного запроса), выбор времени серпа для гугла и яху, а так же множество исправлений и улучшений!

Подробнее тут

Связанные задачи:

 

Форбидену респект за терпение в ответах на мои ламерские вопросы Парсер отличный

 

Внимание, ценовая политика изменилась с 10.07.2012!

Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первый год без абонентской платы. Условия по абонентской плате так же распространяются и на существующих пользователей!

А так же спец предложение - всем клиентам A-Parser'а бесплатно приватные прокси на 20 потоков на 2 недели!

Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$

А так же A-Parser + A-Poster всего за 300$!


Это общие условия,
Для БС цена 180$ + прокси 50 потоков на 2 недели!

 

Версия 0.9.69

Новый парсер SE::Yandex::TIC - проверка индекса цитирования домена, а так же исправление выдачи Яндекс WordStat и Bing, подробнее тут

Связанные задачи:

 

Версия 0.9.166

Большое количество исправлений, доводим парсер до идеального состояния!

А так же плановые фиксы в связи с изменением выдачи для SE::Google и SE::Yandex.

В следующих версиях ожидается новый HTTP движок, который не попал в текущую версию в связи с продолжительным тестированием.

Связанные задачи:

 

Версия 0.9.182

Очень важные изменения:

• Новый более быстрый HTTP движок
• Уменьшение потребления памяти
• Общее увеличение производительности за счет внутренних оптимизаций

Улучшения:

• HTML::LinkExtractor: новые результаты {cleananchor} - анкор без html кода, и {nofollow} - определяет есть ли nofollow параметр
• HTML::LinkExtractor: опция Subdomains are internal - считает ссылки со всех сабдоменнов как внутрение
• Макрос {queriesfile} в Results -> File name - подставляет название файла с запросами

Исправления:

• Поправлен парсер SE::Google в связи с изменением формата выдачи

Связанные задачи:

 

Версия 0.9.194

Новые парсеры:

• [noparse]SE::Yandex:irect[/noparse] - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  
• SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер

Новые возможности:

• Опция, позволяющая парсить разные задания использую одну базу для уникализации, т.е. теперь можно при появлении новых признаков той же категории допарсить только новые результаты в старую базу
  
• Возможность залогиниться в 2+ парсера в одном браузере

Всего 12 улучшений и исправлений

Связанные задачи: