A-Parser - многофункциональный парсер SE, PR, TrustRank, DMOZ, WHOIS etc.

Версия 0.9.200

Новые парсеры:

• Rank::Ahrefs - парсер количества беклинков с сервиса ahrefs.com, парсит общее число беклинков, количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
  
• SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста
  
• Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching

Новые возможности:

• Дополнительные опции по сохранению результатов - возможность добавить произвольный текст в начало и конец файла результата, может использоваться к примеру для обозначения названий колонок при формировании результата в csv виде

Связанные задачи:

 

Версия 0.9.209

Новый парсер Rank::CMS - определение более 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков.

Появилась версия с User API, теперь можно интегрировать A-Parser в свои скрипты и программы, более подробно про API описано тут: User API, взаимодействие с другими программами и скриптами

Исправлен парсер SE::Yandex

Общее повышение стабильности, улучшение интерфейса и другие фиксы.

Связанные задачи:

 

Версия 0.9.220

Улучшения

• В парсер SE::Yandex добавлена возможность выбора домена yandex.ua для парсинга, так же для этого парсера теперь конвертируется количество результатов в число.
• Для парсера SE::Google добавлена опция строгого поиска, т.е. если Google говорит что результатов не найдено, но предлагает другие результаты, то парсер не будет их учитывать.
• Теперь при экспорте пресета сохраняются все значимые настройки(кроме самих запросов).

Исправления

• В этой версии исправлена ошибка с утечкой сокетов при использовании SOCKS прокси, а так же несколько других ошибок влияющих на общую стабильность парсера.

Связанные задачи:

 

классно всё сделано, спасибо!

 

Версия 0.9.233

В этой версии полностью закончена разработка нового сетевого стека:

• Добавлена поддержка SSL/TLS для работы с сокетами
• Новый HTTP движок поддерживает HTTPS, старый движок полностью отключен

В целом теперь возможна работа по любым защищенным SSL/TLS протоколам через любые прокси. Полный отказ от старого движка уменьшил потребление памяти.

Исправлен парсер SE::Yandex, в парсер SE::Google::Suggest добавлена возможность выбора регионального домена гугла для парсинга.

Связанные задачи:

 

Версия 0.9.240

В этой версии несколько улучшений прокси чекера:

• Загрузка проксей из локального файла
• Возможность указать дополнительные регулярные выражения при парсинге проксей с внешних источников
• Сохранение живых проксей в локальный файл для последующего использования в других программах

Подробнее можно прочитать в документации: Все о прокси чекере

В API добавлена возможность парсинга нескольких запросов в многопоточном режиме, а также опция позволяющая возвращать результат выполнения в виде структуры данных, подробнее в документации: User API, взаимодействие с другими программами и скриптами

Парсер Net::HTTP теперь автоматически перекодирует содержимое страницы в UTF-8, исходная кодировка вычисляется на основании meta-тега http-equiv и заголовка Content-Type.

Парсер Rank::CMS ускорен в ~10 раз, сейчас средняя скорость проверки CMS по всем 277 типам движков составляет около 1500 ссылок в минуту.

Связанные задачи:

 

Версия 0.9.266

В этой версии:

Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.

Теперь сжатие gzip используется во всех парсерах по умолчанию.

Парсер HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.

Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.

Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}

Исправления затронули:

• HTTP движок
• фильтр результатов
• парсер SE::Yandex::WordStat

Связанные задачи:

 

Forbidden,
судя по скриншотам лендинга 500 потоков парсящих гугл через awmproxy грузят 100 Мбит канал на 66% и проц на 56%?
Предварительный отбор быстрых проксей из общего списка был?
Если нет, то парсинг проксями, которые по ссылке http://awmproxy.com/socks_proxy.txt или http://awmproxy.com/socks_good_proxy.txt ?
Сколько запросов за 5 минут при такой скорости успевает успешно обработать?
Есть ли утечки памяти в софте при длительной нагруженной работе?

Спрашиваю только ради праздного интереса, чтобы видеть к чему стремиться.
Т.к. мой софт при парсинге Google в 250 потоков через http://awmproxy.com/socks_good_proxy.txt использует 100 Мбит канал до 5% и проц до 10%. Только что замерил и за 5 минут успешно спарсило всего 1750 запросов. Сдается мне, что основной затык у меня в "зависающих" потоках при медленной скорости ответа Google.

 

практика показывает что надо брать лист socks_proxy и самому их по скорости отсекать, например выставляя время ответа в прокси чекере одну секунду.
Потому что в socks_good всегда очень мало материала.

 

это старый скрин, без gzip, сейчас подругому все

отбора проксей не было, из листа socksproxy.php с 5 сек таймаутом

ну как сколько? 5 минут * скорость, стока и успевает)

P.S. это не HTTP-запросы, это целиком запросы к гуглу на макс глубину(10 страниц * 100 резалтов, по факту 5-7 страниц)

сейчас скорость около 1-1.5к\мин в зависимости от запросов

в парсере гугла нету. есть в нескольких других, как раз ищу сейчас их

 

Версия 0.9.284

Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков

Переработан и улучшен парсер Rank::CMS:

• база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
• база почищена от мусора, теперь парсер определяет 186 различных CMS

Исправлен парсер SE::Bing::Translator в связи с изменениями на стороне сервера.

Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.

Связанные задачи:

 

Версия 0.9.296

Новые парсеры:

• SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
• SE::Yandex:osition - проверка позиции сайта по ключевому слову в Яндексе
• SE::QIP:osition - проверка позиции сайта по ключевому слову в search.qip.ru

Теперь все 3 парсера позиций сайта(по Гуглу, Яндексу и search.qip.ru) обладают следующими возможностями и опциями:

• Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
• Могут учитываться позиции поддоменов
• Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
• В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции

Полностью переработана работа с DNS серверами:

• Теперь парсер поддерживает работу с несколькими серверами
• Поддерживает настройку числа попыток и таймаута для запросов
• Может подключаться к серверам в случайной последовательности что позволяет распределить нагрузку на сами сервера
• Улучшена обработка ошибок от сервера

Остальные улучшения:

• Для парсеров Net::HTTP, HTML::LinkExtractor и Rank::CMS добавлена возможность указать произвольный User-Agent
• Для парсера SE::Yandex::WordStat добавлена возможность удаления + (плюса) из найденных ключевых слов
• Через API теперь можно запросить список живых проксей, подробнее в документации по API
• Добавлен макрос array[].size при формировании результата, позволяет вывести размер определенного массива
• Улучшена скорость декомпрессии gzip, тем самым повысив максимальную скорость при полной загрузке парсера

Связанные задачи:

 

A-Parser парсит сами бэклинки хоть в каком-нибудь виде? С ahefs.com или solomono.ru, например. Разумеется, надо с поддержкой авторизации на сервисах.

Было бы интересно, чтобы софт собирал контент с указанного списка страниц разных сайтов, а не одного сайта.

 

парсит по списку разных сайтов, или по одному сайту, как хочешь вообще.
На счет авторизации на сервисах: Форбидден пишет на заказ что угодно

 

сами беки не парсит, может парсить с ahrefs число беков, доменов и т.п.

да так и есть

 

Версия 0.9.325

В парсер добавлена поддержка AntiGate(и любых других сервисов с поддержкой их API)! На данный момент антигейт поддерживается 2мя парсерами:

• Util::AntiGate - парсер для проверки и настройки антигейта, принимает ссылку на изображение каптчи и выводит разгаданный результат
• SE::Yandex - обход каптчи как с прокси так и без, автоматическая проверка правильности ответа

Новый парсер Rank::MajesticSEO - парсит число ссылающихся ссылок, доменов, IP-адресов и подсетей с сервиса www.majesticseo.com

Другие улучшения:

• Возможность выбора региона поиска для парсера Яндекса
• Возможность указания числа попыток для запроса при работе без прокси
• Для парсера Net::Whois теперь возможно вывести дату создания домена в результат, а так же исправлена работа с национальными доменами

Связанные задачи:

 

A-Parser - версия 0.9.335

Парсер SE::Yandex:

• Исправления в связи с изменением верстки в выдачи
• Добавлен домен yandex.by
• Исправлена работа с антигейтом при использовании доменов yandex.ua и yandex.by

Исправлен парсинг снипетов в SE::Google при наличии в выдаче видео
Исправлены все парсеры позиций - некорректное определение позиции на 2+ странице

Связанные задачи:

 

Версия 0.9.346

Новогоднее обновление новые парсеры:

• Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
• Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов

Улучшена производительность при высоких нагрузках примерно на 15%, исправлен парсинг второй ссылки в парсере SE::Google, а так же удален парсер Rank::Ahrefs - теперь он отображает результаты только зарегистрированным пользователям

Всех с наступающим!

Связанные задачи:

 

A-Parser - версия 0.9.356

Добавлен полноценный парсер SE::YouTube - парсит ссылку на ролик, титл, описание, имя пользователя, дату добавления, количество просмотров и длину ролика. Поддерживает все фильтры YouTube - по стране, по дате загрузки, типу результата(ролики, плейлисты, каналы), длине ролика, дополнительных параметров(HD, субтитры, CC лицензия, 3D контент, онлайн трансляция), сортировку(по релевалентности, количеству просмотров или рейтингу).

Для парсера SE::Yandex::Suggest добавлена возможность подстановки найденных кейвордов в запросы до указанного уровня, аналогично как сделано в парсере подсказок Google. Для парсера подсказок SE::Google::Suggest добавлена возможность выбора региона.

Теперь все макросы подстановок можно использовать непосредственно в списке запросов, что позволяет для разных запросов указывать свои подстановки.

Новые возможности в выводе результатов: теперь можно указать какие именно позиции выводить в массиве, например можно вывести топ-3 ссылок с Google.

Полностью переписан модуль формирования результата, среднее ускорение парсинга примерно 10% на большом числе потоков.

Парсер Rank::CMS ускорен в связи с исправлением внутренней ошибки.

Связанные задачи:

 

это парсер youtube API ? или ютюбовского сайта ?

 

сайта, все парсеры которые есть не требуют API\регистрации\ключей и т.п.

 

API парсить удобнее и данных больше/подробнее. Выдачи API и сайта я периодически сравниваю - разницы нет.
Раньше парсил сайт, сейчас перешел на API.
Единственное, что мне не хватает в API, так это парсинг "video alternative query", т.е. подсказки, когда искомых результатов мало, либо ютюб ваш запрос считает кривым, в API такого поля нет

для youtube api этого не надо, хотя может пока не надо. Имеется ввиду, что API key обязателен для write операций, а на чтение не нужно ( https://developers.google.com/youtube/faq?hl=ru#dev_key )
При промышленном парсинге видео youtube.API сильно упрощает задачу и экономит ресурсы. Да и смысла нет без надобности нагружать их сайт, искать себе прокси и тд, когда все отдается через API.

 

спасибо конечно, но там же пишут есть некие квоты

 

A-Parser - версия 0.9.370

Большое обновление интерфейса

• Просмотр настроек задания
• Редактирование созданного задания
• Копирование заданий
  
• Минимизация заданий
• Перемещение заданий в очереди вверх/вниз
  
• Просмотр текущего запроса целиком при наведении курсора
• Возможность удаления задания из очереди завершённых заданий
• Увеличение скорости работы интерфейса

Другие улучшения

• В парсер SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера SE::Yandex
  
• Теперь можно указывать разные данные для авторизации прокси в формате [noparse]loginassword@iport[/noparse]
• Улучшена скорость при сохранении прогресса задания

Исправления

• Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
• Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
• Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
• Исправление медленного регулярного выражения в парсере SE::Bing

Связанные задачи:

 

купил около 3х недель назад, могу сказать, что мега охуенный софт
столько радости не испытывал давно)
наверно только от апостера еще были такие ощущения)))

 

Хороший софт... Как вебмастер со стажем могу рекомендовать парсер к покупке

 

A-Parser - версия 0.9.383

Добавлен парсер Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:

• Проверяет закрыта ли от индексации страница через robots.txt
• Проверяет meta тег robots на наличие атрибутов noindex и nofollow
• Проверяет наличие rel=nofollow у найденной ссылки

Парсер Rank::Ahrefs возвращен обратно

Теперь парсер собирает до 1000 результатов с каждого запроса

Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.

Исправлено:

• Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
• Исправлен парсер SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса

Связанные задачи:

 

Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.

Всего за год была проделана огромная работа:

• Выпущено 39 обновлений
• Сделано 195 улучшений
• Закрыта 141 ошибка

Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.

В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.

 

Поздравляю! Купил парсер в самом начале его создания, за год он вырос очень сильно, стал парсить все что можно. Поддержка была на высшем уровне. В общем, спасибо за хороший продукт и его поддержку!

 

A-Parser - версия 0.9.389

Парсер SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча


В парсере Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика

Парсер SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру


Улучшен парсер Check::BackLink:

• Теперь можно определить был ли редирект на странице нахождения беклинка
• В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
• Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку

Добавлена кнопка выхода из парсера(повторный запрос пароля)

Исправлен парсер HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.

Связанные задачи:

 

Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии Встречайте версию 1.0.0!



Главное нововведение - конструктор запросов:



Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:

• Разделение запроса на части с помощью регулярного выражения
• Замена подстроки в запросе или замена регулярным выражением
• Выделение домена\главного домена из ссылки
• Добавление знака ! перед каждым словом в запросе(необходимо для парсера SE::Yandex::WordStat)
• Приведение запроса к верхнему\нижнему регистру

Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов

Забегая вперёд расскажу о ближайших планах расширения функциональности:

• Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
• Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности

Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь

Другие изменения в этой версии:

• Число результатов в парсере SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
• Исправлен парсер Rank::Alexa в связи с изменением выдачи
• Исправлен парсер SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию

Связанные задачи:

 

A-Parser - версия 1.0.11

Обновилось API, добавлено 3 метода:

• addTask - полноценное добавление задания, со всеми настройками
• getTaskState - получение состояния задания(статистика выполнения, текущий статус)
• changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)

Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами

В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель

Парсер SE::YouTube теперь дополнительно парсит ссылку на превью ролика

Исправлено:

• Парсер SE::YouTube в связи с изменением верстки
• Парсер SE::Yandex - исправлено определение даты попадания в индекс

Связанные задачи:

 

A-Parser - версия 1.0.21

Улучшения:

• Парсер Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
• Возможность выбора языка результатов для парсеров SE::Yahoo и SE::Suggest
• В парсер SE::Yandex добавлена поддержка домена yandex.kz
• Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
• В парсер Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
• В парсер Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
• В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса

Исправления:

• SE::AOL в связи с изменениями в выдачи
• SE::Google - исправлен парсинг Related keywords
• Исправлено определение кодировки через тег <meta charset=

 

A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:

• Поиск и извлечение данных по регулярному выражению
• Замена по регулярному выражению
• Разделение строки по произвольному разделителю
• Замена подстроки в строке
• Извлечение домена/главного домена из ссылки
• Приведение к верхнему\нижнему регистру
• Удаление HTML-тегов из текста
• Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст

Новый парсер SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:

• Обработка каптчи в парсере SE::Google
• Парсинг ссылок в SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"

 

A-Parser - полностью обновленный сайт

Несколько важных новостей:

• У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
• Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
  
  
  Подробнее на странице покупки A-Parser'а: Купить A-Parser
• У нас новый саппорт: Viktoria (контакты)
• Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте

Подписывайтесь на новости и общайтесь на форуме!