A-Parser - многофункциональный парсер SE, PR, TrustRank, DMOZ, WHOIS etc.

Бинг самый глючный поисковик, там очень много приколов, так что может прокси и не причем)

 

+1 иногда бинг показывает такую ахинею, парсить его очень сложно. Вбиваешь у себя в браузере запрос - все ок, затем этот же запрос в aparser, какую то хрень выдает, вбиваешь снова в браузере, такая же хрень, как и апарсер выдает.

 

я так понимаю это не баг, а крутая защита от парсинга

 

1.1.790 - экспорт множества заданий и JavaScript парсеров



В A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:



Улучшения

• Новый экспорт заданий
  
• В JavaScript парсерах добавлена возможность указать иконку парсера
  
• В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  
• Добавлено автоматическое версионирование JavaScript парсеров
  
• В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  
• В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  
• В JavaScript парсерах добавлен функционал управления прокси
  
• В парсере Check::BackLink улучшена обработка nofollow
  
  

Исправления в связи с изменениями в выдачи

• SE::DuckDuckGo, SE::Ask, SE::AOL, Rank::MajesticSEO
  
• SE::Bing не парсил при указании региона
  
• Парсер SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи
  
  

Исправления

• В парсере SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  
• A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  
• В парсере SE::Bing в серп могли попадать рекламные блоки
  
• В парсере Net::Whois собиралась дата для некоторых доменов
  
• В JavaScript парсерах исправлен вывод ошибок в коде
  
• В JavaScript парсерах исправлен подсчет HTTP запросов для статистики
  
  

 

Forbidden, а вы там еще Docker контейнер еще не делали с ним? У нас лицензия которую я тупо не могу времени найти запустить/настроить уже 2 месяца. Если бы оно в контейнере лежало - было бы очень мега круто. Вам его слепить наверное на час занятие.

 

у нас нубы виндузятники сами на линукс вдс ставят, в чем там может быть проблема?

 

Forbidden, в том что docker становится стандартом распространения софта. что проще - читать ваш мануал, ставить зависимости или просто сделать:

> docker-compose up и получить готовый, рабочий продукт одной командой?

--- Добавлено 30.3.2017---

и кстати, даже под вендой заведется.

 

действительно так сложно, голый дебиан:

Код:

root@8b4fd32c2805:/# wget https://a-parser.com/members/onetime/dd9c3f95f7befe31/aparser-linux-x64.tar.gz
root@8b4fd32c2805:/# tar zxf aparser-linux-x64.tar.gz
root@8b4fd32c2805:/# cd aparser
root@8b4fd32c2805:/aparser# ./aparser
root@8b4fd32c2805:/aparser# ps aux | grep aparser
root  2925  5.6  0.3 2000068 122840 ?  Sl  01:16  0:00 ./aparser
root  2926  0.0  0.2 164592 92964 ?  S  01:16  0:00 ./aparser

скачал, запустил одной командой

у меня докер много где используется, только это полный бред заявлять в данном контексте:

к какой кстати? под винду у нас нативный билд, мы уже экспериментировали с docker toolbox для запуска linux версии под win, полный провал, не может нагруженное приложение нормально работать в user space virtualization

 

Так, может кому-то из сообщества эта инфа понадобится:

Мы знаем, что есть вариант задания региона с добавлением параметра gl и буквенного обозначения страны в адресную строку. Я так понимаю в апарасере страна парсинга так и задается. Но в этом случае мы не получаем выдачу для человека из этой страны, мы именно получаем документы из этой страны, плюс подмешиваются часто в выдачу сайты региона, который по проксе определился, а это не всегда нам подходит.

В общем, есть 100% способ задать конкретный город для Google в A-Parser, чтобы получить по нему выдачу, включая рекламные блоки. Есть такой параметр в Google - uule. Значение этого параметра зашифровано, а подробно описан в статье Людкевича здесь Региональность в Google. Get-параметр uule

Умельцы сеошники из Украины уже сделали плагин для Google chrome - “GeoClever” для поиска Google

С его помощью можно сразу задать необходимый город в выдаче, что позволяет сразу получить параметр uule с уже зашифрованным значением.
Этот параметр и его значение и нужно скопировать->вставить в A-Parser в поле кастомных параметров, чтобы парсить выдачу для конкретного города.

Если Forbidden сделает еще как-то возможность задавать координаты местоположения браузера, то можно получить выдачу вплоть до улицы. Хотя я не знаю как там парсинг реализован, конечно

 

Dart, ну ты археолог, у нас этот параметр называется Location и туда достаточно указать canonical name отсюда Geographical Targeting | AdWords API | Google Developers
A-Parser уже сам сформирует uule

 

Ааа. Блин, про каноникал именно не знал. Тогда извиняюсь за "велосипедство"))

Ну а геолокацию получится сделать? Для локальный выдачи в США - кайф.

 

дак это же и есть геолокация или что ты имеешь ввиду?

 

Forbidden,
Я вот об этом (сама машина находится в канаде и айпишник канадский, я задал геолокацию в Хроме в Dev Tools). Как мы знаем алгоритм Колибри показывает выдачу в США вплоть до местоположения юзера по геолокации, поэтому подобная функция была бы кайф.

 

напрямую по координатам, интересно, добавь задачу у нас на форуме)

 

Forbidden, про винду пох я ей не пользуюсь, наверное сморозил. но плюсов от софта в контейнере больше чем минусов, хоть судя по всему у вас оно и правда в одном бинарнике.

 

бро ты просто был в плохом настроении судя по всему.
оно ставится меньше чем за 5 минут (1 катку)

 

Pau, да я не с претензией ни разу просто последнее время оч ценю софт в контейнерах, который никак не расползается по системе. то что тут self contained бинарник - большой плюс.

Forbidden, а на макоси оно поднимется? или лучше в виртуалке запустить?

 

пока версии для макоси нет

 

1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах



В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.

Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

Улучшения

• Новый парсер Shop::Amazon - парсит выдачу Amazon.com: Online Shopping for Electronics, Apparel, Computers, Books, DVDs & more по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
• Новый парсер Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
• Новый парсер SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
• Новый парсер SE::IxQuick - StartPage by Ixquick Search Engine - еще один поисковик, основанный на выдаче Google
• Добавление ссылок в индекс Бинга - SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
• Новый парсер Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer, собирает с Moz: SEO Software, Tools and Resources for Better Marketing 39 параметров по домену, сабдомену и странице
• JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
• В парсере SE::Yandex добавлен сбор времени последнего кэширования страницы

Исправления в связи с изменениями в выдаче

• SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
• SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
  
• В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
• SE::Google::Trends - полностью обновлен парсер и список собираемых значений
• Rank::LinkPad, Rank::MajesticSEO, SE::Seznam

Исправления

• Проблема с прокруткой в Планировщике
• Проблема с кодировкой в tools.parseJSON
• Ошибка импорта JavaScript парсеров

 

1.1.832 - новые парсеры, выбор языка интерфейса в Google



Улучшения

• Новый парсер Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
• Новый парсер Rank::MegaIndex - парсит сервис MegaIndex - Link Research & Backlink Checker, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
• Новый парсер Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе SEMrush - service for competitors research, shows organic and Ads keywords for any site or domain
• В парсере SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
• В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil
• Удалены 5 устаревших парсеров: SE::Google::PR - сервис больше не существует, SE::Google::Maps - выдача зависит от гео прокси, Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, Rank::Category - нет подходящего сервиса, Rank::DMOZ - dmoz прекратил свое существование в марте
• Теперь парсер SE::Yandex по умолчанию использует https, избегая ненужного редиректа

Исправления в связи с изменениями в выдаче

• SE::Bing, Rank::Archive, SE::AOL, SE::IxQuick, SE::Yahoo, Rank::Linkpad

Исправления

• JavaScript парсеры: исправлена обработка checkbox в настройках
• JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
• SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
• SE::Google::Trends - исправлена работа с неанглийскими запросами
• В парсере Net::HTTP исправлена работа опции Check next page в редких случаях
• Исправлена работа со сжатым контентом для редких сайтов

 

1.1.853 - новые парсеры и каталог пресетов



У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно

Улучшения

• Новый парсер HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
• Новый парсер Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
• Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
• Оптимизирована работа при большом числе активных заданий
• Оптимизирована версия A-Parser для ОС Linux x64
• Для парсера SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
• В парсере SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

Исправления в связи с изменениями в выдаче

• SE:uckDuckGo, SE::IxQuick, SE::Bing::AddURL

Исправления

• В парсере SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
• В парсере Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
• Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского
• Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры

 

Forbidden, в очередной раз спасибо за софт и особенно за сборник рецептов что постишь

вопрос: нужно много текста, очень много, разные языки. по кейвордам напарсил линки, тяну контент (HTML::TextExtractor).
проблема в том, что конечно попадается много лома в выдаче и много текста тянет нетематического вообще. школы, вузы, шмузы и т.п.
символов в блоке 500 ставлю, но вижу тянет много не нужного мне текста

как это можно обойти?
спасибо

 

на самом деле простых способов на ум не приходит, я думаю стоит поработать над самими запросам для парсинга ссылок
+ можно добавить банальные фильтры по стоп-словам

 

а что имеешь ввиду поработать над запросами для парсинга ссылок?
стоп слова сложно, языки разные

все муниципально/обучающие и прочие сайты не охватить, думаю)

 

так чтобы максимально "правильную" выдачу выдавал, можешь даже ограничить число линков на запрос(например 1 страница\10 ссылок), так меньше мусора попадать будет

 

Новый каталог парсеров и пресетов
Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера
На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

• Парсинг текстовки по ключу одним заданием
• Парсер Google Translate
• Парсер ключевых слов и бидов из 7search

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!

 

1.1.888 - парсер РосКомНадзора и переводчики Google и Яндекса



Улучшения

• Новый парсер Check::RosKomNadzor - проверяет наличие домена или ссылки в реестре запрещенных сайтов, для работы необходим антигейт
• Новый парсер SE::Google::Translate - переводчик текста через сервис Google Translate
• Новый парсер SE::Yandex::Translate - переводчик текста через Яндекс.Переводчик

Исправления в связи с изменениями в выдачи

• Парсер SE::DisconnectMe удален в связи с постоянным редиректом на DuckDuckGo, используйте SE::DuckDuckGo
• SE::Google::Images, SE::Google, SE::Yandex::Images

Исправления

• В парсере Net::Whois исправлена работа с доменной зоной .fr
• SE::Google - не собирались Related keywords на языках интерфейса отличного от английского
• Исправлен обход защиты CloudFlare на ОС Linux
• Исправлено падение при запуске задания с удаленным конфигом потоков
• Не корректно работало переопределение tools.js в задании, ошибка появилась в предыдущей версии
• В парсере SE::Google::ByImage не выводился Raw data
• В парсер Rank::SimilarWeb не корректно определялся totalvisits
• Не работало изменение названия пресета при импорте

 

Больше, лучше, быстрее - расширение команды поддержки

Всем привет, мы расширили команду поддержки пользователей!


Встречайте наших героев:

• Ярослав - руководитель службы поддержки
• Денис и Юра - наши новые специалисты

Также мы увеличили количество каналов для ваших вопросов:

• Тикет система, онлайн чат и форум поддержки
• Все популярные мессенджеры: Skype, Telegram, ICQ, Jabber

И самое главное: мы обновили документацию и продолжаем наполнять наш каталог парсеров и пресетов - уже более 140 готовых примеров! Предлагайте свои идеи и мы обязательно их реализуем!

 

1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google

В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:



Как следствие скорость парсинга Яндекса сильно выросла:



Улучшения:

• Добавлен парсер SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
• В парсере SE::Google::Translate названия языков теперь указаны на английском
• В парсер Shop::Amazon добавлена возможность указать домен амазона
• Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
• Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера

Исправления в связи с изменениями в выдаче:

• SE::Google::Fast, Shop::Amazon
• SE::Yandex - исправлена обработка каптчи
• SE::Yandex - исправлен сбор рекламных блоков
• В парсере SE::Rambler исправлена загрузка каптчи

 

Видео урок по созданию парсера на языке JavaScript

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.



Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла



Улучшения:

• Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик
  
  
• Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст

Исправления в связи с изменениями в выдаче:

• SE::Dogpile, Rank::MajesticSEO, SE::Google::Images, SE::Yandex

Исправления:

• Исправлены падения при работе JS парсеров на Windows 10
• Исправлен баг с "белым экраном", который появился в предыдущей версии
• Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
• Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
• Исправлена работа с каптчей в SE::Google при работе через IPv6 прокси

 

Видео урок: Парсинг пользователей ВК, которые лайкнули определенный пост

В этом уроке будет рассмотрен пример получения с помощью А-Парсер списка пользователей социальной сети Вконтакте, которые лайкнули выбранный пост. Такую информацию можно использовать для дальнейшего маркетинга, например, для рассылки сообщений только заинтересованным пользователям или проведения различных акций.




Урок включает в себя:

• Парсинг социальной сети Вконтакте после авторизации
• Отправка POST-запросов парсером и разбор результата
• Использование Cookies в парсинге

Готовый парсер можно взять в нашем каталоге пресетов: Получение списка пользователей, которые лайкнули пост в VK

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

 

Forbidden, я тут в теме про плагин для Пандоры, который дружит ее с А-Парсером, прочел, что вы там дорген собираетесь делать... Без шуток? Когда ожидать?)

 

обсуждение есть в нашем закрытом разделе, пока не ожидать

 

Эх) ну один фиг если будет такой же скоростной, как a-parser - я бы прикупил))