Diggernaut

Diggernaut — это сервис для сбора данных с различных веб-ресурсов, сайтов и документов. Другими словами, с любым сайтом можно работать как с API, или собрать разрозненную информацию с сайта и упорядочить ее в структурированный набор данных. Парсеры можно запускать вручную или по расписанию, а также запускать через API и, используя сервис Zapier, из тысячи других API и сервисов.

Собранные данные можно скачать вручную в формате CSV, XLSX, JSON, XML, или в любом тескстовом формате, используя темплейтную систему. Также, для коммерческих подписчиков, данные могут быть доставлены через сервис Diggernaut.io на FTP, API, и другие точки, а также раздача данных может быть организована в виде фидов без авторизации. Пользователи с бесплатным тарифом, как и коммерческие пользователи, могут использовать API для автоматизации работы с сервисом или экспортировать данные в тысячи других API и сервисов, используя Zapier.

Работать с сервисом могут даже люди, далекие от программирования, используя специальный визуальный редактор для конфигурации парсеров. По понятным причинам, такой редактор не поможет во всех случаях, и тогда на помощь придет специальный мета-язык. Изучив его, можно решать задачи любой сложности и писать парсеры для любых веб-ресурсов.

Сервис позволяет запускать парсеры в облаке. Чтобы парсер работал, не нужно держать компьютер включенным. Также можно скомпилировать парсер и скачать исполняемый файл для запуска на компьютере или сервере. Скомпилированный парсер совершенно отвязан от сервиса Diggernaut и аккаунта, потому запуск не требует лишних ресурсов. Однако, появляются ограничения функций: нельзя использовать прокси-сервера Diggernaut, OCR функции, «Данные по требованию» и «Режим апдейта» при сборе данных.