11.4K ·GitHub
Что это такое?
Spider-flow — платформа нового поколения для сбора данных с сайтов, которая позволяет проектировать сценарии парсинга в виде блок-схем, а не писать код.
Spider-flow — платформа нового поколения для сбора данных с сайтов, которая позволяет проектировать сценарии парсинга в виде блок-схем, а не писать код.Это инструмент без кода или мне всё равно нужно писать код для парсинга?Это платформа без кода с перетаскиванием элементов: краулеры строятся визуально в редакторе блок-схем. При этом поддерживаются плагины с собственными исполнителями и функциями для сложных случаев.
Это платформа без кода с перетаскиванием элементов: краулеры строятся визуально в редакторе блок-схем. При этом поддерживаются плагины с собственными исполнителями и функциями для сложных случаев.Как всё запустить?В проекте есть готовый Docker-образ, а также можно запустить собранное Java-приложение напрямую, так как это обычный Java-сервер.
В проекте есть готовый Docker-образ, а также можно запустить собранное Java-приложение напрямую, так как это обычный Java-сервер.Нужна ли база данных, чтобы сохранять собранные данные?Spider-flow умеет автоматически сохранять результаты в базу данных или в файлы и поддерживает несколько источников данных с операциями SQL select, insert, update и delete. Но база данных не обязательна.
Spider-flow умеет автоматически сохранять результаты в базу данных или в файлы и поддерживает несколько источников данных с операциями SQL select, insert, update и delete. Но база данных не обязательна.На что стоит обратить внимание перед парсингом с помощью этого инструмента?В проекте прямо предупреждается, что нельзя использовать его для действий, которые нарушают законы или нормы этики, а вся юридическая ответственность за неправомерное использование полностью лежит на пользователе.
В проекте прямо предупреждается, что нельзя использовать его для действий, которые нарушают законы или нормы этики, а вся юридическая ответственность за неправомерное использование полностью лежит на пользователе.Какие селекторы поддерживаются для извлечения данных?Поддерживаются XPath, JsonPath, CSS-селекторы, извлечение по регулярным выражениям и смешанные комбинации этих методов.
Поддерживаются XPath, JsonPath, CSS-селекторы, извлечение по регулярным выражениям и смешанные комбинации этих методов.Может ли он работать со страницами, которые формируются JavaScript или загружаются через AJAX?Да, он может собирать страницы, которые отрисовываются JavaScript или подгружаются через AJAX, обычно с помощью плагина Selenium для отрисовки в браузере.
Да, он может собирать страницы, которые отрисовываются JavaScript или подгружаются через AJAX, обычно с помощью плагина Selenium для отрисовки в браузере.Какие плагины доступны сразу после установки?В комплекте есть плагины Selenium, Redis, OSS, MongoDB, пул прокси-IP, распознавание текста (OCR) и отправка email.
В комплекте есть плагины Selenium, Redis, OSS, MongoDB, пул прокси-IP, распознавание текста (OCR) и отправка email.Есть ли отдельный проект фронтенда?Да, spider-flow-vue — это сопутствующий фронтенд на Vue.js для spider-flow. Автор также поддерживает связанный проект magic-api.
Да, spider-flow-vue — это сопутствующий фронтенд на Vue.js для spider-flow. Автор также поддерживает связанный проект magic-api.What are similar projects?crawlab, maxun, Scrapling, proxy_pool, crawl4ai, illa-builder, EasySpider, JeecgBoot
crawlab, maxun, Scrapling, proxy_pool, crawl4ai, illa-builder, EasySpider, JeecgBootWhich topics is it in?visual-programming, spider, web-crawler, data-extraction, crawler, low-code, no-code, mongodb, email, ocr, workflow, redis
visual-programming, spider, web-crawler, data-extraction, crawler, low-code, no-code, mongodb, email, ocr, workflow, redis