Что это такое?
Colly — это фреймворк для парсинга и краулинга на Go: удобный интерфейс для написания любого краулера, парсера или «паука», который извлекает структурированные данные с сайтов — например, для сбора, обработки или архивирования данных.
Colly — это фреймворк для парсинга и краулинга на Go: удобный интерфейс для написания любого краулера, парсера или «паука», который извлекает структурированные данные с сайтов — например, для сбора, обработки или архивирования данных.Colly — это отдельная программа или библиотека для кода?Это фреймворк для Go — вы импортируете его в свою программу на Go и пишете краулер кодом. Отдельного приложения с графическим интерфейсом или исполняемого файла нет.
Это фреймворк для Go — вы импортируете его в свою программу на Go и пишете краулер кодом. Отдельного приложения с графическим интерфейсом или исполняемого файла нет.Как подключить её к проекту?Выполните команду 'go get github.com/gocolly/colly/v2' внутри своего Go-проекта, затем загляните в папку examples в репозитории — там есть готовые примеры краулеров, с которых можно начать.
Выполните команду 'go get github.com/gocolly/colly/v2' внутри своего Go-проекта, затем загляните в папку examples в репозитории — там есть готовые примеры краулеров, с которых можно начать.Нужно ли знать Go, чтобы пользоваться Colly?Да — Colly это фреймворк для Go, поэтому ваш парсер будет программой на Go, которую вы пишете сами. Отдельного GUI или слоя скриптов поверх неё нет.
Да — Colly это фреймворк для Go, поэтому ваш парсер будет программой на Go, которую вы пишете сами. Отдельного GUI или слоя скриптов поверх неё нет.Что уже сделали с её помощью?Определитель технологий сайтов в духе Wappalyzer (gowap), база игр Steam, клонер сайтов (goclone), CLI-утилита для сбора email-адресов; ещё docker-slim использует её для оптимизации контейнеров.
Определитель технологий сайтов в духе Wappalyzer (gowap), база игр Steam, клонер сайтов (goclone), CLI-утилита для сбора email-адресов; ещё docker-slim использует её для оптимизации контейнеров.Где найти примеры парсеров, чтобы поучиться?В папке examples репозитория Colly лежат более подробные примеры помимо базового сниппета из README — хорошее место, чтобы скопировать свой первый краулер.
В папке examples репозитория Colly лежат более подробные примеры помимо базового сниппета из README — хорошее место, чтобы скопировать свой первый краулер.Почему путь установки заканчивается на /v2?Модули Go требуют суффикса мажорной версии, когда библиотека доходит до v2, поэтому устанавливать и импортировать нужно github.com/gocolly/colly/v2, чтобы получить актуальную мажорную версию.
Модули Go требуют суффикса мажорной версии, когда библиотека доходит до v2, поэтому устанавливать и импортировать нужно github.com/gocolly/colly/v2, чтобы получить актуальную мажорную версию.What are similar projects?crawlee, scrapy, webmagic, MediaCrawler, Scrapling, proxy_pool, avbook, crawlab
crawlee, scrapy, webmagic, MediaCrawler, Scrapling, proxy_pool, avbook, crawlabWhich topics is it in?crawling, spider, encoding, data-mining, distributed, scraper, scraping, crawler, configuration, caching, concurrency, async
crawling, spider, encoding, data-mining, distributed, scraper, scraping, crawler, configuration, caching, concurrency, async