19.8K ·GitHub
Что это такое?
Набор реальных проектов по веб-скрапингу на Python, каждый из которых нацелен на конкретный китайский сайт или приложение: Taobao, JD, NetEase Music, Bilibili, 12306 (железнодорожные билеты), Douyin, сайты с новеллами, сайты с мангой и другие.
Набор реальных проектов по веб-скрапингу на Python, каждый из которых нацелен на конкретный китайский сайт или приложение: Taobao, JD, NetEase Music, Bilibili, 12306 (железнодорожные билеты), Douyin, сайты с новеллами, сайты с мангой и другие.Это один инструмент или набор отдельных скриптов?Это набор самостоятельных скриптов и небольших проектов, по одному на каждый целевой сайт (например, biqukan.py, douyin.py, bilibili.py, jd.py), а не единый фреймворк или библиотека.
Это набор самостоятельных скриптов и небольших проектов, по одному на каждый целевой сайт (например, biqukan.py, douyin.py, bilibili.py, jd.py), а не единый фреймворк или библиотека.Как запустить один из этих парсеров?Выберите скрипт для нужного сайта (например, python biqukan.py, python bilibili.py -d cat -k cat -p 10, python jd.py -k mango), установите указанные сторонние зависимости и запустите его напрямую.
Выберите скрипт для нужного сайта (например, python biqukan.py, python bilibili.py -d cat -k cat -p 10, python jd.py -k mango), установите указанные сторонние зависимости и запустите его напрямую.Что нужно установить перед запуском этих скриптов?В основном requests и beautifulsoup4 (pip3 install beautifulsoup4 / pip3 install requests beautifulsoup4); у некоторых подпроектов, например zhengfangsystemspider, есть собственный requirements.txt.
В основном requests и beautifulsoup4 (pip3 install beautifulsoup4 / pip3 install requests beautifulsoup4); у некоторых подпроектов, например zhengfangsystemspider, есть собственный requirements.txt.Гарантируется ли, что эти парсеры будут продолжать работать?Нет: они извлекают данные с действующих сторонних сайтов и приложений и опираются на их текущую структуру или API, поэтому со временем они, скорее всего, сломаются. Некоторые скрипты (например, baiduwenku.py) прямо помечены как неполные и не годятся для других сайтов.
Нет: они извлекают данные с действующих сторонних сайтов и приложений и опираются на их текущую структуру или API, поэтому со временем они, скорее всего, сломаются. Некоторые скрипты (например, baiduwenku.py) прямо помечены как неполные и не годятся для других сайтов.Для кого это предназначено?Для начинающих и тех, кто учится и хочет на практике освоить приёмы веб-скрапинга на Python: от парсинга простых статичных сайтов до реверс-инжиниринга API приложений.
Для начинающих и тех, кто учится и хочет на практике освоить приёмы веб-скрапинга на Python: от парсинга простых статичных сайтов до реверс-инжиниринга API приложений.Что на самом деле делает загрузчик Douyin?Он скачивает видео из приложения Douyin; в более поздних версиях добавлена загрузка без водяного знака путём разбора URL-адресов видео напрямую, а не с помощью стороннего сайта-парсера.
Он скачивает видео из приложения Douyin; в более поздних версиях добавлена загрузка без водяного знака путём разбора URL-адресов видео напрямую, а не с помощью стороннего сайта-парсера.Можно ли с помощью этого скачать музыку или видео?Да: есть скрипты для пакетной загрузки треков NetEase Cloud Music из файла плейлиста и для пакетной загрузки видео Bilibili вместе с danmaku (комментариями, которые наложены поверх видео).
Да: есть скрипты для пакетной загрузки треков NetEase Cloud Music из файла плейлиста и для пакетной загрузки видео Bilibili вместе с danmaku (комментариями, которые наложены поверх видео).Есть ли инструмент для создания пула прокси-IP?Да, daili.py собирает пул прокси-IP, которым могут пользоваться другие парсеры из репозитория, чтобы не попасть под блокировку.
Да, daili.py собирает пул прокси-IP, которым могут пользоваться другие парсеры из репозитория, чтобы не попасть под блокировку.Есть ли здесь что-то для захвата билетов на поезда 12306?Да, 12306.py — простой скрипт для захвата железнодорожных билетов, который можно дорабатывать; он рассчитан на тех, у кого уже есть некоторый опыт в парсинге.
Да, 12306.py — простой скрипт для захвата железнодорожных билетов, который можно дорабатывать; он рассчитан на тех, у кого уже есть некоторый опыт в парсинге.What are similar projects?learn_python3_spider, PythonPark, MediaCrawler, Douyin_TikTok_Download_API, Python-Core-50-Courses, crawlab, TikTokDownloader, BettaFish
learn_python3_spider, PythonPark, MediaCrawler, Douyin_TikTok_Download_API, Python-Core-50-Courses, crawlab, TikTokDownloader, BettaFishWhich topics is it in?douyin, video-downloader, bilibili, scraper, crawler, python3, music, web-scraping, beginner-friendly, proxy, learning, tutorial
douyin, video-downloader, bilibili, scraper, crawler, python3, music, web-scraping, beginner-friendly, proxy, learning, tutorial