webmagic README

The project's README from github.com/code4craft/webmagic. As one markdown file: README.md.

logo

Readme in Chinese

Maven Central License Build Status

A scalable crawler framework. It covers the whole lifecycle of crawler: downloading, url management, content extraction and persistent. It can simplify the development of a specific crawler.

Features:

Install:

Add dependencies to your pom.xml:

<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-core</artifactId>
    <version>${webmagic.version}</version>
</dependency>
<dependency>
    <groupId>us.codecraft</groupId>
    <artifactId>webmagic-extension</artifactId>
    <version>${webmagic.version}</version>
</dependency>

WebMagic use slf4j with slf4j-log4j12 implementation. If you customized your slf4j implementation, please exclude slf4j-log4j12.

<exclusions>
    <exclusion>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
    </exclusion>
</exclusions>

Get Started:

First crawler:

Write a class implements PageProcessor. For example, I wrote a crawler of github repository information.

public class GithubRepoPageProcessor implements PageProcessor {

    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    @Override
    public void process(Page page) {
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='public']/strong/a/text()").toString());
        if (page.getResultItems().get("name")==null){
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
    }

    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {
        Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(5).run();
    }
}

You can also use annotation way:

@TargetUrl("https://github.com/\\w+/\\w+")
@HelpUrl("https://github.com/\\w+")
public class GithubRepo {

    @ExtractBy(value = "//h1[@class='public']/strong/a/text()", notNull = true)
    private String name;

    @ExtractByUrl("https://github\\.com/(\\w+)/.*")
    private String author;

    @ExtractBy("//div[@id='readme']/tidyText()")
    private String readme;

    public static void main(String[] args) {
        OOSpider.create(Site.me().setSleepTime(1000)
                , new ConsolePageModelPipeline(), GithubRepo.class)
                .addUrl("https://github.com/code4craft").thread(5).run();
    }
}

Docs and samples:

Documents: http://webmagic.io/docs/

The architecture of webmagic (referred to Scrapy)

image

There are more examples in webmagic-samples package.

License:

Licensed under Apache 2.0 license

Thanks:

To write webmagic, I refered to the projects below :

Mail-list:

https://groups.google.com/forum/#!forum/webmagic-java

http://list.qq.com/cgi-bin/qf_invite?id=023a01f505246785f77c5a5a9aff4e57ab20fcdde871e988

QQ Group: 373225642 542327088

webmagic (code4craft/webmagic)

Searching Database…

11.7K ·GitHub
Webmagic
Что это такое?WebMagic — это расширяемый фреймворк для веб-краулеров на Java. Он закрывает весь жизненный цикл краулера — скачивание страниц, управление URL, извлечение контента и сохранение результатов — чтобы упростить создание конкретного краулера.
Это готовый краулер, который можно просто запустить, или фреймворк, на котором я напишу свой?Это фреймворк, а не готовый краулер: вы пишете небольшой Java-класс, описывающий, что скачивать и что извлекать, а WebMagic берёт на себя весь конвейер вокруг него.
Как добавить его в свой проект и запустить первый краулер?Добавьте зависимости WebMagic в свой pom.xml, затем напишите класс, реализующий интерфейс PageProcessor — в примере из README это краулер, собирающий информацию о репозиториях GitHub.
Есть ли подводные камни с зависимостями?WebMagic логирует через slf4j и поставляется вместе с биндингом slf4j-log4j12; если вы используете свою реализацию slf4j, исключите slf4j-log4j12, чтобы избежать конфликтов.
Это что-то вроде Scrapy, только для Java?По сути да — архитектура явно построена по образцу Scrapy, фреймворка краулеров на Python; в README в качестве источника идей также упоминается Spiderman, более ранний Java-фреймворк для краулеров.
Мне всегда нужно реализовывать PageProcessor, или есть способ попроще?Нет — краулер можно описать и аннотациями на обычном Java-POJO, вообще без конфигурации.
Как указать краулеру, по каким ссылкам идти дальше?Внутри вашего процессора вызовите page.addTargetRequests(links), чтобы поставить найденные на странице URL в очередь на обход.
What are similar projects?crawlee, colly, Scrapegraph-ai, firecrawl, MediaCrawler, crawlab, scrapy, DrissionPage
Which topics is it in?scalable, web-crawler, scraper, multithreading, scraping, crawler, parser, web-scraping, http, distributed-systems, java, html
Creator
code4craft
Size
17 MB
Stars
11.7K
Updated
CommitJul 04ReleaseWebMagic-1.0.3Feb 10
Age
13y
Commits · 90 Days