WebMagic快速入门

一、WebMagic介绍

WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。

1.1 WebMagic的四个组件

• 1.Downloader

Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

• 2.PageProcessor

PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。
在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

• 3.Scheduler

Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

• 4.Pipeline

Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。
Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

1.2 用于数据流转的对象

1. Request

Request是对URL地址的一层封装，一个Request对应一个URL地址。
它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。
除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等。

2. Page

Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。
Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。

3. ResultItems

ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理。

二、WebMagic功能

1 PageProcessor

1.1 抽取元素Selectable

WebMagic里主要使用了三种抽取技术：XPath、正则表达式和CSS选择器。另外，对于JSON格式的内容，可使用JsonPath进行解析。

1. XPath

以上是获取属性class=mt的div标签，里面的h1标签的内容

page.getHtml().xpath("//div[@class=mt]/h1/text()") 

详解看此博客https://www.cnblogs.com/huchong/p/10287427.html

3. CSS选择器

page.getHtml().css("div.mt>h1").toString() 

可以使用:nth-child(n)选择第几个元素，如下选择第一个元素

page.getHtml().css("div#news_div > ul > li:nth-child(1) a").toString() 

注意：需要使用>，就是直接子元素才可以选择第几个元素

5. 正则表达式

正则表达式则是一种通用的文本抽取语言。在这里一般用于获取url地址。

https://www.runoob.com/regexp/regexp-syntax.html

1.2. 抽取元素API

Selectable相关的抽取元素链式API是WebMagic的一个核心功能。使用Selectable接口，可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。

在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口。这个接口包含的方法分为两类：抽取部分和获取结果部分

//先获取class为news_div的div //再获取里面的所有包含文明的元素 List<String> list = page.getHtml() .css("div#news_div") .regex(".*文明.*").all(); 

1.3. 获取结果API

当链式调用结束时，我们一般都想要拿到一个字符串类型的结果。这时候就需要用到获取结果的API了。

当有多条数据的时候，使用get()和toString()都是获取第一个url地址。

String str = page.getHtml() .css("div#news_div") .links().regex(".*[0-3]$").toString(); String get = page.getHtml() .css("div#news_div") .links().regex(".*[0-3]$").get(); 

2. Scheduler组件

Scheduler是WebMagic中进行URL管理的组件。一般来说，Scheduler包括两个作用：

• 对待抓取的URL队列进行管理。
• 对已抓取的URL进行去重。

去重部分被单独抽象成了一个接口：DuplicateRemover，从而可以为同一个Scheduler选择不同的去重方式，以适应不同的需要，目前提供了两种去重方式。

如果要使用BloomFilter，必须要加入以下依赖：

 
    <dependency> <groupId>com.google.guava 
     groupId> <artifactId>guava 
      artifactId> <version>16.0 
       version>  
        dependency> 

修改代码，添加布隆过滤器

public static void main(String[] args) { 
    Spider.create(new JobProcessor()) //初始访问url地址 .addUrl("https://www.jd.com/moreSubject.aspx") .addPipeline(new FilePipeline("D:/webmagic/")) .setScheduler(new QueueScheduler() .setDuplicateRemover(new BloomFilterDuplicateRemover())) //参数设置需要对多少条数据去重 .thread(1)//设置线程数 .run(); } 

修改public void process(Page page)方法，添加一下代码

//每次加入相同的url，测试去重 page.addTargetRequest("https://www.jd.com/news.html?id=36480"); 

3. 使用Pipeline保存结果

3.1.Pipeline介绍

在WebMagic中，Pileline是抽取结束后，进行处理的部分，它主要用于抽取结果的保存，也可以定制Pileline可以实现一些通用的功能。

Pipeline的接口定义如下：

public interface Pipeline { 
    // ResultItems保存了抽取结果，它是一个Map结构， // 在page.putField(key,value)中保存的数据， //可以通过ResultItems.get(key)获取 public void process(ResultItems resultItems, Task task); } 

可以看到，Pipeline其实就是将PageProcessor抽取的结果，继续进行了处理的，其实在Pipeline中完成的功能，你基本上也可以直接在PageProcessor实现，那么为什么会有Pipeline？有几个原因：

• 为了模块分离

“页面抽取”和“后处理、持久化”是爬虫的两个阶段，将其分离开来，一个是代码结构比较清晰，另一个是以后也可能将其处理过程分开，分开在独立的线程以至于不同的机器执行。

• Pipeline的功能比较固定，更容易做成通用组件

每个页面的抽取方式千变万化，但是后续处理方式则比较固定，例如保存到文件、保存到数据库这种操作，这些对所有页面都是通用的。

在WebMagic里，一个Spider可以有多个Pipeline，使用Spider.addPipeline()即可增加一个Pipeline。这些Pipeline都会得到处理，例如可以使用

spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline()) 

实现输出结果到控制台，并且保存到文件的目标。

3.2.已有的Pipeline

3.3.自定义Pipeline导入数据

自定义SpringDataPipeline

@Component public class SpringDataPipeline implements Pipeline { 
    @Autowired private JobInfoService jobInfoService; @Override public void process(ResultItems resultItems, Task task) { 
    //获取需要保存到MySQL的数据 JobInfo jobInfo = resultItems.get("jobInfo"); //判断获取到的数据不为空 if(jobInfo!=null) { 
    //如果有值则进行保存 this.jobInfoService.save(jobInfo); } } } 

在JobProcessor中修改process()启动的逻辑，添加代码

@Autowired private SpringDataPipeline springDataPipeline; public void process() { 
    Spider.create(new JobProcessor()) .addUrl(url) .addPipeline(this.springDataPipeline) .setScheduler(new QueueScheduler() .setDuplicateRemover(new BloomFilterDuplicateRemover())) .thread(5) .run(); }