您的位置:首页 > 源码 > webmagic垂直爬虫

webmagic垂直爬虫
webmagic垂直爬虫

webmagic垂直爬虫

webmagic是一个开源的Java垂直爬虫框架,目标是简化

立即下载
10

已有8631人下载

简单介绍

文章导读:webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。webmagic的主要特色:1、完全模块化的设计。

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。


webmagic的主要特色:

1、完全模块化的设计,强大的可扩展性。

2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。

3、提供丰富的抽取页面API。

4、无配置,但是可通过POJO+注解形式实现一个爬虫。

5、支持多线程。

6、支持分布式。

7、支持爬取js动态渲染的页面。

8、无框架依赖,可以灵活的嵌入到项目中去。

标签

  • 分类 源码
  • 大小 365.04KB
  • 版本 v0.7.5
  • 系统
0.101690s