PySipder爬虫程序

简单介绍

文章导读：PySipder是一个Python爬虫程序。PySipder特点：使用Python编写脚本，提供强大的APIPython 2&3强大的WebUI和脚本编辑器、任务监控和项目管理和结果查看支持JavaScript页面后端系统支持：MySQL,。

PySipder是一个Python爬虫程序。

PySipder特点：

使用Python编写脚本，提供强大的API

Python 2&3

强大的WebUI和脚本编辑器、任务监控和项目管理和结果查看

支持JavaScript页面

后端系统支持：MySQL, MongoDB, SQLite, Postgresql

支持任务优先级、重试、定期抓取等

分布式架构