优秀Github开源Java项目推荐spider-flow

优秀Github开源Java项目推荐:spider-flow,一个可以用流程图的方式编写爬虫的项目,提供源码!
spider-flow是一个爬虫制作平台,提供平台源码,即,允许使用者以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台 。spider-flow平台使用Java,既能学习优秀的平台代码,又可以学习如何编写一个爬虫框架,一举两得 。
spider-flow包含非常丰富的特性:
1. 支持Xpath/JsonPath/css选择器/正则提取/混搭提取
2. 支持JSON/XML/二进制格式
3. 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete
4. 支持爬取JS动态渲染(或ajax)的页面
5. 支持代理
6. 支持自动保存至数据库/文件
7. 常用字符串、日期、文件、加解密等函数
8. 支持插件扩展(自定义执行器,自定义方法)
9. 任务监控,任务日志
10. 支持HTTP接口
11. 支持Cookie自动管理
12. 支持自定义函数
Github地址:GitHub - ssssssss-team/spider-flow: 新一代爬虫平台,以图形化方式定义爬虫流程,不写代...
还不心动吗?
【优秀Github开源Java项目推荐spider-flow】

优秀Github开源Java项目推荐spider-flow

文章插图
优秀Github开源Java项目推荐spider-flow

文章插图
优秀Github开源Java项目推荐spider-flow

文章插图