推荐 GitHub 上一个开源免费的可视化的爬虫平台 Kspider。
通过以流程图的方式配置爬虫,基本上无需编写代码即可完成数据爬取工作,对小白来说极其友好。
GitHub: https://github.com/kkangert/kspider
具有如下主要特性:
- 支持 xpath 和 css 选择器;
- 支持 Cookie 自动管理;
- 支持插件插件扩展(自定义执行器,自定义函数等)和热插拔;
- 支持爬取由 js 动态渲染的页面;
- 支持同步和异步执行;
- 支持自定义 JS 脚本引擎。
提供了方便快捷的管理 UI,可在线管理和调试任务、查看日志以及爬虫可视化调试等,让我们爬取工作效率翻倍。