Follow

推荐 GitHub 上一个开源免费的可视化的爬虫平台 Kspider。

通过以流程图的方式配置爬虫,基本上无需编写代码即可完成数据爬取工作,对小白来说极其友好。

GitHub: github.com/kkangert/kspider

具有如下主要特性:

- 支持 xpath 和 css 选择器;

- 支持 Cookie 自动管理;

- 支持插件插件扩展(自定义执行器,自定义函数等)和热插拔;

- 支持爬取由 js 动态渲染的页面;

- 支持同步和异步执行;

- 支持自定义 JS 脚本引擎。

提供了方便快捷的管理 UI,可在线管理和调试任务、查看日志以及爬虫可视化调试等,让我们爬取工作效率翻倍。

:icon_weibo: weibo.com/5722964389/OoeM0ylVt

Sign in to participate in the conversation
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。