分享 GitHub 上一款简单易用的网站截图与数据抓取工具:ScrapeServ。
它能将任意网站URL转换为完整数据文件加屏幕截图,支持浏览器环境执行JavaScript,轻松获取动态网页内容,无需复杂配置。
GitHub: https://github.com/goodreasonai/ScrapeServ
主要特性:
- 自动滚动页面并对不同区域进行截图,效果更全面
- 基于Docker容器运行,部署便捷,环境隔离
- 返回HTTP状态码与请求头信息,处理重定向与下载链接
- 采用Playwright和Firefox浏览器引擎确保高质量抓取
- 任务队列处理,可配置内存分配,提高资源利用率
只需克隆仓库并运行 docker compose up 命令,服务将在 localhost:5006 上可用。