Follow

分享 GitHub 上一款简单易用的网站截图与数据抓取工具:ScrapeServ。

它能将任意网站URL转换为完整数据文件加屏幕截图,支持浏览器环境执行JavaScript,轻松获取动态网页内容,无需复杂配置。

GitHub: github.com/goodreasonai/Scrape

主要特性:

- 自动滚动页面并对不同区域进行截图,效果更全面

- 基于Docker容器运行,部署便捷,环境隔离

- 返回HTTP状态码与请求头信息,处理重定向与下载链接

- 采用Playwright和Firefox浏览器引擎确保高质量抓取

- 任务队列处理,可配置内存分配,提高资源利用率

只需克隆仓库并运行 docker compose up 命令,服务将在 localhost:5006 上可用。

:icon_weibo: weibo.com/5722964389/PhCcg4Ap1

Sign in to participate in the conversation
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。