Follow

开发者经常需要查看技术文档,这不仅是一项既耗时又繁琐的工作。

为了解决这个痛点,一款专为程序员打造的文档爬取和处理工具:DevDocs,开源了!

它能够自动爬取、提取并组织技术文档,将以往需要花数周理解文档的时间缩短至几个小时,极大提升我们的开发效率。

GitHub: github.com/cyberagiinc/DevDocs

主要功能:

- 智能爬取功能,支持 1-5 层深度的网站结构爬取;

- 自动发现链接和子 URL,全面映射网站结构;

- 并行处理技术,实现高速文档爬取与智能缓存;

- 干净提取内容,去除冗余信息易于理解;

- 支持 MD 和 JSON 导出格式,方便 LLM 训练。

除此之外,还内置 MCP 服务器,支持集成到 Claude、Cursor、Cline 等 AI 应用,实现聊天对话查询文档。

提供 Docker 快速部署方式,简单配置下,即可使用。

:icon_weibo: weibo.com/5722964389/Pmrw17ViL

Sign in to participate in the conversation
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。