Follow
推荐 GitHub 上一个开源且强大的 Web 爬虫工具：FireCrawl。
可以爬取任何网站的内容并将其转换为 Markdown 或结构化数据，为大语言模型训练、检索增强生成（RAG）提供数据。
GitHub: https://github.com/mendableai/firecrawl
另外，还提供了易于使用且统一的 API，支持本地部署或在线使用，同时还支持与各种工具集成使用，如 Langchain、Dify、Flowise 等。
而且，项目一直在快速迭代更新增加很多实用的功能，有需求的可以关注并尝试下。
