DeepSeek 开源周第五天:放出两个项目。
第一个 Fire-Flyer File System (3FS):一款高性能分布式文件系统,专为 AI 训练和推理工作负载设计。
利用现代 SSD 和 RDMA 网络提供共享存储层,支持高达 6.6 TiB/s 的聚合读取吞吐量,简化分布式应用开发。
GitHub: https://github.com/deepseek-ai/3fs
主要特点和优势:
- 分离式架构,可访问数千 SSD 和数百存储节点的网络带宽
- 强一致性实现,采用链式复制与分配查询 (CRAQ)
- 支持数据准备、数据加载器、检查点和推理 KVCache
- 提供标准文件接口,无需学习新存储 API
- 测试显示在灰度排序测试中达到 3.66 TiB/分钟吞吐量