Follow

DeepSeek 开源周第五天:放出两个项目。

第一个 Fire-Flyer File System (3FS):一款高性能分布式文件系统,专为 AI 训练和推理工作负载设计。

利用现代 SSD 和 RDMA 网络提供共享存储层,支持高达 6.6 TiB/s 的聚合读取吞吐量,简化分布式应用开发。

GitHub: github.com/deepseek-ai/3fs

主要特点和优势:

- 分离式架构,可访问数千 SSD 和数百存储节点的网络带宽

- 强一致性实现,采用链式复制与分配查询 (CRAQ)

- 支持数据准备、数据加载器、检查点和推理 KVCache

- 提供标准文件接口,无需学习新存储 API

- 测试显示在灰度排序测试中达到 3.66 TiB/分钟吞吐量

:icon_weibo: weibo.com/5722964389/PglvHydGP

Sign in to participate in the conversation
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。