DeepSeek 开源周：第五天 - Fire-Flyer 文件系统（3FS）

（下面文字主要由 Grok 3 协助生成）

概述

Deepseek 今天开源的 Fire-Flyer 文件系统（3FS）是一个高性能分布式文件系统，专门为 AI 训练和推理设计。研究表明，它解决了 AI 工作负载中处理海量数据的高效存储需求问题。

GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.

解决的问题

3FS 针对 AI 训练和推理中的几个关键挑战提供了解决方案：

高吞吐量与低延迟：AI 模型训练，尤其是大型语言模型（LLM），需要处理数万亿字节的数据。3FS 通过利用现代 NVMe SSD 和 RDMA 网络，提供高吞吐量存储。例如，在一个包含 180 个存储节点（每个节点配备 16 个 15.36TB PCIe 4.0x4 SSD 和 2 个 200Gbps InfiniBand NIC）的集群中，3FS 达到了 6.6 TiB/s 的峰值读取吞吐量（3FS GitHub 仓库）。这解决了传统文件系统在面对 AI 工作负载时的 I/O 瓶颈问题。
分布式环境中的一致性与可靠性：在分布式训练中，多个计算节点需要同时访问和修改数据，确保数据一致性至关重要。3FS 实现了 Chain Replication with Apportioned Queries (CRAQ) 机制，提供强一致性，使应用程序代码更简单且易于推理（Fire-Flyer AI-HPC 论文）。这避免了分布式系统常见的数据不一致问题。
数据准备与随机访问：AI 训练需要高效的数据加载器（dataloader）以支持随机访问训练样本。3FS 消除了预取或数据集混洗的需要，支持计算节点跨节点随机访问数据，特别适用于分布式训练场景（3FS GitHub 仓库）。
检查点和推理优化：3FS 支持高吞吐量的并行检查点保存和加载，例如在 LLM 训练中，每 5 分钟保存一次检查点，速度超过每节点 10 GiB/s（Fire-Flyer AI-HPC 论文）。此外，3FS-KV（基于 3FS 的键值存储扩展）通过 KVCache 技术为推理提供成本效益的缓存替代方案，峰值吞吐量可达 40 GiB/s，显著降低 LLM 服务成本（High-Flyer 网站）。

关键性能指标

类别	性能指标	细节/来源
峰值吞吐量	读取压力测试达到 6.6 TiB/s，背景流量下	180 存储节点，500+ 客户端节点， 3FS GitHub 仓库
GraySort 基准测试	30 分钟 14 秒内排序 110.5 TiB，平均吞吐量 3.66 TiB/分钟	25 存储节点，50 计算节点， 3FS GitHub 仓库
KVCache 推理吞吐量	峰值达 40 GiB/s，提供成本效益的缓存替代方案	文档图像： KVCache 读取吞吐量
存储容量与带宽	20 PiB 存储空间，9 TB/s 出站带宽，8 TB/s 读取吞吐量	Fire-Flyer AI-HPC 系统， Fire-Flyer AI-HPC 论文

带来的影响

3FS 的开源发布可能对 AI 研究和行业产生多方面的影响：

社区创新与协作：通过在 GitHub 上开源（3FS GitHub 仓库），3FS 允许研究人员和开发人员贡献代码、修复错误并开发新功能。这可能加速文件系统技术的进步，并促进 AI 领域的协作。例如，社区可能根据具体需求定制 3FS，以适应不同的硬件配置或工作负载。
降低成本与准入门槛：3FS 设计为在商用硬件上运行，例如 AMD EPYC CPU 和 InfiniBand 网络，这降低了构建高性能 AI 基础设施的成本（Fire-Flyer AI-HPC 论文）。Fire-Flyer AI-HPC 系统展示了 3FS 在 10,000 个 PCIe A100 GPU 上的部署，性能接近 NVIDIA DGX-A100，但成本降低一半，能源消耗减少 40%。这对资源有限的学术机构和中小企业尤为重要。
行业标准与竞争：3FS 的高性能指标，例如 GraySort 基准测试中的 110.5 TiB 数据排序，显示其在大数据处理中的潜力（3FS GitHub 仓库）。这可能推动 AI 文件系统领域的新标准，与现有系统如 WekaFS、DAOS 和 BeeGFS 竞争（Fire-Flyer AI-HPC 论文）。然而，其广泛采用和长期影响仍需观察，取决于社区反馈和实际部署案例。
意想不到的细节：3FS-KV 的引入为 LLM 推理提供了成本效益的缓存方案，通过在磁盘上实现 KV Context Caching，显著降低了服务成本（High-Flyer 网站）。这对商业 AI 应用尤其重要，可能改变 LLM 部署的经济模型。