不用英伟达严选？DeepSeek最新开源项目再刷新认知，为何被赞“颠覆存储架构”

DeepSeek 文件系统背后的“王炸”到底是什么？

原标题：不用英伟达严选？DeepSeek最新开源项目再刷新认知，为何被赞“颠覆存储架构”
文章来源：AI前线
内容字数：6121字

DeepSeek开源高性能并行文件系统3FS：AI时代存储的“王炸”

本文总结了关于DeepSeek开源高性能并行文件系统3FS的报道要点，该系统旨在解决AI训练和推理中数据访问的瓶颈问题。

1. 3FS的核心特性与优势

3FS，全称Fire-Flyer File System，专为AI训练和推理工作负载设计。其核心设计理念是高吞吐、低延迟和强一致性。主要特性包括：分离式架构，整合数千块SSD和数百个存储节点的网络带宽，无需考虑数据局部性；强一致性，利用链复制与分配式查询（CRAQ）实现；文件接口，基于成熟的元数据服务与事务型键值存储，提供通用文件API；全流程优化，涵盖数据准备、数据加载、检查点和推理阶段的KVCache等环节。

2. 3FS的性能表现

在大型集群测试中，3FS展现出惊人的性能：在一个由180个存储节点组成的集群中，实现了约6.6 TiB/s的整体读取吞吐量；GraySort基准测试突破3.66 TiB/分钟；在推理场景下，单个客户端节点峰值可达40+ GiB/s。

3. 3FS与其他AI存储方案的比较

目前，市场上已有DDN、VAST Data、Weka.io等商业AI存储解决方案。DDN起源于HPC领域，更偏向传统HPC存储；Weka.io受到一些大模型公司的青睐。而3FS的开源，被认为填补了开源市场高性能并行文件系统的空白，其性能在国内处于领先地位。

4. 业内专家评价

资深存储技术专家高度评价了3FS的高性能、AI训练和推理的全流程优化以及KVCache访问协议，认为其为业界提供了更具性价比的推理解决方案，并推动了高性能文件系统在推理场景的落地。但同时也提醒了其使用和运维门槛较高，需要谨慎。

5. JuiceFS的视角

JuiceFS创始人苏锐指出，分布式文件系统是AI训练的关键存储技术，3FS凭借高性能SSD和IB网络，适合处理LLM所需的IO密集型和计算密集型任务。

6. 开源的意义

3FS的开源，向全球展示了中国企业在技术研发上的实力，也让业界更清晰地认识到高性能文件系统在大模型训练中的重要性。

7. 未来展望

文章最后提及了Qcon全球软件开发大会上关于智能时代存储架构的专题讨论，预示着该领域未来的发展方向。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。