DeepSeek 万卡集群及软硬件协同设计框架Fire-Flyer AI-HPC

AIGC动态欢迎阅读

原标题：DeepSeek 万卡集群及软硬件协同设计框架Fire-Flyer AI-HPC
关键字：节点,解读,交换机,架构,算法
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

GTIC 2024中国AI PC创新峰会将于10月11日，在2024上海国际消费电子展TechG同期举办。联想集团首席研究员颜毅强、荣耀终端有限公司PC产品研发系统部部长席迎军等7位嘉宾，将分别围绕面向大模型的个人计算体系和交互、AI 重构PC、RISC-V AI芯片、AIGC在端侧产品的发展、操作系统与AI技术结合探索、联合模型和硬件的优化适配平台MLGuider、智能体个人助理等议题进行演讲，欢迎报名～本文提出Fire-Flyer AI-HPC框架，在DL训练中部署含1万个PCIe A100 GPU的Fire-Flyer 2，实现了接近NVIDIA DGX-A100的性能，同时将成本降低近一半，能源消耗降低了40%。同时提出HFReduce算法来加速allreduce通信，并通过优化保证计算-存储集成网络无拥塞。此外还利用HaiScale、3FS和HAI-Platform等软件栈，通过重叠计算和通信等方法实现系统整体可扩展性。
论文地址：
https://arxiv.org/pdf/2408.14158
01Fire-Flyer 2：支持DL和早期LLM训练团队基于实际工作负载，使

原文链接：DeepSeek 万卡集群及软硬件协同设计框架Fire-Flyer AI-HPC