AIGC动态欢迎阅读
原标题:DeepSeek 万卡集群及软硬件协同设计框架Fire-Flyer AI-HPC
关键字:节点,解读,交换机,架构,算法
文章来源:智猩猩GenAI
内容字数:0字
内容摘要:
GTIC 2024中国AI PC创新峰会将于10月11日,在2024上海国际消费电子展TechG同期举办。联想集团首席研究员颜毅强、荣耀终端有限公司PC产品研发系统部部长席迎军等7位嘉宾,将分别围绕面向大模型的个人计算体系和交互、AI 重构PC、RISC-V AI芯片、AIGC在端侧产品的发展、操作系统与AI技术结合探索、联合模型和硬件的优化适配平台MLGuider、智能体个人助理等议题进行演讲,欢迎报名~本文提出Fire-Flyer AI-HPC框架,在DL训练中部署含1万个PCIe A100 GPU的Fire-Flyer 2,实现了接近NVIDIA DGX-A100的性能,同时将成本降低近一半,能源消耗降低了40%。同时提出HFReduce算法来加速allreduce通信,并通过优化保证计算-存储集成网络无拥塞。此外还利用HaiScale、3FS和HAI-Platform等软件栈,通过重叠计算和通信等方法实现系统整体可扩展性。
论文地址:
https://arxiv.org/pdf/2408.14158
01Fire-Flyer 2:支持DL和早期LLM训练团队基于实际工作负载,使
原文链接:DeepSeek 万卡集群及软硬件协同设计框架Fire-Flyer AI-HPC
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...