国内最强AI芯片公司,适配满血版 DeepSeek 的目标是 25 Tokens/s。
原标题:部分国产芯片适配满血版 DeepSeek,仍「遥遥无期」
文章来源:AI科技评论
内容字数:6629字
国产AI芯片公司与DeepSeek:适配之路与未来展望
本文探讨了国产AI芯片公司适配DeepSeek大模型的现状及挑战,以及这对于AI芯片公司发展和上市的影响。
1. 蒸馏版与满血版DeepSeek:分水岭与挑战
许多国产AI芯片公司快速适配了DeepSeek的蒸馏版模型,这相对容易,因为其参数较小,易于部署,且能满足普通用户的需求,对AI普及意义重大。然而,适配满血版DeepSeek(参数高达671B)则难度显著提升,成为衡量AI芯片公司实力的分水岭。目前仅少数几家公司公开宣布完成适配,且性能普遍不佳。
2. 满血版DeepSeek适配的难点
适配满血版DeepSeek面临两大主要挑战:一是多机互联。由于满血版模型体积巨大,需要多台服务器协同工作,而国产AI芯片在多机互联技术(如NVLink的替代方案)方面相对落后,导致通信延迟高,影响性能。二是MoE混合专家系统。DeepSeek的MoE系统引入了动态路由机制,这与传统的Transformer模型不同,对芯片架构提出了新的挑战。此外,国产AI芯片普遍缺乏对FP8数据类型的原生支持,导致效率降低,需要更多算力资源。
3. 国内AI芯片公司适配现状及未来展望
目前,国内领先的AI芯片公司在满血版DeepSeek的适配速度上仍有较大提升空间,目标是在二月底前达到25 tokens/s。一些公司已经达到10 tokens/s,但与英伟达H100相比仍有较大差距。业内人士预测,未来一个月内,可能有一半的AI芯片公司无法有效适配满血版DeepSeek。然而,具备大模型部署经验的公司,适配只是时间问题。 能够快速有效支持满血版DeepSeek,将大幅提升AI芯片公司上市概率,因为这能直接体现其技术实力,并为其带来真实的业绩。
4. DeepSeek对产业的影响
DeepSeek的火爆对国内芯片产业、智算中心及AI应用发展均是重大利好。然而,国产AI芯片公司在技术方面仍需努力,尤其是在多机互联、对新数据类型的支持以及对MoE等新架构的适配方面。一些专家指出,国产AI芯片公司在研发方面缺乏前沿的指导,导致在一些关键技术上落后于国际领先水平。
5. 总结
适配DeepSeek满血版模型是国产AI芯片公司面临的一场重要考验。虽然挑战重重,但这也将推动国产AI芯片技术快速发展,最终促进整个AI产业生态的繁荣。 能否在技术上迎头赶上,并最终在市场竞争中胜出,将是决定国产AI芯片公司未来发展走向的关键。
联系作者
文章来源:AI科技评论
作者微信:
作者简介:雷峰网旗下AI新媒体。聚焦AI前沿研究,关注AI工程落地。