无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

AIGC动态1年前 (2023)发布 机器之心
29 0 0

无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

AIGC动态欢迎阅读

原标题:无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量
关键字:模型,芯片,腾讯,中间层,机器
文章来源:机器之心
内容字数:15188字

内容摘要:


机器之心原创
作者:姜菁玲算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示,全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上,除了抢购和囤积英伟达,更多的方案正在浮出水面。
清华系创业公司无问芯穹,是这个赛道上的一个答题者。
不久前,机器之心介绍了来自无问芯穹(Infinigence AI)、清华大学和上海交通大学的联合团队所提出的一种新方法 FlashDecoding++。这项工作不仅能将 GPU 推理提速 2-4 倍,还能同时支持 NVIDIA 和 AMD 的 GPU。相较于 FlashDecoding,这项工作在 NVIDIA A100 实现了推理平均加速 37% ,在 AMD MI210 上实现 300%+ 的性能提升。
基于这项工作,无问芯穹所研发的 Infini-ACC 大模型计算优化引擎通过对模型、系统以及硬件层面的系统优化,能够推动实现大模型推理速度提升 10 倍,模型存储空间降低 10 倍,部署时间降至小时级。
无问芯穹依托计算加速的核心优势,帮助现有的算力方提高算力性能与性价比。并在核心优势基


原文链接:无问芯穹夏立雪:目标将大模型算力成本压缩四个数量级,为算力市场带来增量

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...