无问芯穹夏立雪：目标将大模型算力成本压缩四个数量级，为算力市场带来增量

AIGC动态欢迎阅读

原标题：无问芯穹夏立雪：目标将大模型算力成本压缩四个数量级，为算力市场带来增量
关键字：模型,芯片,腾讯,中间层,机器
文章来源：机器之心
内容字数：15188字

内容摘要：

机器之心原创
作者：姜菁玲算力不足仍然是制约通用人工智能发展的重要因素。GPU Utils 今年 8 月的一份数据显示，全球目前 H100 等效算力的供给缺口达到 43 万张。在解决算力不足的问题上，除了抢购和囤积英伟达，更多的方案正在浮出水面。
清华系创业公司无问芯穹，是这个赛道上的一个答题者。
不久前，机器之心介绍了来自无问芯穹（Infinigence AI）、清华大学和上海交通大学的联合团队所提出的一种新方法 FlashDecoding++。这项工作不仅能将 GPU 推理提速 2-4 倍，还能同时支持 NVIDIA 和 AMD 的 GPU。相较于 FlashDecoding，这项工作在 NVIDIA A100 实现了推理平均加速 37% ，在 AMD MI210 上实现 300%+ 的性能提升。
基于这项工作，无问芯穹所研发的 Infini-ACC 大模型计算优化引擎通过对模型、系统以及硬件层面的系统优化，能够推动实现大模型推理速度提升 10 倍，模型存储空间降低 10 倍，部署时间降至小时级。
无问芯穹依托计算加速的核心优势，帮助现有的算力方提高算力性能与性价比。并在核心优势基

原文链接：无问芯穹夏立雪：目标将大模型算力成本压缩四个数量级，为算力市场带来增量

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台