热归热，Groq离取代英伟达GPU有多远？

AIGC动态欢迎阅读

原标题：热归热，Groq离取代英伟达GPU有多远？
关键字：华为,解读,成本,模型,张量
文章来源：机器之心
内容字数：3611字

内容摘要：

来源：节选自2024 年 Week08业内通讯2024 年 4 月 20日，即 Meta 开源 Llama 3 的隔天，初创公司Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。
2024 年 2 月，初创公司Groq 展示了其 LPU 处理器对大语言模型任务提供的超高速推理的支持。彼时，Groq的 LPU 已能够实现每秒能输出 500 个 token，比英伟达的GPU快10倍，而成本仅为GPU 的 10%。
4 月 20日，即 Meta 开源 Llama 3 的隔天，初创公司Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800，引起社区热议。
Groq 为何一夜爆火？
根据 Groq 官方在 2 月发布的 Demo 演示，基于其自研的 LPU 上运行的开源模型 Mixtral 能够在 1 秒内回复包含数百个单词的事实性的、引用的答案（其中四分之三的时间用来搜索）。
据悉，Groq 模型目前可在 Mixtral 8x7B SMoE 和 Llama2

原文链接：热归热，Groq离取代英伟达GPU有多远？

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台