首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语

AIGC动态欢迎阅读

原标题：首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
关键字：芯片,成本,模型,系统,服务器
文章来源：新智元
内容字数：10526字

内容摘要：

新智元报道编辑：润 好困
【新智元导读】SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。
他们提供的运行Mistral Mixtral 8x7b的API演示，让大部分习惯了其他LLM「娓娓道来」的用户直呼，简直是魔法！
Groq在处理单个数据序列方面展现出了惊人的性能优势，这可能使得「思维链」等技术在现实世界中变得更加实用。虽然Groq有如此之多的好处，但评估某款硬件是否真的具有革命性的核心标准是性能与总成本的比值。
为此，SemiAnalysis首席分析师Dylan Patel和分析师Daniel Nishball写了一篇万字长文，对Groq进行了深度地剖析。
「推理速度打破纪录，但代价是什么呢？」现在没有人会怀疑AI时代已经到来，重要的是要认识到，AI驱动软件的成本结构与传统软件有非常大的不同。
在开发和扩展AI软件规模的过程中，芯片微架构和系统架构起着关

原文链接：首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。