首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语

AIGC动态欢迎阅读

原标题：首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
关键字：芯片,成本,模型,系统,服务器
文章来源：新智元
内容字数：10526字

内容摘要：

新智元报道编辑：润 好困
【新智元导读】SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。
他们提供的运行Mistral Mixtral 8x7b的API演示，让大部分习惯了其他LLM「娓娓道来」的用户直呼，简直是魔法！
Groq在处理单个数据序列方面展现出了惊人的性能优势，这可能使得「思维链」等技术在现实世界中变得更加实用。虽然Groq有如此之多的好处，但评估某款硬件是否真的具有性的核心标准是性能与总成本的比值。
为此，SemiAnalysis首席分析师Dylan Patel和分析师Daniel Nishball写了一篇万字长文，对Groq进行了深度地剖析。
「推理速度打破纪录，但代价是什么呢？」现在没有人会怀疑AI时代已经到来，重要的是要认识到，AI驱动软件的成本结构与传统软件有非常大的不同。
在开发和扩展AI软件规模的过程中，芯片微架构和系统架构起着关

原文链接：首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。