AI芯片黑马Groq走红，英伟达又多了一个挑战者｜甲子光年

AIGC动态欢迎阅读

原标题：AI芯片黑马Groq走红，英伟达又多了一个挑战者｜甲子光年
关键字：芯片,模型,速度,内存,架构
文章来源：甲子光年
内容字数：8839字

内容摘要：

天下武功，唯快不破。作者｜苏霍伊‍‍‍
编辑｜赵健
本周，一匹 AI 芯片黑马 Groq 在业内走红。
Groq 推出了一款全新的 AI 芯片 LPU（Language Processing Unit），宣称做到了“地表最强推理”——在 Groq 上运行大模型的推理速度，较英伟达 GPU 提高 10 倍，而成本只有其十分之一。
在 Groq 发布的同期，英伟达的股价巧合地连续四个交易日下跌，一直到昨天财报发布。
Groq 上的大模型每秒能够输出大约 500 个 token，而 ChatGPT-3.5 的公开版本每秒只能生成大约 40 个 token。Groq 云服务的对外开放，让大家切身感受到了不卡顿的了对话机器人用起来有多爽。
Groq 在社交平台X 信心爆棚地表示：“这不是进化，而是一场。”
随着 Sora 的火爆，多模态大模型对 AI 算力的消耗更高，英伟达的 GPU 芯片一卡难求，算力短缺成为很多 AI 公司面临的头等难题。“天下苦皮衣刀法久矣”，Groq 的横空出世，或为市场带来了一种全新的选择。
有 AI 开发者称赞 Groq 或为低延迟产品的“者”。Artific

原文链接：AI芯片黑马Groq走红，英伟达又多了一个挑战者｜甲子光年