10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队

AIGC动态欢迎阅读

原标题：10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队
关键字：模型,速度,人工智能,性能,架构
文章来源：机器之心
内容字数：4060字

内容摘要：

机器之心报道
编辑：泽南、蛋酱能带来完全不同的大模型体验。我们知道，大模型到 GPT-3.5 这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。
但自本周起，这种观念已成为历史。
有名为 Groq 的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了 GPU—— 比英伟达的 GPU 快 10 倍，而成本仅为 GPU 的 10%，只需要十分之一的电力。
这是在 Groq 上运行 Llama 2 的速度：
来源：https://twitter.com/emollick/status/1759633391098732967
这是 Groq（Llama 2）和 ChatGPT 面对同一个 prompt 的表现：
图源：https://x.com/JayScambler/status/1759372542530261154?s=20
尽管看起来不可思议，但事实就是如此，感兴趣的朋友不妨一试。
目前，Groq 的官网提供了试用体验，有这些模型可选：官网地址：https://groq.com/
Groq 的处理器名为 LPU（语言处理单元），是

原文链接：10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队