比 GPT-4 快 18 倍、自研芯片比英伟达 GPU 快 10 倍的 Groq，能否撼动英伟达？

AIGC动态欢迎阅读

原标题：比 GPT-4 快 18 倍、自研芯片比英伟达 GPU 快 10 倍的 Groq，能否撼动英伟达？
关键字：模型,解读,张量,产品,芯片
文章来源：Founder Park
内容字数：7750字

内容摘要：

这两天国内外人工智能圈子都在热议 Groq：这个硅谷公司的产品基于自研芯片可以做到在大模型推理时每秒处理将近 500 个 token。
500 个 token 什么概念，大概就是一句话的响应时间只需要不到 2 秒，如此这般的文字生成速度，甚至比翻译软件还快。当我们习惯了看 GPT 们慢悠悠的吐出答案时，第一次使用它看到那大模型生成的答案突突突的往外喷，或是更短的答案瞬间生成就像打开一个网页一样的快的时候，确实会惊的呆住一下。
这是在 Groq 上运行 Llama 2 的速度：
目前官网（groq.com）提供免费的试用，没有用过的可以感受一下。
你也可以在 Poe 上免费体验 Groq：https://poe.com/Mixtral-8x7b-Groq。
它一时间被冠以 game changer 的地位，被人们形容为即将干翻英伟达的存在。01如何实现：专为语言模型设计的张量流处理器在对 Groq 的讨论里有人把它叫做大模型，有人叫它芯片，它自己叫自己 LPU。这些眼花缭乱的形容让人很好奇，它到底是个啥，这么逆天的速度又是如何实现的？
根据 Groq 此前发布的论文，它的核心技术其实是一

原文链接：比 GPT-4 快 18 倍、自研芯片比英伟达 GPU 快 10 倍的 Groq，能否撼动英伟达？