向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU

AIGC动态欢迎阅读

原标题：向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU
关键字：人工智能,语言,任务,公司,模型
文章来源：机器之心
内容字数：7375字

内容摘要：

机器之心报道
编辑：张倩这是一篇关于 LPU 的简单科普。
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。
不过最近，GPU 的地位也在经受挑战：一家名为 Groq 的初创公司开发出了一种新的 AI 处理器 ——LPU（Language Processing Unit），其推理速度相较于英伟达 GPU 提高了 10 倍，成本却降低到十分之一。
在一项展示中，LPU 以每秒超过 100 个词组的惊人速度执行了开源的大型语言模型 —— 拥有 700 亿个参数的 Llama-2。下图展示了它的速度，可以看到，人眼的阅读速度根本跟不上 LPU 上模型的生成速度：此外，它还在 Mixtral 中展示了自己的实力，实现了每个用户每秒近 500 个 token。
这一突破凸显了计算模式的潜在转变，即在处理基于语言的任务时，LPU 可以提供一种专业化、更高效的替代方案，挑战传统上占主导地位的 GPU。
不过，原阿里技术副总裁、Lepton AI 创始人贾扬清发文分析称，Groq 的实际部署成本可能

原文链接：向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU