向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU

AIGC动态8个月前发布 机器之心
11 0 0

向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU

AIGC动态欢迎阅读

原标题:向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU
关键字:人工智能,语言,任务,公司,模型
文章来源:机器之心
内容字数:7375字

内容摘要:


机器之心报道
编辑:张倩这是一篇关于 LPU 的简单科普。
在如今的人工智能领域,「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU,连 OpenAI 都不能轻易升级 ChatGPT
不过最近,GPU 的地位也在经受挑战:一家名为 Groq 的初创公司开发出了一种新的 AI 处理器 ——LPU(Language Processing Unit),其推理速度相较于英伟达 GPU 提高了 10 倍,成本却降低到十分之一。
在一项展示中,LPU 以每秒超过 100 个词组的惊人速度执行了开源的大型语言模型 —— 拥有 700 亿个参数的 Llama-2。下图展示了它的速度,可以看到,人眼的阅读速度根本跟不上 LPU 上模型的生成速度:此外,它还在 Mixtral 中展示了自己的实力,实现了每个用户每秒近 500 个 token。
这一突破凸显了计算模式的潜在转变,即在处理基于语言的任务时,LPU 可以提供一种专业化、更高效的替代方案,挑战传统上占主导地位的 GPU。
不过,原阿里技术副总裁、Lepton AI 创始人贾扬清发文分析称,Groq 的实际部署成本可能


原文链接:向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...