比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍

AIGC动态欢迎阅读

原标题：比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍
关键字：模型,速度,吞吐量,存储器,单元
文章来源：新智元
内容字数：6990字

内容摘要：

新智元报道编辑：桃子 好困
【新智元导读】卷疯了！世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。一觉醒来，每秒能输出500个token的Groq模型刷屏全网。
堪称是「世界上速度最快的LLM」！
相比之下，ChatGPT-3.5每秒生成速度仅为40个token。
有网友将其与GPT-4、Gemini对标，看看它们完成一个简单代码调试问题所需的时间。
没想到，Groq完全碾压两者，在输出速度上比Gemini快10倍，比GPT-4快18倍。（不过就答案质量来说，Gemini更好。）
最关键的是，任何人可以免费用！
进入Groq主页，目前有两种可以自选的模型：Mixtral8x7B-32k，Llama 270B-4k。
地址：https://groq.com/
与此同时，Groq API也向开发者提供，完全兼容OpenAI API。
Mixtral 8x7B SMoE可以达到480 token/S，100万token价格为0.27美元。极限情况下，用Llama2 7B甚至能实现750 token/S。
目前，他们还提供100万

原文链接：比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。