Groq发布超快LLM引擎，速度让英伟达望尘莫及

AIGC动态欢迎阅读

原标题：Groq发布超快LLM引擎，速度让英伟达望尘莫及
关键字：语音,模型,开发者,速度,引擎
文章来源：AI范儿
内容字数：0字

内容摘要：

点击上方蓝字关注我们“Groq公司最新推出的LLM引擎在速度和智能化方面取得突破，其响应速度达到每秒1256.54个token，远超Nvidia GPU，为AI应用部署提供了新的选择。Groq公司在AI领域取得了显著进展，其最新推出的大型语言模型（LLM）引擎在速度和智能化方面实现了重大突破。Groq上周低调发布了这项新功能，其响应速度达到了每秒1256.54个token，这一速度几乎是即时的，且据Groq称，是Nvidia等公司的GPU芯片所无法匹敌的。
Groq的这一成就标志着AI处理能力的一个新里程碑。公司网站引擎默认使用的是Meta公司的开源Llama3-8b-8192 LLM，用户还可以选择更大的Llama3-70b，以及一些Gemma（Google）和Mistral模型，未来还将支持更多模型。这种快速且灵活的体验对于开发者和普通用户来说都非常重要，它展示了LLM机器人的潜力。
Groq的CEO Jonathan Ross在接受《华尔街日报》采访时表示，一旦人们发现在Groq的快速引擎上使用LLM是多么容易，LLM的使用率将会进一步提高。例如，在一次演示中，Groq几乎是

原文链接：Groq发布超快LLM引擎，速度让英伟达望尘莫及