全球最强开源模型一夜易主，1320亿参数推理飙升2倍！

AIGC动态欢迎阅读

原标题：全球最强开源模型一夜易主，1320亿参数推理飙升2倍！
关键字：模型,基准,数据,质量,参数
文章来源：新智元
内容字数：13904字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。全球最强开源模型，一夜易主！
刚刚，超级独角兽Databricks重磅推出1320亿参数的开源模型——DBRX。
它采用了细粒度MoE架构，而且每次输入仅使用360亿参数，实现了更快的每秒token吞吐量。
这种独特的MoE架构，让DBRX成为开源模型的SOTA，推理速度比LLaMA 2-70B快了2倍！
最重要的是，训练成本直接砍半！只用了1000万美元和3100块H100，Databricks就在2个月内肝出了DBRX。
比起Meta开发Llama2所用的成本和芯片，这只是很小一部分。DBRX在语言理解、编程、数学和逻辑方面轻松击败了开源模型LLaMA2-70B、Mixtral，以及Grok-1。
甚至，DBRX的整体性能超越GPT-3.5。尤其在编程方面，完全击败了GPT-3.5。
并且，DBRX还为开放社区和企业提供了仅限于封闭模型

原文链接：全球最强开源模型一夜易主，1320亿参数推理飙升2倍！

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。