全球最强开源模型一夜易主，1320亿参数推理飙升2倍！

AIGC动态欢迎阅读

原标题：全球最强开源模型一夜易主，1320亿参数推理飙升2倍！
关键字：模型,基准,数据,质量,参数
文章来源：新智元
内容字数：13904字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。全球最强开源模型，一夜易主！
刚刚，超级独角兽Databricks重磅推出1320亿参数的开源模型——DBRX。
它采用了细粒度MoE架构，而且每次输入仅使用360亿参数，实现了更快的每秒token吞吐量。
这种独特的MoE架构，让DBRX成为开源模型的SOTA，推理速度比LLaMA 2-70B快了2倍！
最重要的是，训练成本直接砍半！只用了1000万美元和3100块H100，Databricks就在2个月内肝出了DBRX。
比起Meta开发Llama2所用的成本和芯片，这只是很小一部分。DBRX在语言理解、编程、数学和逻辑方面轻松击败了开源模型LLaMA2-70B、Mixtral，以及Grok-1。
甚至，DBRX的整体性能超越GPT-3.5。尤其在编程方面，完全击败了GPT-3.5。
并且，DBRX还为开放社区和企业提供了仅限于封闭模型

原文链接：全球最强开源模型一夜易主，1320亿参数推理飙升2倍！