性能强，成本低，运行快！最强开源大模型出现，超越ChatGPT和Llama！

AIGC动态欢迎阅读

原标题：性能强，成本低，运行快！最强开源大模型出现，超越ChatGPT和Llama！
关键字：模型,效率,任务,基准,性能
文章来源：夕小瑶科技说
内容字数：3485字

内容摘要：

夕小瑶科技说 原创作者 | 蛋糕大数据人工智能公司 Databricks放大招了！3月27日，该公司开源了通用大模型 DBRX，并声称该模型是迄今为止全球最强大的开源大型语言模型，比 Meta 的 Llama 2 更为强大。
Databricks CEO&创始人 Ali Ghodsi表示，DBRX不仅在测试中超过了所有先前的开源模型，而且该模型本身是一个专家混合模型（MoE），大致上拥有两倍的计算能力（132B），但成本只有Llama2-70B的一半（36B），这使得它既聪明又廉价。并且DBRX的运行速度接近于Llama2-70B的两倍。
DBRX 是在 12 万亿 Token 的文本和代码上预训练的 16×12B MoE LLM，它支持的最大上下文长度为 32k Tokens，并使用了DBRX 使用旋转位置编码 (RoPE)、门控线性单元 (GLU) 和分组查询注意力 (GQA) 等技术来提高模型质量，Hugging Face 工程师 Vaibhav Srivastav 用狂野表示他对DBRX性能的震撼！
知名的机器学习专家、著名书籍《The Hundred-Page Machine

原文链接：性能强，成本低，运行快！最强开源大模型出现，超越ChatGPT和Llama！

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189