中国最大开源MoE模型，255B参数无条件免费商用，元象发布

AIGC动态欢迎阅读

原标题：中国最大开源MoE模型，255B参数无条件免费商用，元象发布
关键字：腾讯,模型,专家,数据,权重
文章来源：量子位
内容字数：0字

内容摘要：

允中 发自 凹非寺量子位 | 公众号 QbitAI元象XVERSE发布中国最大MoE开源模型：
XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升。
同时训练时间减少30%，推理性能提升100%，使每token成本大幅下降。
在多个权威评测中，元象MoE效果大幅超越多个同类模型。
包括国内千亿MoE模型 Skywork-MoE、传统MoE霸主Mixtral-8x22B 以及3140亿参数的MoE开源模型Grok-1-A86B等。
MoE（Mixture of Experts）是业界最前沿的混合专家模型架构 ，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，保持模型性能最大化。
出于这个原因，行业前沿模型包括谷歌Gemini-1.5、OpenAI的GPT-4 、马斯克旗下xAI公司的Grok等大模型都使用了 MoE。
值得一提的是，元象「高性能全家桶」系列全部开源，无条件免费商用，让海量中小企业、研究者和开发者能按需选择。
中国最大Mo

原文链接：中国最大开源MoE模型，255B参数无条件免费商用，元象发布

联系作者

文章来源：量子位
作者微信：
作者简介：