国产最大MoE开源模型发布！腾讯AI Lab创始人带队，已融2亿美元

AIGC动态欢迎阅读

原标题：国产最大MoE开源模型发布！腾讯AI Lab创始人带队，已融2亿美元
关键字：腾讯,模型,数据,专家,性能
文章来源：智东西
内容字数：0字

内容摘要：

2550亿参数、免费可商用，前腾讯副总裁创业。
编辑|香草
智东西9月13日报道，今日，大模型创企元象XVERSE发布国内最大MoE开源模型XVERSE-MoE-A36B，其总参数2550亿，激活参数360亿，实现了达到千亿级别模型的性能“跨级”跃升。
同时，这款MoE模型与其Dense模型XVERSE-65B-2相比，训练时间减少30%，推理性能提升100%，每token成本大幅下降。
元象“高性能全家桶”系列全部开源，可无条件免费商用，为中小企业、研究者和开发者提供可按需选择的多款模型。
01.
国内最大开源MoE模型
无条件免费商用
不少行业前沿模型，包括谷歌Gemini-1.5、OpenAI的GPT-4、马斯克xAI的Grok等，都使用了MoE架构。
MoE是业界前沿的混合专家模型架构，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，并保持模型性能最大化。
在权威评测中，元象MoE效果大幅超越多个同类模型，包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral

原文链接：国产最大MoE开源模型发布！腾讯AI Lab创始人带队，已融2亿美元

联系作者

文章来源：智东西
作者微信：
作者简介：