100B 的「跨级」跃升！元象发布最大 MoE 开源大模型，「高性能全家桶」系列全部免费

AIGC动态欢迎阅读

原标题：100B 的「跨级」跃升！元象发布最大 MoE 开源大模型，「高性能全家桶」系列全部免费
关键字：腾讯,模型,专家,数据,权重
文章来源：AI前线
内容字数：0字

内容摘要：

作者 | 华卫
9 月 13 日，元象 XVERSE 发布中国最大 MoE 开源模型：XVERSE-MoE-A36B。该模型总参数 255B，激活参数 36B，能 达到 100B 模型的性能「跨级」跃升，同时训练时间减少 30%，推理性能提升 100%，使每 token 成本大幅下降。
并且，元象「高性能全家桶」系列全部开源，无条件免费商用，海量中小企业、研究者和开发者能按需选择。
MoE（Mixture of Experts）是业界前沿的混合专家模型架构 ，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，并保持模型性能最大化。出于这个原因，行业前沿模型包括谷歌 Gemini-1.5、OpenAI 的 GPT-4 、马斯克旗下 xAI 公司的 Grok 等大模型都使用了 MoE。
免费下载大模型
Hugging Face：https://huggingface.co/xverse/XVERSE-MoE-A36B
魔搭：https://modelscope.cn/models/xvers

原文链接：100B 的「跨级」跃升！元象发布最大 MoE 开源大模型，「高性能全家桶」系列全部免费

联系作者

文章来源：AI前线
作者微信：
作者简介：