AIGC动态欢迎阅读
原标题:全球最大开源模型再刷爆纪录!4800亿参数MoE击败Llama 3、Mixtral
关键字:模型,团队,参数,企业,专家
文章来源:新智元
内容字数:10325字
内容摘要:
新智元报道编辑:编辑部
【新智元导读】最大开源模型,再次刷爆纪录!Snowflake的Arctic,以128位专家和4800亿参数,成为迄今最大的开源模型。它的特点,是又大又稀疏,因此计算资源只用了不到Llama 3 8B的一半,就达到了相同的性能指标。就在刚刚,拥有128位专家和4800亿参数的Arctic,成功登上了迄今最大开源MoE模型的宝座。
它基于全新的Dense-MoE架构设计,由一个10B的稠密Tranformer模型和128×3.66B的MoE MLP组成,并在3.5万亿个token上进行了训练。
不仅如此,作为一个比「开源」更「开源」的模型,团队甚至把训练数据的处理方法也全给公开了。
Arctic的的两个特点,一个是大,另一个就是非常稀疏。
好处就在于,这种架构让你可以用比别人少好几倍的训练开销,就能得到性能差不多的模型。
也就是说,与其他使用类似计算预算训练的开源模型相比,Arctic的性能更加优异。
比起Llama 3 8B和Llama 2 70B,Arctic所用的训练计算资源不到它们的一半,评估指标却取得了相当的分数!
图1 编码(HumanEval+和MB
原文链接:全球最大开源模型再刷爆纪录!4800亿参数MoE击败Llama 3、Mixtral
联系作者
文章来源:新智元
作者微信:AI_era
作者简介:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...