国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑

AIGC动态7个月前发布 智东西
11 0 0

国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑

AIGC动态欢迎阅读

原标题:国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑
关键字:腾讯,模型,参数,智能,专家
文章来源:智东西
内容字数:4516字

内容摘要:


APUS-xDAN-4.0(MoE)参数规模1360亿,可在消费级显卡4090上运行。
作者|程茜
编辑|心缘
智东西4月2日报道,今天,全球移动互联网公司APUS与大模型创企新旦智能宣布,联手开源国内首个千亿参数的MoE(混合专家模型)APUS-xDAN大模型4.0,这也是国内首个可以在消费级显卡上运行的千亿MoE中英文大模型。
APUS-xDAN-4.0(MoE)参数规模为1360亿,可在消费级显卡4090上运行,据APUS实测,其综合性能超过GPT-3.5,达到GPT-4的90%。
数学能力上,测评基准GSM8K的测评得分为79,理解能力MMLU达到73分。
项目地址:
https://github.com/shootime2021/APUS-xDAN-4.0-moe?tab=readme-ov-file
推荐智东西年度会议。4月18-19日,2024中国生成式AI大会将在北京举行。免费报名或购票通道开放中,期待你的参会~01.
数学、推理能力碾压
推理成本下降400%
APUS-xDAN-4.0(MoE)在GitHub的页面显示了基准测评结果,其与Mixtral-8x7B(Mo


原文链接:国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑

联系作者

文章来源:智东西
作者微信:zhidxcom
作者简介:智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...