国内首个开源千亿参数MoE大模型来了！性能超Grok-1，单张GPU可跑

AIGC动态欢迎阅读

原标题：国内首个开源千亿参数MoE大模型来了！性能超Grok-1，单张GPU可跑
关键字：腾讯,模型,参数,智能,专家
文章来源：智东西
内容字数：4516字

内容摘要：

APUS-xDAN-4.0（MoE）参数规模1360亿，可在消费级显卡4090上运行。
作者|程茜
编辑|心缘
智东西4月2日报道，今天，全球移动互联网公司APUS与大模型创企新旦智能宣布，联手开源国内首个千亿参数的MoE（混合专家模型）APUS-xDAN大模型4.0，这也是国内首个可以在消费级显卡上运行的千亿MoE中英文大模型。
APUS-xDAN-4.0（MoE）参数规模为1360亿，可在消费级显卡4090上运行，据APUS实测，其综合性能超过GPT-3.5，达到GPT-4的90%。
数学能力上，测评基准GSM8K的测评得分为79，理解能力MMLU达到73分。
项目地址：
https://github.com/shootime2021/APUS-xDAN-4.0-moe?tab=readme-ov-file
推荐智东西年度会议。4月18-19日，2024中国生成式AI大会将在北京举行。免费报名或购票通道开放中，期待你的参会~01.
数学、推理能力碾压
推理成本下降400%
APUS-xDAN-4.0（MoE）在GitHub的页面显示了基准测评结果，其与Mixtral-8x7B（Mo

原文链接：国内首个开源千亿参数MoE大模型来了！性能超Grok-1，单张GPU可跑