昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理

AIGC动态欢迎阅读

原标题：昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理
关键字：报告,模型,元宇宙,切分,参数
文章来源：AI科技评论
内容字数：0字

内容摘要：

2024年6月3日，昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE ，性能强劲，同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型，也是首个支持用单台 4090 服务器推理的开源千亿 MoE大模型。1开源地址Skywork-MoE 的模型权重、技术报告完全开源，免费商用，无需申请：
•模型权重下载：
￮https://huggingface.co/Skywork/Skywork-MoE-base
￮https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
•模型开源仓库：https://github.com/SkyworkAI/Skywork-MoE
•模型技术报告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
•模型推理代码：（支持 8×4090 服务

原文链接：昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理