万字长文细说腾讯发布史上最大开源Moe：Hunyuan-Large(详解版，建议收藏)

AIGC动态欢迎阅读

原标题：万字长文细说腾讯发布史上最大开源Moe：Hunyuan-Large(详解版，建议收藏)
关键字：模型,数据,指令,专家,报告
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

大会预告12月5日-6日，2024中国生成式AI大会（上海站）将举办。上海科大助理教授、博导顾家远，腾讯优图实验室天衍研究中心负责人吴贤，银河通用机器人合伙人张直政，趣丸科技副总裁贾朔，旷视研究院高级研究员李华东已确认参会，将围绕大模型、具身智能、AI视频生成带来分享，欢迎报名。简介
预训练
数据和分词器
模型结构
预训练
后训练
监督微调SFT
基于人类反馈的强化学习
模型评估
预训练模型评估
后训练模型评估
长上下文能力评估
总结
01简介Hunyuan-Large是目前(2024年11月)规模最大的开源Transformer混合专家模型(Moe)。该模型总共拥有3890亿个参数和520亿个激活参数，能够处理长达256K个token的输入。混元官方在各种基准测试上对Hunyuan-Large进行了全面评估，包括语言理解和生成、逻辑推理、数学问题解决、编程、长上下文和综合任务，在这些任务中，Hunyuan-Large都优于LLama3.1-70B，并展现出与规模更大的LLama3.1-405B模型相当的性能。Hunyuan-Large的主要贡献包括:
大规模的数据合成，且比之前文献多

原文链接：万字长文细说腾讯发布史上最大开源Moe：Hunyuan-Large(详解版，建议收藏)

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：