纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!

AIGC动态2个月前发布 量子位
8 0 0

纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!

AIGC动态欢迎阅读

原标题:纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!
关键字:模型,中国电信,数据,报告,集群
文章来源:量子位
内容字数:0字

内容摘要:


金磊 发自 凹非寺量子位 | 公众号 QbitAI首个由万卡集群训练出来的万亿参数大模型,被一家央企解锁了。
具体而言,为纯国产人工智能探索出这条路的正是中国电信人工智能研究院(TeleAI),是由中国电信集团 CTO、首席科学家、中国电信人工智能研究院院长李学龙教授带领团队完成。
据了解,训练使用的万卡集群由天翼云上海临港国产万卡算力池提供,并基于天翼云自研“息壤一体化智算服务平台”和电信人工智能公司自研“星海 AI 平台”的支持,可以实现万亿参数的常稳训练,平均每周仅有1.5次训练中断,集群训练稳定性达到国际领先水平。
而且基于此,TeleAI 还开源了由国产深度学习框架训练的千亿参数大模型——星辰语义大模型TeleChat2-115B。
TeleChat 是央企里首个开源的系列语义大模型,而 TeleChat2-115B 则在 TeleChat 的基础上,通过对训练数据量、数据质量和配比、模型架构等多维度的优化,取得了更进一步的效果提升!
在九月份的 C-Eval 评测 Open Access 模型综合榜单中,TeleChat2-115B 以86.9分的成绩,一举拿下了榜单第一!


原文链接:纯国产万卡集群炼出万亿参数大模型,被这家央企率先做到了!

联系作者

文章来源:量子位
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...