腾讯披露最新大模型训练方法：效率提升至 2.6 倍、可节省 50% 算力成本

AIGC动态欢迎阅读

原标题：腾讯披露最新大模型训练方法：效率提升至 2.6 倍、可节省 50% 算力成本

关键字：腾讯,模型,报告,框架,能力

文章来源：AI前线

内容字数：3133字

内容摘要：作者 | 褚杏娟 如今，大模型的参数规模呈现指数级增长。在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。11 月 23 日，腾讯披露，腾讯混元大模型背后的自研机器学习框架 Angel 再次升级，大模型训练效率提升至主流开源框架的 2.6 倍，千亿级大模型训练可节省 50% 算力成本。升级后的 Angel 支持单任务万卡级别超大规模训练，进一步提升腾讯云 HCC 大模型专属算力集群的性能和效率。训练推理效率如何再提升面向大模型训练，腾讯自研了机器学习训练框架 AngelPTM，针对预训练、模型精调和强化学习等全流程进行加速和优化：在存储方面，AngelPTM 计算支持多维度的并行，包括常见的数据并行、模型并行、流水并行和序列并行。此外，腾讯在 ZeRO-Cache 的基础上加入了统一视角技术，通过统一的地址寻址方式把显存和主存打通，训练时大量参数先放到系统…

原文链接：点此阅读原文：腾讯披露最新大模型训练方法：效率提升至 2.6 倍、可节省 50% 算力成本

联系作者

文章来源：AI前线

作者微信：ai-front

作者简介：面向AI爱好者、开发者和科学家，提供AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、AI论文解读。每周一节技术分享公开课，助力你全面拥抱人工智能技术。