大模型训练成本降一半！厦大和vivo联合推出预训练新策略，给LLM降本增效

AIGC动态欢迎阅读

原标题：大模型训练成本降一半！厦大和vivo联合推出预训练新策略，给LLM降本增效
关键字：范式,性能,版本,成本,路径
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 王志豪鱼与熊掌可以兼得，厦门大学和vivo AI lab联合提出预训练学习率调整新策略，降低训练42%成本的同时，还能保持大模型效果，该成果已发表于AI领域的顶级会议EMNLP2024。
近年来，大语言模型（Large Language Models, LLMs）的研究取得了重大进展，并对各个领域产生了深远影响。然而，LLMs的卓越性能来源于海量数据的大规模训练，这导致LLMs的训练成本明显高于传统模型。此外在实际应用中，新数据的不断涌现使LLMs需要不断进行版本更新来保持性能优势，这加剧了LLMs的训练成本。为了探索如何在降低训练成本的同时确保不同版本LLMs的性能，来自厦门大学和vivo的研究员共同展开研究，在EMNLP2024联合提出了一种能更好地平衡版本更新时LLMs的性能和成本的训练范式，并应用于vivo的蓝心大模型训练。
论文标题：A Learning Rate Path Switching Training Paradigm for Version Updates of Large Language Models
论文链接：https://ar

原文链接：大模型训练成本降一半！厦大和vivo联合推出预训练新策略，给LLM降本增效

联系作者

文章来源：夕小瑶科技说
作者微信：
作者简介：