大模型对齐阶段的Scaling Laws

AIGC动态欢迎阅读

原标题：大模型对齐阶段的Scaling Laws
关键字：模型,数据,尺寸,效果,作者
文章来源：大数据文摘
内容字数：6364字

内容摘要：

大数据文摘受权转载自李rumor
随着过去一年大模型技术的发展，数据、模型尺寸scale up后的能力已经不容置疑，scaling law也被越来越多研究者重视起来。在预训练资源消耗如此大的情况下，掌握scaling law有众多优点：
提前预测最终模型效果，知道每次训练的大概能到什么程度，要是不及预期可以根据预算再进行调整
在小尺寸模型上做置信的实验，进行数据、算法策略验证，降低实验的时间、资源成本
在真正的大规模预训练中，随时监测模型效果是否符合预期
目前对于scaling law的研究主要是在预训练阶段，而对齐阶段在数据、算法策略上的实验也会有很大成本，今天我们就来看两篇对齐阶段的工作，分别研究了SFT和RLHF阶段影响效果的重要因素，希望能给大家带来一些新的insight。
01 精调saling Law
When Scaling Meets LLM Finetuning – The Effect of Data, Model and Finetuning Method[1]
这篇文章来自Google，发表在ICLR2024。作者主要在文本翻译任务上，研究了精调数据数量、模型尺

原文链接：大模型对齐阶段的Scaling Laws