LLM对齐数据全自动合成！UW华人博士生提出Magpie方法，Macbook Air即可运行

AIGC动态欢迎阅读

原标题：LLM对齐数据全自动合成！UW华人博士生提出Magpie方法，Macbook Air即可运行
关键字：指令,数据,模型,质量,论文
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：乔杨
【新智元导读】华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。数据对LLM训练而言是至关重要的存在，但我们的关注点往往放在训练和评估数据，而会忽略微调数据。
比如Llama系列模型，虽然开放了权重（如Llama-3-Instruct），但微调数据集依旧是私有的。
LLM的成功有很大一部分取决于指令微调（instruction fine-tuning），这个过程能让模型更好地泛化到训练过程中没有接触过的任务。
正如训练的有效性依赖于训练语料的质量，指令微调的有效性也取决于能否获得高质量的指令数据集。
然而，相比于无标注的自监督训练语料，高质量微调和对齐数据集更加难以构建、扩展，因为需要更多人工标注，而且存在预先定义的提示范围。
就连专门为AI科技巨头提供数据的公司Scale AI，在目前阶段都无法实现自动化标注，甚至得高薪聘请专业人士参与微调和对齐数据集的构建。
Scale AI的CEO Alexandr Wang曾表示，LLM合成数据是一个很有前景的解决方

原文链接：LLM对齐数据全自动合成！UW华人博士生提出Magpie方法，Macbook Air即可运行