LeCun力荐！进化算法淘汰77%低质数据：RIP方法让模型性能狂飙60%

原标题：LeCun力荐！进化算法淘汰77%低质数据：RIP方法让模型性能狂飙60%
文章来源：新智元
内容字数：4289字

Meta新方法RIP：进化算法赋能，提升大模型训练数据质量

近年来，大语言模型(LLM)的进步很大程度上依赖于高质量的训练数据。然而，仅仅增加数据量并不能保证模型性能的提升，数据质量才是关键。Meta、UC伯克利、NYU等机构的研究者提出了一种名为拒绝指令偏好(RIP)的新方法，利用进化算法的思想，自动筛选并生成高质量的训练数据集，从而显著提升LLM的性能。

1. RIP的核心思想：优胜劣汰

   RIP基于两个核心假设：1. 低质量的提示词(prompt)往往产生低质量的响应；2. 低质量的提示词会产生差异更大的响应。RIP通过测量被拒绝响应的质量(m_1)、被拒绝响应的长度(m_2)以及被选择和被拒绝响应之间的奖励差距(m_3)来评估提示词的质量。方差越小，奖励差距越小，则提示词质量越高。通过这种“优胜劣汰”机制，RIP可以有效地筛选出高质量的提示词，构建更高质量的训练数据集。

2. RIP的应用：筛选和生成高质量数据

   RIP不仅可以用于筛选现有的训练数据集，还可以用于生成高质量的合成数据集。Self-RIP方法利用少量高质量的种子提示词，引导模型生成新的提示词，并通过RIP进行筛选，从而迭代地构建高质量的合成数据集。这为缺乏高质量训练数据的情况提供了一种有效的解决方案。

3. 实验结果：显著性能提升

   在多个基准测试(AlpacaEval2、Arena-Hard、Wildbench)中，RIP都取得了显著的性能提升。例如，在WildChat数据集上，RIP仅使用不到一半的训练样本，就实现了多个指标的显著提升。在Llama 3.1-8B-Instruct和Llama 3.3-70B-Instruct模型上，RIP也显著提升了模型性能，AlpacaEval2 LC胜率、Arena Hard胜率和WildBench分数均有大幅提高。Self-RIP方法也展现了其有效性，在AlpacaEval2、Arena-Hard和WildBench上均取得了不错的成绩。

4. RIP的优势与未来研究方向

   与其他筛选方法相比，RIP在所有基准测试中都取得了更高的分数，展现了其优越性。未来研究可以探索如何优化评估模型，降低RIP的计算成本，以及利用RIP进行安全性过滤，构建更安全可靠的LLM。

总而言之，RIP方法为LLM的训练提供了一种简单而有效的新思路，通过进化算法的思想，自动筛选并生成高质量的数据集，显著提升了LLM的性能。其在实际应用中的潜力巨大，值得进一步研究和探索。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。