「用 AI 训 AI」这事靠谱吗？

AIGC动态欢迎阅读

原标题：「用 AI 训 AI」这事靠谱吗？
关键字：模型,解读,自我,指令,语言
文章来源：机器之心
内容字数：4796字

内容摘要：

来源：节选自2024 年 Week04业内通讯在大语言模型领域，微调是改进模型的重要步骤。伴随开源模型数量日益增多，针对LLM的微调方法同样在推陈出新。
2024年初，Meta和纽约大学等机构的研究者提出了一项「自我奖励方法」，可以让大模型自己生成自己的微调数据。研究者对 Llama 2 70B 进行了三个迭代的微调，其生成的模型在 AlpacaEval 2.0 排行榜上优于 Claude 2、Gemini Pro 和 GPT-4 等现有大模型。奖励模型能干什么？
大型语言模型通过以逐步思考链格式生成解决方案，解决需要复杂多步推理的任务。许多研究关注如何检测和减少幻觉对于提高推理能力。其中，通过训练奖励模型以区分期望的和不期望的输出则是一种有效的方法，奖励模型可以用于强化学习流程或通过拒绝采样进行搜索。如何有效地训练可靠的奖励模型至关重要。
OpenAI 提出了人类反馈强化学习（RLHF）的标准方法在 ChatGPT 发布时引起极大关注。该技术模型可以从人类偏好中学习奖励模型，再冻结奖励模型并结合强化学习训练 LLM。通过使用人类偏好数据调整大语言模型（LLM）可以提高预训练模型的

原文链接：「用 AI 训 AI」这事靠谱吗？