无需训练实现价值观实时动态对齐：上交开源价值观对齐方法OPO，闭源与开源大模型均适用

AIGC动态欢迎阅读

原标题：无需训练实现价值观实时动态对齐：上交开源价值观对齐方法OPO，闭源与开源大模型均适用
关键字：准则,模型,道德,基准,研究者
文章来源：机器之心
内容字数：7880字

内容摘要：

机器之心专栏
机器之心编辑部随着人工智能技术的发展，以 GPT-4 为代表的大语言模型依靠其强大的能力正在对社会产生深远的影响。与此同时，大模型本身的安全性问题也变得尤为重要。如何确保大语言模型可以和人类的价值、真实的意图相一致，防止模型被滥用、输出有害的信息，这是大模型安全治理的核心问题。之前的大多数对齐方法需要收集新数据重新训练模型，然而对训练数据质量要求高以及优化模型参数耗时耗力是对齐中的痛点。除此之外，待对齐的价值观可能是动态变化的，这进一步给大模型价值观对齐带来了挑战。
有鉴于此，上海交通大学生成式人工智能实验室 GAIR 迅速采取行动，推出了一种全新的价值对齐方法：OPO （On-the-fly Preference Optimization，实时偏好优化）。OPO 无需训练即可实现实时动态对齐，而且因其即插即用的特性，适用于所有的开源与闭源大模型。研究者透过 OPO 实现了大模型对于法律与道德标准的对齐，展示了 OPO 的动态性以及优越性。
相比于之前工作中的对齐方法（i.e., SFT、PPO 和 DPO），OPO 方法有如下优势：
无需训练即可实现价值观对齐；
舍弃奖

原文链接：无需训练实现价值观实时动态对齐：上交开源价值观对齐方法OPO，闭源与开源大模型均适用