只需几个演示就能对齐大模型，杨笛一团队提出的DITTO竟如此高效

AIGC动态欢迎阅读

原标题：只需几个演示就能对齐大模型，杨笛一团队提出的DITTO竟如此高效
关键字：数据,演示,策略,模型,团队
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda人类的教育方式，对大模型而言也很适用。养育孩子时，古往今来人们都会谈到一种重要方法：以身作则。也就是让自己成为孩子模仿学习的范例，而不是单纯地告诉他们应该怎么做。在训练大语言模型（LLM）时，我们或许也能采用这样的方法 —— 向模型进行演示。
近日，斯坦福大学杨笛一团队提出了一种新框架 DITTO，可通过少量演示（用户提供的期望行为示例）来将 LLM 与特定设置对齐。这些示例可以从用户现有的交互日志获取，也能通过直接编辑 LLM 的输出得到。这样就可以让模型针对不同的用户和任务高效地理解并对齐用户偏好。论文标题：Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback
论文地址：https://arxiv.org/pdf/2406.00888
DITTO 可基于少量演示（少于 10）自动创建一个包含大量偏好比较数据的数据集（这个过程被称为 scaffold），其具体做法是默认这一点：相比于原始 LLM 及早期迭代版本的输出，用户更偏好演示。然后，将演示与模型输出组成数据对，得

原文链接：只需几个演示就能对齐大模型，杨笛一团队提出的DITTO竟如此高效