综合RLHF、DPO、KTO优势，统一对齐框架UNA来了

AIGC动态欢迎阅读

原标题：综合RLHF、DPO、KTO优势，统一对齐框架UNA来了
关键字：模型,函数,反馈,数据,策略
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com论文主要作者：
1. 王智超：本科就读于厦门大学土木工程系，研究生博士就读于佐治亚理工并获得土木工程和计算机工程硕士及机械工程博士，现任职于 Salesforce，专注于 LLM Alignment。
2. 闭彬：本科就读于华中科技大学计算机工程系，研究生就读于香港大学计算机科学系，博士就读于 UCLA 计算机科学系，现任职于 Salesforce，专注于 LLM Alignment。
3. 黄灿：厦门大学数学系副教授
随着大规模语言模型的快速发展，如 GPT、Claude 等，LLM 通过预训练海量的文本数据展现了惊人的语言生成能力。然而，即便如此，LLM 仍然存在生成不当或偏离预期的结果。这种现象在推理过程中尤为突出，常常导致不准确、不符合语境或不合伦理的

原文链接：综合RLHF、DPO、KTO优势，统一对齐框架UNA来了