今日arXiv最热NLP大模型论文：对指令太敏感？山东大学提出一致性对齐法，治好大模型敏感体质！

AIGC动态欢迎阅读

原标题：今日arXiv最热NLP大模型论文：对指令太敏感？山东大学提出一致性对齐法，治好大模型敏感体质！
关键字：指令,模型,任务,测试,本文
文章来源：夕小瑶科技说
内容字数：6753字

内容摘要：

夕小瑶科技说 原创作者 | Axe_越不知道大家在使用大语言模型（LLM）的时候有没有遇到过，明明一模一样的意思，哪怕只有一两个字不同的指令给到大模型后，都会得到完全不一样的结果。这种大模型神秘的玄学力量所带来的不一致体验，也深深折磨着广大Prompt工程师。
那到底怎么才能让LLM“情绪稳定”，不再那么敏感呢？
尽管近年来对于LLM不一致问题的成因和解决方案都有了一定研究，仍然缺乏对当前LLM鲁棒性（robustness）的定量分析，以及改进LLM指令调优（Instruction-tuning）的系统解决方案。这里我们就要推出今天的这篇文章了，它首先定义了LLM鲁棒性度量方法，并在多个不同尺寸的LLM上进行了鲁棒性的定量分析。
此外，为提高LLM鲁棒性，以缓解响应不一致问题，这篇文章还提出了一个两阶段的训练框架，包括指令增强的监督微调（Instruction-augmented Supervised Fine-tuning）和一致性对齐训练（Consistency Alignment Training）。该框架在第一阶段通过指令增强帮助模型泛化指令遵循能力，在第二阶段通过自我奖励（s

原文链接：今日arXiv最热NLP大模型论文：对指令太敏感？山东大学提出一致性对齐法，治好大模型敏感体质！

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189