《大模型决策制定中的幻觉检测》综述

AIGC动态欢迎阅读

原标题：《大模型决策制定中的幻觉检测》综述
关键字：模型,报告,幻觉,基础,任务
文章来源：人工智能学家
内容字数：6237字

内容摘要：

来源：专知
自主系统很快将无处不在，从制造业自主性到农业领域的机器人，再从医疗保健助手到娱乐产业。这些系统的大多数都是用于决策、规划和控制的模块化子组件开发的，这些子组件可能是手工设计的或基于学习的。虽然这些现有方法在它们特别设计的情况下已被证明表现良好，但在肯定会在测试时出现的罕见、分布外情景中，它们的表现可能特别差。基于多任务训练、来自多个领域的大型数据集的基础模型的兴起，使研究人员相信这些模型可能提供现有规划器所缺失的“常识”推理。研究人员认为，这种常识推理将弥合算法开发与部署到分布外任务之间的差距，就像人类适应意外情景一样。大型语言模型已经渗透到机器人和自主系统领域，研究人员正在争先恐后地展示它们在部署中的潜在用例。虽然这一应用方向从经验上看非常有希望，但基础模型已知会产生幻觉，并生成可能听起来合理但实际上却很差的决策。我们认为有必要同时退一步，设计可以量化模型决策确定性的系统，并检测何时可能产生幻觉。在这项工作中，我们讨论了基础模型用于决策任务的当前用例，提供了一个带有示例的幻觉的一般定义，讨论了现有的幻觉检测和缓解方法，重点是决策问题，并探索了这一激动人心领域的进一步研究领

原文链接：《大模型决策制定中的幻觉检测》综述