OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服

AIGC动态欢迎阅读

原标题：OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服
关键字：模型,事实性,幻觉,样本,问题
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda WLilian Weng 出品，必是精品。人会有幻觉，大型语言模型也会有幻觉。近日，OpenAI 安全系统团队负责人 Lilian Weng 更新了博客，介绍了近年来在理解、检测和克服 LLM 幻觉方面的诸多研究成果。Lilian Weng，中文名翁丽莲，是 OpenAI 安全系统团队负责人。她 2018 年加入 OpenAI，参与了 GPT-4 项目的预训练、强化学习 & 对齐、模型安全等方面的工作。她的博客深入、细致，具有前瞻性，被很多 AI 研究者视为重要的参考资料（其他博客见文末扩展阅读）。
大型语言模型的幻觉（Hallucination）通常是指该模型生成不真实、虚构、不一致或无意义的内容。现在，「幻觉」这个术语的含义已有所扩大，常被用于泛指模型出现错误的情况。本文所谈到的「幻觉」是指其狭义含义：模型的输出是虚构编造的，并没有基于所提供的上下文或世界知识。
幻觉有两种类型：
上下文幻觉：模型输出与上下文中的源内容不一致。
外源性幻觉（extrinsic hallucination）：模型输出应该以预训练数据集为基础。但是，由于预训练数据集规模庞

原文链接：OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服