OpenAI华人女科学家万字详解大模型「外在幻觉」

AIGC动态欢迎阅读

原标题：OpenAI华人女科学家万字详解大模型「外在幻觉」
关键字：模型,幻觉,事实性,报告,问题
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 分享来源 | 量子位
大模型幻觉还分内在、外在了——
OpenAI华人科学家翁荔最新Blog，提出LLM外在幻觉（extrinsic hallucination）。
有别于代指模型生成与现实不符、虚构、不一致或者毫无意义的内容，翁荔将LLM“幻觉”问题具体化为模型输出内容是虚构的，并且不基于所提供的上下文或世界知识。
由此，幻觉有两种类型：
上下文内幻觉：模型输出应该与上下文中的源内容一致（出现上下文内幻觉时，输出与源内容不一致）。
外在幻觉：模型输出应该基于预训练数据集。然而，考虑到预训练数据集的规模，检索并识别每次生成的冲突成本过高。如果将预训练数据集看作是世界知识的象征，那么本质上是试图确保模型输出是事实性的并可以通过外部世界知识进行验证。同样重要的是，当模型不了解某个事实时，它应该明确表示不知道。
之前，翁荔还提出过Agent公式：Agent=大模型+记忆+主动规划+工具使用，被一些网友称为是“看到的有关Agent的最好的文章”。
而这次关于大模型幻觉的这篇Blog，同样“重工”，文章超长，足足24篇参考文献：
翁荔重点关注外在幻觉，讨论了三个问题：产生幻觉的原因

原文链接：OpenAI华人女科学家万字详解大模型「外在幻觉」

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189