大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉

AIGC动态欢迎阅读

原标题：大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉
关键字：幻觉,模型,事实,语言,概率
文章来源：机器之心
内容字数：8768字

内容摘要：

机器之心报道
编辑：Panda W理论证明！校准的语言模型必然出现幻觉。大型语言模型（LLM）虽然在诸多下游任务上展现出卓越的能力，但其实际应用还存在一些问题。其中，LLM 的「幻觉（hallucination）」问题是一个重要缺陷。
幻觉是指由人工智能算法生成看似合理但却虚假或有误导性的响应。自 LLM 爆火以来，研究人员一直在努力分析和缓解幻觉问题，该问题让 LLM 很难广泛应用。
现在，一项新研究得出结论：「经过校准的语言模型必然会出现幻觉。」研究论文是微软研究院高级研究员 Adam Tauman Kalai 和佐治亚理工学院教授 Santosh S. Vempala 近日发表的《Calibrated Language Models Must Hallucinate》。该论文表明预训练语言模型对特定类型的事实产生幻觉存在一个固有的统计学原因，而与 Transformer 架构或数据质量无关。论文地址：https://arxiv.org/abs/2311.14648一个语言模型其实就是在 token 序列（如词或其它字符序列）上的一个概率分布 D。每个分布 D 都可以等效地表示成其

原文链接：大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉