复旦大学：一个小技巧探测大模型的知识边界，有效消除幻觉

AIGC动态欢迎阅读

原标题：复旦大学：一个小技巧探测大模型的知识边界，有效消除幻觉
关键字：模型,提示,答案,问题,数据
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | Zicy
孔子说“知之为知之，不知为不知，是知也”，目前的大模型非常缺乏这个能力。虽然大模型拥有丰富的知识，但它仍然缺乏对自己知识储备的正确判断。近年来LLMs虽然展现了强大的能力，但它们偶尔产生的内容捏造，即所谓的“幻觉”，限制了其在专业领域的应用，人们也对它们的专业建议持怀疑态度，这些幻觉现象的根源正在于LLMs无法准确表达其知识边界。
最近，复旦大学提出了COKE方法( Confidence-derived Knowledge boundary Expression)，通过利用模型内部的置信信号，教导LLMs识别和表达其知识边界，从而减少幻觉现象。实验结果表明，COKE显著提升了模型在域内和域外的表现，使模型能够在回答已知问题的同时，坦诚面对其未知领域的问题。
简而言之，就是增加大模型“知道自己不知道”的知识，减少大模型“不知道自己不知道”的知识。就比如图中的大模型在面对自己未知的问题“《迷失太空2018》中的机器人是谁”时，它如果不知道，就应该给出“不知道”，而不是编造一个“Max Robinson”的答案。
论文标题：Teaching Large

原文链接：复旦大学：一个小技巧探测大模型的知识边界，有效消除幻觉

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189