语义熵识破LLM幻觉！牛津大学新研究登Nature

AIGC动态欢迎阅读

原标题：语义熵识破LLM幻觉！牛津大学新研究登Nature
关键字：语义,答案,问题,模型,不确定性
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，来自牛津大学的研究人员推出了利用语义熵来检测LLM幻觉的新方法。作为克服混淆的策略，语义熵建立在不确定性估计的概率工具之上，可以直接应用于基础模型，无需对架构进行任何修改。时至今日，大语言模型胡编乱造的情况仍屡见不鲜。
不知大家面对LLM的一本正经胡说八道，是轻皱眉头，还是一笑而过？
俗话说，大风起兮云飞扬，安得猛士兮走四方。LLM幻觉任何时候都要除掉，不除不行。
试想，当你搜索一个简单语法时，网页上排名前几的都是由大模型生成的错误答案，测过之后才发觉浪费了生命。
如果LLM涉及了医学、法律等专业领域，幻觉将造成严重的后果，所以相关的研究也从未停止。
近日，来自牛津大学的研究人员在Nature上发表了利用语义熵来检测LLM幻觉的新方法。
论文地址：https://www.nature.com/articles/s41586-024-07421-0
牛津大学计算机科学家Sebastian Farquhar等人，通过设计基于LLM确定的语义熵（相似性），来度量大模型答案中语义层面的不确定性。
做法是让第一个LLM针对同一问题多次产生答案，并由

原文链接：语义熵识破LLM幻觉！牛津大学新研究登Nature

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。