大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多

AIGC动态欢迎阅读

原标题：大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多
关键字：错误,模型,答案,数据,真实性
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：alan
【新智元导读】近日，来自谷歌和苹果的研究表明：AI模型掌握的知识比表现出来的要多得多！这些真实性信息集中在特定的token中，利用这一属性可以显著提高检测LLM错误输出的能力。大模型的应用历来受幻觉所扰。
这个幻觉可以指代LLM产生的任何类型的错误：事实不准确、偏见、常识推理失败等等。
——是因为大模型学半天白学了吗？并不是。
近日，来自谷歌和苹果的研究表明：AI模型掌握的知识比表现出来的更多！
论文地址：https://arxiv.org/pdf/2410.02707
研究人员在LLM内部表示上训练分类器，以预测与生成输出的真实性相关的各种特征。
结果表明LLM的内部状态编码反映出的真实性信息，比以前认识到的要多得多。
这些真实性信息集中在特定的token中，利用这一属性可以显著提高检测LLM错误输出的能力。
虽说这种错误检测无法在数据集中泛化，但好处是，模型的内部表示可用于预测模型可能犯的错误类型，从而帮助我们制定缓解错误的策略。
研究揭示了LLM内部编码和外部行为之间的差异：可能编码了正确的答案，却生成了不正确的答案。
——简单来说就是，LLM它知道，

原文链接：大模型在装傻！谷歌苹果最新发现：LLM知道但不告诉你，掌握知识比表现出来的多

联系作者

文章来源：新智元
作者微信：
作者简介：