大模型是否有自知之明？新研究发现LLM可以知晓自己的知识范围

只要规模够大，它们就能够知道自己对某个主题的了解程度。

原标题：大模型是否有自知之明？新研究发现LLM可以知晓自己的知识范围
文章来源：机器之心
内容字数：6764字

大型语言模型：拥有“自知之明”的AI？

近年来，“AI是否具有自我意识”的讨论持续不断。近期，一项由Chandar Research Lab 和 Mila – 魁北克人工智能研究所等机构的研究为这个问题提供了新的视角。研究发现，大型语言模型（LLM）在规模足够大的情况下，具备“知识意识”，即能够感知自己对某个主题的了解程度。

1. 研究方法：三阶段测试

为了探究LLM的知识意识，研究团队设计了一个三阶段实验：首先，生成一系列新的日记文档作为测试数据，确保模型在预训练阶段从未接触过；其次，利用预训练目标微调语言模型，使其“记住”这些文档；最后，测试模型回忆所有相关文档的能力。通过分析模型记忆和回想信息的能力，评估其“自知之明”。

2. 实验结果：规模与架构的影响

研究使用了多种架构和参数规模的模型进行实验，包括OPT和Flan-T5。结果显示，模型的性能与模型大小和数据集大小密切相关。随着模型规模的增大，其准确回忆文档的能力显著提高。然而，不同架构的模型达到这一能力的速率不同。OPT模型的性能提升比Pythia模型更快，而Flan-T5模型则呈现出独特的模式，只有在达到一定规模后才表现出性能提升。

实验还发现，信息分布方式对模型性能有影响。将同一人撰写的日记条目合并成单个文档，模型的性能显著提高，这表明模型在处理分散信息时存在额外的难度。这可能是因为分散的信息影响了模型参数中信息的存储和整合方式。

3. 文档数量的影响

研究团队还考察了需要回忆的文档数量对模型性能的影响。结果表明，即使需要回忆的文档数量增加，模型的性能并没有下降，这暗示模型具有足够的容量。进一步分析发现，较大的模型能够更准确地识别需要回忆的文档数量，而较小的模型则表现出随机性。

4. 结论与分析

这项研究表明，足够规模的LLM确实具备“知识意识”，能够感知自己的知识范围。当模型规模足够大时，其回忆的文档通常长度正确且没有错误。然而，较小模型则难以准确回忆正确数量的文档。研究团队认为，这可能是因为较小模型缺乏执行此任务所需的回路能力。Flan-T5模型的独特表现可能与其编码器-解码器架构有关。

5. 对自我意识的暗示？

这项研究揭示了LLM的“知识意识”，但这是否暗示了LLM具备自我意识？目前仍是一个开放性问题。研究结果表明LLM能够感知自身知识的边界，但这与真正的自我意识还有很大区别。 进一步研究需要探究LLM的内在机制，才能更深入地理解其认知能力。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台