世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！

AIGC动态欢迎阅读

原标题：世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！
关键字：模型,指令,语言,语义,探针
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：编辑部
【新智元导读】MIT CSAIL的研究人员发现，LLM的「内心深处」已经发展出了对现实的模拟，模型对语言和世界的理解，绝不仅仅是简单的「鹦鹉学舌」。也就说，在未来，LLM会比今天更深层地理解语言。LLM离世界模型，究竟有多远？
去年，MIT的一篇文章发现了惊人的结论：在LLM内部，存在一个世界模型。
LLM不仅学习了表面的统计数据，还学习了包括空间和时间等基本纬度的世界模型。
Llama-2-70B竟然能够描绘出研究人员真实世界的文字地图
不仅如此，MIT最近又发现：在LLM的深处，发展出了一种对现实的模拟，它们对语言的理解，已经远远超出了简单的模仿！
论文地址：https://arxiv.org/abs/2305.11169
具体来说，MIT计算机科学和人工智能实验室（CSAIL）的两名学者发现——
尽管只用「预测下一个token」这种看似只包含纯粹统计概率的目标，来训练LLM学习编程语言，模型依旧可以学习到程序中的形式化语义。
这表明，语言模型可能会发展自己对现实的理解，以此作为提高其生成能力的一种方式。
因此，LLM在未来的某一天，可能会比今天更深层次

原文链接：世界模型又近了？MIT惊人研究：LLM已模拟现实世界，绝非随机鹦鹉！