GPT-4不是世界模型，LeCun双手赞同！ACL力证LLM永远无法模拟世界

AIGC动态欢迎阅读

原标题：GPT-4不是世界模型，LeCun双手赞同！ACL力证LLM永远无法模拟世界
关键字：状态,模型,模拟器,世界,准确率
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子乔杨
【新智元导读】大模型是世界模型吗？UA微软等机构最新研究发现，GPT-4在复杂环境的模拟中，准确率甚至不及60%。对此，LeCun激动地表示，世界模型永远都不可能是LLM。一直以来，对LLM的支持观点之一，就是模型可以集成海量事实知识，作为通往「世界模拟器」的基础。
虽然也有不少人提出反对，但没有真凭实据。
那么，LLM可以作为世界模拟器吗？
最近，亚利桑那大学、微软、霍普金斯大学等机构联合发布了一篇论文，从实证的角度得出了否定的结论。
最新研究已被ACL 2024顶会接收。
论文地址：https://arxiv.org/pdf/2406.06485
研究发现，GPT-4在模拟基于常识任务的状态变化时，比如烧开水，准确度仅有60%。
论文认为，尽管GPT-4这样的模型表现很惊艳，但如果没有进一步创新，它就不能成为可靠的世界模型。
为了量化LLM的规划能力，作者提出了一个全新的基准测试——bytesized32-state-prediction，并在上面运行了GPT-4模型。
基准测试的代码和数据也已经在GitHub上开源，可以帮助未来的研究继续探查LLM的能

原文链接：GPT-4不是世界模型，LeCun双手赞同！ACL力证LLM永远无法模拟世界