大模型对语言有自己的理解！MIT论文揭示大模型“思维过程” | ICML 24

AIGC动态欢迎阅读

原标题：大模型对语言有自己的理解！MIT论文揭示大模型“思维过程” | ICML 24
关键字：模型,语义,程序,探测器,状态
文章来源：量子位
内容字数：0字

内容摘要：

克雷西发自凹非寺量子位 | 公众号 QbitAI大模型对现实世界，可以形成自己的理解！
MIT的一项研究发现，随着模型能力越强，它对现实的理解可能不仅是简单模仿。
比如大模型没有闻过气味，是否就意味着它不能理解气味？
研究发现，它可以自发模拟一些概念，方便理解。
这项研究意味着，大模型未来有希望更深入理解语言和世界，论文已被顶会ICML 24接收。
这篇论文的作者是MIT计算机与人工智能实验室（CSAIL）华裔博士生Charles Jin和他的导师Martin Rinard教授。
研究当中，作者让大模型只学习代码文本，结果发现模型逐渐掌握了其背后的含义。
Rinard教授表示，这项研究直接针对现代人工智能的一个核心问题——
大模型的能力仅仅是由于大规模的统计相关性，还是对它们要处理的现实问题产生了有意义的理解？
△来源：MIT官网同时这项研究也引发了不少讨论。
有网友表示，虽然大模型对语言的理解可能和人类不同，但这项研究至少说明了模型做的绝不仅仅是对训练数据的记忆。
让大模型学习纯代码为了探究大模型能否产生语义层面的理解，作者构建了一个由程序代码及其对应输入输出组成的合成数据集。

原文链接：大模型对语言有自己的理解！MIT论文揭示大模型“思维过程” | ICML 24