Hinton万字访谈：用更大模型「预测下一个词」值得全力以赴

AIGC动态欢迎阅读

原标题：Hinton万字访谈：用更大模型「预测下一个词」值得全力以赴
关键字：模型,符号,大脑,向量,直觉
文章来源：机器之心
内容字数：30453字

内容摘要：

机器之心报道
机器之心编辑部「这份访谈的每一秒都是精华。」最近，图灵奖得主 Geoffrey Hinton 的一个访谈视频得到了网友的高度评价。
‍
视频链接：https://www.youtube.com/watch?v=tP-4njhyGvo&t=660s
在访谈中，Hinton 谈到了很多话题，包括当前大模型的技术路线、多模态学习的重要性、数字计算与共享知识、智能系统的意识与情感以及他的合作者和优秀学生……
Hinton 认为，大型语言模型通过寻找不同领域的共同结构来进行编码，这种能力使它们能够压缩信息并形成深层次的理解，发现现实世界中人类尚未发现的万事万物的联系，这是创造力的来源。他还提到，通过预测下一个符号，模型实际上必须执行一定程度的推理，而不是像很多人所说的大模型并不具备推理能力。随着模型规模的增加，这种推理能力也将变得越来越强。这是一个值得全力以赴的方向。
在回忆和 Ilya 的师生合作时，Hinton 提到，Ilya 拥有很好的直觉。他很早就预见到，增大模型的规模是有用的，尽管当时 Hinton 并不看好这个想法。事实证明，Ilya 的直觉是很准的。整个访谈时间跨度

原文链接：Hinton万字访谈：用更大模型「预测下一个词」值得全力以赴