Ilya Sutskever 在 NeurIPS 2024 的演讲：预训练时代已经结束了

预训练时代已经结束了

原标题：Ilya Sutskever 在 NeurIPS 2024 的演讲：预训练时代已经结束了
文章来源：AI前线
内容字数：10392字

Ilya Sutskever 在 NeurIPS 2024 的演讲：预训练时代终结与超级智能展望

本文总结了 Ilya Sutskever 在 NeurIPS 2024 上的演讲要点，该演讲回顾了过去十年人工智能技术的进步，并对未来发展方向进行了展望。Sutskever 认为预训练时代已经结束，并提出了对超级智能的思考。

1. 十年回顾：Sequence to Sequence 学习的三个要点

Sutskever 回顾了其十年前的论文《Sequence to sequence learning with neural networks》，总结了该论文的三个核心要点：在文本上训练的自回归模型、大型神经网络以及大型数据集。他解释了当时“人类在几分之一秒内能做的事情”这一假设的背景，以及为什么他们关注十层神经网络（当时的技术限制）。

2. 预训练时代的终结

Sutskever 提出，预训练时代已经结束。他认为，虽然计算能力不断提升，但数据增长却有限，互联网数据如同“化石燃料”，已经被大量使用。未来，人工智能发展需要探索新的方向。

3. 预训练时代后的探索方向

Sutskever 提出了预训练时代结束后可能的发展方向，包括：Agent、合成数据以及推理时间计算。他以生物学中的哺乳动物大脑大小与身体大小关系为例，说明自然界存在多种发展路径，人工智能领域也一样。

4. 超级智能的展望

Sutskever 探讨了超级智能的特性，认为它将在质量上与现有智能不同，并提出了几个关键特征：代理化、真正的推理能力、从有限数据中理解事物以及自我意识。他强调，这样的系统将具有惊人的能力，但也可能带来新的挑战。

5. 问答环节

问答环节中，Sutskever 谈到了：

1. 人类认知的生物结构探索：他认为生物启发对人工智能有帮助，但生物研究的局限性也较大，不排除未来有新的发现。
2. 推理能力和模型自我纠正：他认为未来具备推理能力的模型可以自我纠正，发现并理解自身的幻觉。
3. 人工智能的权利：他承认这是一个需要更多思考的问题，并认为未来人工智能可能要求与人类一样的权利，这并非完全是坏事。
4. LLM 的多跳推理与分布外泛化：他认为这个问题没有简单的答案，因为“分布内”和“分布外”的定义本身也在不断演变。

总而言之，Sutskever 的演讲不仅回顾了人工智能领域的过去十年，更重要的是对未来发展方向进行了大胆的预测，并引发了对超级智能以及相关伦理问题的深刻思考。他认为预训练时代已经结束，新的挑战与机遇等待着人工智能领域的探索者们。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。