辛顿与李飞飞对谈：AI是否具备语言理解和推理能力？

原标题：辛顿与李飞飞对谈：AI是否具备语言理解和推理能力？
文章来源：人工智能学家
内容字数：21852字

AI巨擘辛顿与李飞飞：基础模型、语言理解与逻辑推理

本文节选自杰弗里·辛顿与李飞飞2023年10月在多伦多大学的对话，探讨了人工智能基础模型的特征、语言理解和逻辑推理能力。两位AI领域的权威专家就ChatGPT的理解能力和思维能力进行了深入交流，观点存在差异，但都提供了对AI技术现状和未来趋势的深刻见解。

1. 基础模型的两个关键特征

1. **海量数据预训练:** 基础模型，例如GPT，需要利用海量数据进行预训练，这与人类高效的学习能力形成对比。辛顿教授指出，早期认知科学认为神经网络需要极大量数据才能完成复杂任务，但现在这种观点已不再流行。通过少样本学习（few-shot learning）的实验，基础模型在学习新任务所需数据量方面甚至超越了人类。

2. **多任务泛化能力:** 李飞飞教授强调了基础模型最重要的特征是其对多种任务的泛化能力。一个基础模型可以胜任翻译、对话、总结等多种任务，甚至扩展到视觉、机器人和视频等多模态领域。

2. ChatGPT的语言理解能力

1. **理解笑话的能力:** 辛顿教授认为，像PaLM这样的模型能够解释笑话为什么好笑，这表明它们已经具备了一定的理解能力。虽然在讲笑话方面仍有不足，但模型在理解方面已经取得了显著进展。

2. **数据的力量:** 辛顿教授指出，大型语言模型之所以强大，是因为它们能够利用比任何人都多千万倍的数据进行训练。通过复制模型并让它们分别处理数据子集，再共享梯度，模型能够高效地学习和共享信息，这远超人类的知识共享效率。

3. **知识蒸馏:** 人类通过模仿来学习，大型语言模型也通过知识蒸馏（knowledge distillation）来学习和共享知识。然而，神经网络的知识共享效率远高于人类，因为它们能够共享海量数据。

3. ChatGPT的逻辑推理能力

1. **挑战性问题:** 辛顿教授通过一个关于房间颜色和油漆褪色的例子，以及一个关于兄弟姐妹数量的例子，说明了ChatGPT具备一定的逻辑推理能力。这些例子显示，ChatGPT能够理解问题的措辞，并进行相应的逻辑推演，而不仅仅是简单的词语预测。

2. **超越语言的智能:** 辛顿教授认为，ChatGPT的理解能力已经超越了语言的界限，进入了智能的范畴。他认为图灵测试可以用来评估智能，而ChatGPT在某些方面已经通过了图灵测试。

3. **不同观点:** 李飞飞教授对ChatGPT是否达到智能范畴持保留意见，但她并未直接反驳辛顿教授的观点。这反映了学界对人工智能理解和思维能力的持续争论。

总而言之，辛顿和李飞飞的对话为理解人工智能基础模型提供了宝贵的视角。虽然关于ChatGPT的理解和思维能力仍存在争议，但两位专家都认可了基础模型在海量数据和多任务泛化能力方面的显著优势，并对AI技术的未来发展方向给出了重要的启示。

联系作者

文章来源：人工智能学家
作者微信：
作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构