思维链作者Jason Wei剖析LLM扩展范式：Just keep scaling！

原标题：思维链作者Jason Wei剖析LLM扩展范式：Just keep scaling！
文章来源：人工智能学家
内容字数：26492字

Jason Wei：大型语言模型的扩展范式与未来展望

本文总结了Jason Wei在宾夕法尼亚大学的客座讲座，主题为大型语言模型的扩展范式。Jason Wei是思维链概念开山之作的第一作者，也是OpenAI的资深研究科学家，参与了ChatGPT的构建等重要项目。他的演讲深入探讨了LLM发展历程中的扩展策略，并对未来发展方向进行了展望。

1. 扩展的定义与重要性

传统上，扩展指增加模型规模、数据量和GPU数量来提升AI能力。Wei给出了更精确的定义：扩展是将自身置于可沿连续轴移动并预期持续改进的环境中。尽管扩展面临技术和心理挑战（如高昂的计算成本、对算法改进的偏好等），但它是AI进步的关键引擎，并将继续主导该领域的发展。

2. 扩展范式一：下一词预测 (2018年至今)

下一词预测是一个大规模多任务学习过程。通过预测下一词，模型学法、世界知识、情感分析、翻译等多种能力。模型的整体准确率是多个子任务性能的加权和，这解释了“涌现”现象：某些能力在模型规模达到一定阈值后才出现显著提升。虽然下一词预测可能最终实现AGI，但过程将极其困难，需要持续大规模扩展。

3. 扩展范式二：基于思维链扩展强化学习

纯粹的下一词预测在处理复杂任务时存在局限性。思维链 (CoT) 提示模型像人类一样展示推理过程，OpenAI通过强化学习优化了模型的思维链能力，使其更好地解决复杂问题。 o1项目就是一个成功的案例，它能够在解决复杂问题（如化学题、竞赛数学题）时，展示详细的推理步骤，显著提升了解题能力。

4. AI 文化的变革

扩展改变了AI研究文化：研究重点从改进算法转向改进数据质量；基准测试被“饱和”的速度加快；研究转向高度多任务模型；智能和用户体验成为可以分别改进的维度；需要更大规模的团队合作。

5. 未来展望

Wei对AI的未来发展充满信心，他认为未来五年AI将取得比过去五年更大的进步。主要发展方向包括：AI在科学和医疗健康领域的应用；提高事实准确性，减少虚假信息；发展多模态AI能力；增强工具使用能力；扩大AI应用范围。他总结道：“just keep scaling”（继续扩展）是推动AI持续进步的关键策略。

总而言之，Jason Wei的演讲强调了扩展在推动大型语言模型发展中的核心作用，并指出了未来研究和应用的重点方向。持续的扩展，以及对数据质量和用户体验的重视，将是未来AI进步的关键。

联系作者

文章来源：人工智能学家
作者微信：
作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构