颠覆思维边界：Meta田渊栋团队推出连续思维链新突破

原标题：全面超越CoT！Meta田渊栋团队新作：连续思维链
文章来源：新智元
内容字数：5433字

新智元导读

近期，Meta田渊栋团队提出了一种新的推理范式——连续思维链（Coconut），相较于传统的思维链（CoT），在性能和效率上均有显著提升。这项研究的主要贡献在于解放大语言模型（LLM）推理过程中的语言限制，从而提高其推理能力。

1. 连续思维链的概念

连续思维链的核心思想是让AI在推理过程中不必依赖人类语言，而是直接使用模型的中间状态进行自回归推理。只有在最终输出时，才将推理结果转换为人类可理解的语言。这种方法避免了语言生成过程中的冗余，提高了推理的效率。

2. 训练策略与优化方法

为了充分发挥Coconut的性能，研究团队采用了多阶段训练策略，利用语言推理链指导模型训练。模型在训练初期使用传统的思维链，逐步引入连续思维的元素，使得模型能够更有效地预测推理过程中的每一步。

3. 推理效率的提升

研究表明，Coconut在多个数据集上的表现优于传统的CoT方法，尤其在复杂推理任务中，能够更好地避免错误和幻觉现象。通过在潜在思维中编码多个可能的推理步骤，模型能够进行类似于广度优先搜索的推理，逐步排除不正确的选项。

4. 实验结果与对比分析

实验结果显示，Coconut在数学推理和逻辑推理任务中表现出色，尤其是在ProsQA数据集上，通过增加连续思维的推理步骤，准确率和推理过程的正确性都得到了显著提高。此外，减少了推理过程中的错误发生率，表明模型的规划能力得到了增强。

总结

Meta团队的Coconut方法为大语言模型的推理任务提供了新的思路，强调了在推理过程中去除语言限制的重要性。通过多阶段训练和连续思维的引入，Coconut展示了更高的推理效率和准确性，为未来的AI推理研究指明了方向。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。