连续思维链：颠覆LLM推理的新纪元！

该研究可以通过梯度下降进行端到端的优化，因为连续思维是完全可微的。

原标题：田渊栋团队论文火了！连续思维链优于CoT，打开LLM推理新范式
文章来源：机器之心
内容字数：9402字

提升LLM推理能力的新方法：Coconut

近年来，随着大语言模型（LLM）和思维链（CoT）的发展，语言已成为机器推理的主要媒介。然而，研究者们提出，语言空间并非始终是推理的最佳选择。为此，Meta和加州大学圣地亚哥分校的研究团队提出了一种新方法——Coconut（连续思维链），旨在探索LLM在潜在空间中的推理能力。

1. Coconut方法概述

Coconut通过对传统思维链的简单修改，解放了推理过程。该方法直接将最后的隐藏状态作为下一个token的输入，而不再依赖语言token。这种方法使得推理过程完全可微，能够通过梯度下降进行端到端优化。

2. 实验设计与数据集

研究团队通过三个数据集验证了Coconut方法的有效性，包括数学推理任务（GSM8k）和逻辑推理任务（ProntoQA与ProsQA）。在实验中，团队使用预训练的GPT-2模型，并进行多阶段的渐进式训练，逐步增加模型的推理难度。

3. 结果与讨论

实验结果表明，Coconut显著提高了LLM的推理能力，尤其在复杂的逻辑推理任务中表现优于传统的CoT方法。通过链式组合的连续思维，模型能够在潜在空间中进行高效推理，进一步增强了其规划能力。

4. 连续思维的优势

连续思维不仅能够编码多个潜在的下一个步骤，还能够在推理过程中避免早期决策的困难。这种从发散到收敛的推理机制使得模型能够更有效地处理复杂问题，并且在需要大量规划的任务中表现出色。

5. 未来研究方向

尽管Coconut方法取得了显著成果，但研究者们指出，模型仍需指导来学习潜在空间的推理。未来的研究可以进一步探索如何优化这种连续思维的表示，以提升LLM在不同任务中的适应能力和推理效率。

总之，Coconut方法为提升大语言模型的推理能力提供了新的视角和方法，展现了潜在空间推理的巨大潜力。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台