思维链？思维树？华为诺亚：现在到了思维森林时刻！

思维森林为 LLM 的推理能力提升提供了一条新的路径。

原标题：思维链？思维树？华为诺亚：现在到了思维森林时刻！
文章来源：机器之心
内容字数：4710字

华为诺亚方舟实验室提出新型大模型高阶推理框架：思维森林 (FoT)

近年来，大语言模型(LLM)在诸多语言任务中表现出色，但在复杂推理方面却常常力不从心。OpenAI 的 o1 和 o3 模型的发布，预示着大模型高阶推理能力的爆发式增强，同时也凸显了探索新型Scaling Law的必要性。华为诺亚方舟实验室近期提出的“思维森林”（Forest-of-Thought，FoT）框架，为解决LLM推理困境提供了一种新思路。

1. LLM推理困境

LLM在解决复杂推理问题时，容易忽略关键细节或在中间步骤出错，最终导致答案错误。此外，LLM通常缺乏重新评估能力，无法全面应对复杂问题，这与人类反复思考、验证答案的思维方式形成鲜明对比。

2. 思维森林(FoT)方法介绍

FoT框架通过整合多个推理树，利用集体决策的优势来解决复杂逻辑推理任务。其核心思想在于：

1. 稀疏激活策略： FoT不会计算所有推理树和节点，而是选择最相关的进行计算，提高效率和准确性。
2. 动态自校正策略： FoT评估每个推理步骤的正确性和有效性，并根据预设阈值触发校正机制。该机制从过去的错误中学习，实时纠正错误，避免重复犯错。
3. 引导决策策略： 每个推理树生成一个或多个答案，子树进行投票，选出获得最多支持的答案。若无，则由“数学专家”评估并选择最终答案。

这些策略共同作用，使得FoT能够有效提升LLM的高阶推理能力。

3. 实验结果

研究人员在24点游戏、GSM8K和MATH数据集上对FoT进行了评估，结果表明：

1. 24点游戏： 增加推理树数量能显著提升准确率，多树策略优于单树增加复杂度策略。
2. GSM8K： 不同基模型(Llama3-8B,Mistral-7B,GLM-4-9B)下，树数量越多，准确率提升越显著。
3. MATH： FoT在不同难度级别的问题上均展现出一致的性能提升，优于MCTSr方法。

4. FoT的广泛应用前景

FoT框架在数学、逻辑、金融、医疗和法律等需要复杂推理的领域具有广泛的应用前景，例如风险评估、投资决策、疾病诊断、法律推理等。它可以与现有LLM结合，提升其在各个领域的应用效果。

5. 结语

思维森林(FoT)框架为LLM推理能力提升提供了一条新路径。它通过多路径探索和动态激活推理路径，有效解决了现有LLM推理范式中的关键局限，推动大模型向更智能、更高效的方向发展。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台