颠覆常规：DeepMind揭示LLM如何通过逆向思维提升推理能力

谷歌 DeepMind 洞见逆向的力量

原标题：人会逆向思维，LLM也可以？DeepMind研究表明还能提升推理能力
文章来源：机器之心
内容字数：4805字

逆向思维在大型语言模型中的应用

根据北卡罗来纳大学教堂山分校与谷歌的最新研究，逆向思维不仅可以应用于大型语言模型（LLM），而且能够显著提升其正向推理能力。这一发现由论文一作 Justin Chih-Yao Chen 及其团队提出，研究结果表明，结合正向和逆向思维可有效验证答案的正确性并发现潜在错误。

正向与逆向思维的定义

正向思维是指从问题出发，逐步推导出答案；而逆向思维则是从一个预测的答案开始，反推回原始问题。通过这种方式，使用者可以检查解答的准确性。例如，在简单的苹果数量问题中，正向推理得出答案后，逆向推理验证该答案是否一致。

RevThink框架的提出

该研究团队提出了一个名为 RevThink 的框架，旨在将逆向思维“灌输”给语言模型。RevThink 主要包含两个阶段：数据增强和新的学习目标。通过增强推理数据集，该团队使用更强大的教师模型生成新的正向和逆向问题，并通过思维链验证其有效性。

实验与评估结果

团队使用 Gemini-1.5-Pro-001 作为教师模型，Mistral-7B-Instruct-v0.3 和 Gemma-7B-Instruct 作为学生模型，经过训练验证了 RevThink 的有效性。结果显示，RevThink 在多个任务上超越了基线，尤其在常识推理、表格推理和逻辑推理等领域表现优异。相较于零样本性能，RevThink 使 Mistral 和 Gemma 的表现分别提高了 12.68% 和 14.37%。

RevThink的优势

RevThink 的优势包括：样本效率高，逆向问题生成有助于性能提升，且能有效泛化至新数据集。该框架不仅提高了模型的推理能力，还在各种推理任务上表现出了稳定的提升，为未来的 LLM 研究提供了新的思路。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台