如何提升大模型通用推理能力？DeepSeek最新论文《CODEI/O：通过代码输入输出预测凝练推理模式》

原标题：如何提升大模型通用推理能力？DeepSeek最新论文《CODEI/O：通过代码输入输出预测凝练推理模式》
文章来源：人工智能学家
内容字数：21537字

CODEI/O：提升大型语言模型推理能力的新方法

本文介绍了一种名为CODEI/O的新方法，旨在提升大型语言模型（LLMs）的推理能力。该方法的核心思想是将代码转换为代码输入/输出预测格式，从而系统性地提炼代码中固有的多样化推理模式，并将其用于训练LLMs。

1. 推理能力提升的挑战

虽然LLMs在某些特定领域（如数学和代码生成）的推理能力有所提高，但由于许多其他推理任务的训练数据稀疏且碎片化，其性能提升仍然面临挑战。CODEI/O旨在解决这个问题。

2. CODEI/O方法

CODEI/O通过以下步骤实现推理能力的提升：

1. 收集原始代码文件：从多个来源收集Python代码文件，涵盖广泛的推理模式，包括CodeMix和PyEdu-R等。
2. 转换为统一格式：使用DeepSeek-V2.5将原始代码文件转换为统一格式，提取核心逻辑功能，并使其可执行，以便生成输入/输出对。
3. 收集输入/输出对：为每个函数生成多个输入，并执行代码以获得相应的输出。此过程生成了超过350万个训练样本。
4. 构建输入/输出预测样本：将函数、查询、参考代码以及特定输入或输出组合在一起，构建可训练的提示和响应。响应采用自然语言链式思维（CoT）形式。
5. 多轮修订（CODEI/O++）：通过代码执行验证预测，并对错误响应进行多轮修订，进一步提高数据质量。

3. 实验结果与分析

实验结果表明，CODEI/O在多个推理基准测试（包括逻辑推理、符号推理、数学推理、科学推理和常识推理）上均取得了显著的性能提升，优于现有基线方法。CODEI/O++通过多轮修订进一步提升了性能。消融研究表明，输入/输出预测和多轮修订对性能提升至关重要。不同合成模型的比较也显示了CODEI/O方法的有效性。

4. 主要结论

CODEI/O提供了一种有效的方法来提升LLMs的推理能力，通过利用代码中丰富的推理模式，并采用链式思维进行训练，在多个推理任务上实现了显著且均衡的性能提升。该方法具有可扩展性和鲁棒性，为未来LLMs的推理能力提升提供了新的方向。

联系作者

文章来源：人工智能学家
作者微信：
作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构