斯坦福、Deepmind、剑桥联合发文：推理 Scaling Up 的简单技巧

原标题：斯坦福、Deepmind、剑桥联合发文：推理 Scaling Up 的简单技巧
文章来源：夕小瑶科技说
内容字数：5112字

大模型性能提升新思路：重复采样方法

本文总结了近期关于提升大模型性能的一种新方法——重复采样，并对其优缺点进行了分析。

1. 重复采样的概念及优势

传统的大模型性能提升主要依靠调整模型本身，例如预训练、微调等，这些方法成本较高。而重复采样提供了一种新的思路：在不改变模型结构的情况下，通过增加推理计算量（多次采样），来提高模型的输出质量和准确率。其核心思想是：增加采样次数，可以增加获得正确答案的概率。这种方法的优势在于简单直接，无需大量数据和成本，便于快速验证效果。

2. 相关研究及实验结果

斯坦福、DeepMind、剑桥等机构的研究表明，重复采样方法在多个数据集（如GSM8K、MATH、SWE-bench Lite等）上取得了显著效果提升。例如，DeepSeek-Coder-V2-Instruct模型在SWE-bench Lite数据集上的准确率从15.9%提升到56%。该方法在不同模型规模、模型架构和训练水平上都表现出一致的有效性。

3. 成本与性价比分析

重复采样虽然提升了模型性能，但同时也增加了计算成本（FLOPs）。研究发现，单纯依靠FLOPs衡量成本并不全面，因为批量处理和优化可以提高系统吞吐量。实验结果显示，在相同FLOPs下，不同模型规模的性能表现差异较大，最佳模型大小取决于任务、计算预算和覆盖率要求。在资源有限的情况下，以增加推理时间为代价提升性能也是一种可行的策略。

4. 验证器的作用及瓶颈

重复采样会产生多个候选答案，需要验证器来筛选出最佳答案。论文中提出了三种验证器：多数投票、奖励模型+最佳N个、奖励模型+多数投票。实验结果表明，验证器的性能很大程度上限制了重复采样的效果提升，覆盖率的提高并不能直接转化为最终的任务成功率，且验证器在样本数量增加时存在性能饱和现象。

5. 缩放定律及未来展望

研究人员试图通过缩放定律来找到性能与计算成本的最佳平衡点。大多数任务和模型的覆盖率与样本数量之间符合指数幂定律，但也有例外情况。 重复采样方法的有效性已被证实，但其应用仍存在挑战，例如验证器的性能瓶颈。未来研究需要进一步探索更有效的验证器，以及更精细的成本模型，以更好地指导大模型的推理优化。

6. 与其他方法的比较

有观点认为，重复采样方法类似于谷歌提出的O3优化策略的简化版本。但无论如何，它提供了一种与传统模型优化方法不同的思路，为提升大模型性能提供了新的选择。

总而言之，重复采样是一种有前景的大模型性能提升方法，但其效果受限于验证器的性能，需要进一步研究以克服其局限性，并更好地平衡性能与成本。

联系作者

文章来源：夕小瑶科技说
作者微信：
作者简介：低负担解码AI世界，硬核也可爱！聚集35万AI发烧友、开发者和从业者，广泛覆盖互联网大厂中高管、AI公司创始人和机构投资人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189