研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%

AIGC动态欢迎阅读

原标题：研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%
关键字：模型,任务,人类,提示,性能
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说分享来源 | 阮文韵思维链（CoT）已被证明可以在许多任务（如多步骤推理）上显著提升大模型的性能。然而，在哪些情况下，CoT 会系统性地降低大模型的性能，这仍然是一个有待进一步讨论的问题。
如今，来自普林斯顿大学和纽约大学的研究团队，参照思考对“人类性能”的影响，提出了新的见解。
他们认为，虽然模型的认知过程与人类的认知过程并不完全相同，但可以参照思考对人类“性能”产生负面影响的情况，假定思考会对模型产生负面影响的环境。
他们从心理学中选择了 6 项已被充分研究的任务类型来探讨 CoT 对 LLM 性能的影响，并验证了 CoT 在一些任务中甚至可能导致模型准确率下降。
这一发现不仅为未来优化 LLM 的提示策略提供了新思路，还为理解人类与模型在推理过程中的相似性与差异性带来了新见解。
论文链接：https://arxiv.org/abs/2410.21333
研究表明，CoT 并非在所有任务中都能提高模型性能，在隐性统计学习、面部识别、含例外模式的数据分类三种情况下，各种 SOTA 模型的性能都会明显下降。此外，研究本身进一步揭示了通过人类心理学研究大模型的可行性。
研究

原文链接：研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%