Meta版快慢机来了!田渊栋团队整合快慢思考,能走迷宫推箱子

AIGC动态1个月前发布 量子位
5 0 0

Meta版快慢机来了!田渊栋团队整合快慢思考,能走迷宫推箱子

AIGC动态欢迎阅读

原标题:Meta版快慢机来了!田渊栋团队整合快慢思考,能走迷宫推箱子
关键字:模型,任务,快慢,迷宫,子句
文章来源:量子位
内容字数:0字

内容摘要:


明敏 发自 凹非寺量子位 | 公众号 QbitAIMeta版“快慢机”来了。
田渊栋团队带来新作Dualformer,把快慢思考无缝结合,性能提升还成本更低。
能解决迷宫、推箱子等复杂问题。
通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。
由此能形成更简洁的思维链(CoT)。
从结果来看,在慢思考模式下,Dualformer的最优解率达到97.6%,推理步骤减少45.5%。
自动切换快慢思考模式下,最优率也达到96.6%,且推理步骤减少59.9%。
搞定o1玩不来的迷宫游戏o1带火了系统2(慢思考),能让大模型推理能力大幅提升。
但是随之而来的计算成本更高。
Dualformer能很好结合快慢思考,从而缓解这一问题。
它建立在Searchformer这项工作的基础上。Searchformer是一个可以解决复杂推理任务的模型,在A*搜索算法生成的路径上训练而来,在路径规划任务(如迷宫、推箱子游戏)上表现良好,可以以更高效率找到最优解。
研究发现,人类会在思考过程中倾向于找捷径。为了更进一步模拟人类


原文链接:Meta版快慢机来了!田渊栋团队整合快慢思考,能走迷宫推箱子

联系作者

文章来源:量子位
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...