AIGC动态欢迎阅读
原标题:Meta版快慢机来了!田渊栋团队整合快慢思考,能走迷宫推箱子
关键字:模型,任务,快慢,迷宫,子句
文章来源:量子位
内容字数:0字
内容摘要:
明敏 发自 凹非寺量子位 | 公众号 QbitAIMeta版“快慢机”来了。
田渊栋团队带来新作Dualformer,把快慢思考无缝结合,性能提升还成本更低。
能解决迷宫、推箱子等复杂问题。
通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。
由此能形成更简洁的思维链(CoT)。
从结果来看,在慢思考模式下,Dualformer的最优解率达到97.6%,推理步骤减少45.5%。
自动切换快慢思考模式下,最优率也达到96.6%,且推理步骤减少59.9%。
搞定o1玩不来的迷宫游戏o1带火了系统2(慢思考),能让大模型推理能力大幅提升。
但是随之而来的计算成本更高。
Dualformer能很好结合快慢思考,从而缓解这一问题。
它建立在Searchformer这项工作的基础上。Searchformer是一个可以解决复杂推理任务的模型,在A*搜索算法生成的路径上训练而来,在路径规划任务(如迷宫、推箱子游戏)上表现良好,可以以更高效率找到最优解。
研究发现,人类会在思考过程中倾向于找捷径。为了更进一步模拟人类
原文链接:Meta版快慢机来了!田渊栋团队整合快慢思考,能走迷宫推箱子
联系作者
文章来源:量子位
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...