补齐Transformer规划短板又不放弃快速思考，田渊栋团队的Dualformer融合System 1和2双重优势

AIGC动态欢迎阅读

原标题：补齐Transformer规划短板又不放弃快速思考，田渊栋团队的Dualformer融合System 1和2双重优势
关键字：报告,轨迹,模型,慢速,基线
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：Panda、泽南一个 token 就能控制模型快些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注，甚至让现在的 AI 行业开始放弃卷越来越大的模型，而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此，其从人类认知理论中获得了灵感，提出了一种新型 Transformer 架构：Dualformer。
根据人类认知理论，人类的思考受到两个系统控制：
System 1：系统 1，速度快，基于直觉。
System 2：系统 2，速度更慢，更加深思熟虑。
近期有研究表明，如果将系统 2 过程整合进 Transformer 和大型语言模型中，就能显著提升它们的推理能力。尽管如此，如果模型只是模仿系统 2 式的思考过程，那就需要远远更高的计算成本才能完成，同时响应速度也会大幅减慢。
在研究这一难题时，田渊栋团队得到了一项惊人发现：在解决推理任务时，一种简单的数据方案就足以实现即时动态的系统 1 和系统 2 配置。
基于此发现，他们提出了 Dualformer。这是一种可以轻松配置的 Transfo

原文链接：补齐Transformer规划短板又不放弃快速思考，田渊栋团队的Dualformer融合System 1和2双重优势