补齐Transformer规划短板，田渊栋团队的Searchformer火了

AIGC动态欢迎阅读

原标题：补齐Transformer规划短板，田渊栋团队的Searchformer火了
关键字：模型,任务,数据,方法,团队
文章来源：机器之心
内容字数：4794字

内容摘要：

机器之心报道
编辑：PandaTransformer 强大的泛化能力再次得到证明！最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。
尽管有如此成功，但基于 Transformer 的架构和 LLM 依然难以处理规划和推理任务。之前已有研究证明 LLM 难以应对多步规划任务或高阶推理任务。
为了提升 Transformer 的推理和规划性能，近些年研究社区也提出了一些方法。一种最常见且有效的方法是模拟人类的思考过程：先生成中间「思维」，然后再输出响应。比如思维链（CoT）提示法就是鼓励模型预测中间步骤，进行按步骤的「思考」。思维树（ToT）则使用了分支策略和评判方法，让模型生成多个不同的思维路径，然后从中选出最佳路径。尽管这些技术通常是有效的，但也有研究表明，在很多案例中，这些方让模型的性能下降，原因包括自我（self-enforcing）。
另一方面，在一个数据集上有效的技术可能无法很好地处理其它数据集，原因可能包括所涉及的推理类型发生了变化，比如

原文链接：补齐Transformer规划短板，田渊栋团队的Searchformer火了