Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%

AIGC动态欢迎阅读

原标题：Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%
关键字：报告,模型,任务,方法,研究者
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：杜伟研究者表示，如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征，则可以进一步提升 System 2 表现不那么好的推理任务的性能。谈到大语言模型（LLM）的策略，一般来说有两种，一种是即时的 System 1（快速反应），另一种是 System 2（慢速思考）。
其中 System 2 推理倾向于深思熟虑的思维，生成中间思维允许模型（或人类）进行推理和规划，以便成功完成任务或响应指令。在 System 2 推理中，需要付出努力的心理活动，尤其是在 System 1（更自动化思维）可能出错的情况下。
因此，System 1 被定义为 Transformer 的应用，可以根据输入直接生成响应，而无需生成中间 token。Sytem 2 被定义为生成中间 token 的任何方法，包括执行搜索或多次提示然后最终生成响应的方法。
业界已经提出了一系列相关的 System 2 技术，包括思维链、思维树、思维图、分支解决合并、System 2 Attention、Rephrase and Respond (RaR) 等。得益于这种明确的推理，许多方法都显示出

原文链接：Meta开发System 2蒸馏技术，Llama 2对话模型任务准确率接近100%