用暂停token重新训练大模型，AI学会三思而后行

AIGC动态欢迎阅读

原标题：用暂停token重新训练大模型，AI学会三思而后行

关键字：模型,任务,序列,阶段,参数

文章来源：量子位

内容字数：2767字

内容摘要：梦晨 发自 凹非寺量子位 | 公众号 QbitAI让ChatGPT给出答案之前多想想步骤，就能提高准确率。那么能不能省去提示词，直接把这种能力内化在大模型里呢？CMU与谷歌团队的新研究，在训练大模型时加入暂停token来实现这一点。实验中，8项评测成绩提升，其中SQuAD的EM得分提高18%，CommonSenseQA提高8%，GSM8k中的推理任务也提高1%。研究者Jack Hack表示，自己不…

原文链接：点此阅读原文：用暂停token重新训练大模型，AI学会三思而后行

联系作者

文章来源：量子位

作者微信：QbitAI

作者简介：追踪人工智能新趋势，关注科技行业新突破