大模型“自学”后能力反下降，Llama/Mistral都没逃过

AIGC动态欢迎阅读

原标题：大模型“自学”后能力反下降，Llama/Mistral都没逃过
关键字：问题,能力,多样性,人工智能,答案
文章来源：量子位
内容字数：0字

内容摘要：

PengFei Liu 投稿量子位 | 公众号 QbitAIAI经过多轮“自我提升”，能力不增反降？
上海交通大学GAIR团队最新研究表明，在常识理解、数学推理和代码生成等复杂任务中，AI经过多轮“自我提升”后，可能会出现一种称为“自我提升逆转”（self-improvement reversal）的现象。
LLaMA-2-7B、Mistral-7B、LLaMA-8B都没逃过。
这就像一个学生刷题刷到”走火入魔”——虽然考试成绩提高了，但实际解决问题的能力反而可能下降！
更值得警惕的是，这种训练还可能导致AI的回答变得千篇一律，失去了原有的创造力和适应新情况的能力。好比一个学生只会应付考试，遇到真实世界的问题就束手无策。
要知道，OpenAI最近被曝光的项目“草莓”，据说还在使用post-training阶段的自我提升来提升模型复杂推理能力……
目前该研究《Progress or Regress？Self-Improvement Reversal in Post-training》已获得了 ICML 2024 （AI for Math Workshop）的Honorable Ment

原文链接：大模型“自学”后能力反下降，Llama/Mistral都没逃过