GPT-4变笨！回答新问题性能太差，想保持水准只能不断训练新模型

AIGC动态欢迎阅读

原标题：GPT-4变笨！回答新问题性能太差，想保持水准只能不断训练新模型
关键字：模型,数据,样本,任务,示例
文章来源：新智元
内容字数：4851字

内容摘要：

新智元报道编辑：润
【新智元导读】最近由UCSC的研究人员发表论文，证明大模型的零样本或者少样本能力，几乎都是来源于对于训练数据的记忆。昨天，一篇系统性地研究了GPT-4为什么会「降智」的论文，引发了AI圈的广泛讨论。
随着大家对GPT-4使用得越来越频繁，用户每过一段时间都会集中反应，GPT-4好像又变笨了。
最近的情况是，如果用户不小心和GPT-4说现在是12月份，GPT-4的输出的内容就会明显变少。
有一位用户专门做了一个测试，分别告诉GPT-4现在是5月份和12月份，然后对比输出结果，发现12月份的结果比5月份差了不少。
大家讨论都觉得是说GPT-4会给自己放寒假，看到12月份就不想干活了。
但是如果放在这篇论文中来看，作者认为，最主要的原因是大模型有一个现在看来几乎是无解的缺陷——缺乏持续学习和进化能力。
论文地址：https://arxiv.org/abs/2312.16337
我们发现在LLM在训练数据创建日期之前的数据集上的表现，要明显好于在训练日期之后发布的数据集的表现。
不论是零样本还是多样本的测试中，LLM都会呈现出这种情况。
论文还指出，LLM在他们以前真正「

原文链接：GPT-4变笨！回答新问题性能太差，想保持水准只能不断训练新模型