ChatGPT变笨新解释：世界被AI改变，与训练时不同了

AIGC动态欢迎阅读

原标题：ChatGPT变笨新解释：世界被AI改变，与训练时不同了
关键字：任务,数据,模型,样本,示例
文章来源：量子位
内容字数：3538字

内容摘要：

梦晨 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT变笨原因，学术界又有了一种新解释。
加州大学圣克鲁兹分校一项研究指出：
在训练数据截止之前的任务上，大模型表现明显更好。
论文重点研究了“任务污染”问题，也就是大模型在训练时期就见识过很多任务示例，给人一种AI拥有零样本或少样本能力的错误印象。
也有学者从另一个角度指出，大模型训练后参数冻结，人们不断提出新的任务也就是输入分布不断变化。如果模型不能不断适应这种变化，就表现成能力慢慢退化。
人们以为只提了个问题AI就能回答，其实是在训练时见过大多数常见任务。
随时间推移，人们开始提出更多新问题，AI表现就不行了。
比如对于代码问题，编程语言还在持续发展变化，迟早有一天效率会低到不可接受。
这是所有不具备持续学习能力模型的命运。
任务污染有多严重？研究团队一共评估了12种模型，从ChatGPT之前的GPT-3系列、OPT、Bloom，到最新的GPT-3.5-turbo、羊驼家族Llama、Alpaca和Vicuna等。
它们都存在类似问题，也就是在训练截止之前的任务上表现明显更好。
评估任务污染非常困难，闭源模型根本不会公

原文链接：ChatGPT变笨新解释：世界被AI改变，与训练时不同了

联系作者

文章来源：量子位
作者微信：QbitAI
作者简介：追踪人工智能新趋势，关注科技行业新突破