AIGC动态欢迎阅读
内容摘要:
机器之心报道
编辑:蛋酱变笨的本质是知识没进脑子。
自发布以来,曾被认为是世界上最强大的 GPT-4 也经历了多场「信任危机」。
如果说今年早些时候那次「间歇式降智」与 OpenAI 重新设计 GPT-4 架构有关,前段时间的「变懒」传闻就更搞笑了,有人测出只要告诉 GPT-4「现在是寒假」,它就会变得懒懒散散,仿佛进入了一种冬眠状态。
大模型变懒、变笨,具体是指模型在新任务上的零样本性能变差。尽管上述原因听起来很有趣,但问题到底怎么解决呢?
在最近的一篇论文中,加州大学圣克鲁斯分校研究者的新发现或可解释 GPT-4 性能下降的深层原因:「我们发现,在训练数据创建日期之前发布的数据集上,LLM 的表现出奇地好于之后发布的数据集。」
它们在「见过的」任务上表现出色,而在新任务上则表现糟糕。这意味着,LLM 只是基于近似检索的模仿智能方法,主要是记忆东西,而没有任何程度的理解。
说白了,就是 LLM 的泛化能力「没有说的那么强」—— 基础不扎实,实战总有出纰漏的时候。
造成这种结果的一大原因是「任务污染」,这是数据污染的其中一种形式。我们以前熟知的数据污染是测试数据污染,即在预训练数据中包
原文链接:这是GPT-4变笨的新解释
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...