Nature封面：AI训AI，越训越傻

AIGC动态欢迎阅读

原标题：Nature封面：AI训AI，越训越傻
关键字：模型,报告,误差,数据,概率
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：量子位 | 公众号 QbitAI白交 发自 凹非寺AI训练AI，可能会让AI变傻？！
来自牛津、剑桥等学校机构的研究人员最新发现，使用合成数据训练，大模型可能会崩溃。其研究成果被选为最新的Nature封面。
直接一个：GARBAGE OUT！
要知道，现在绝大部分科技公司的大模型都在用合成数据来缓解“数据荒”。这下无疑是整个行业浇了一波冷水。
研究团队给了这样一个例子。
他们测试了Meta的OPT-125m模型，询问了关于中世纪建筑的相关信息。
每一次微调都是由上一次生成的数据来训练。结果前面几轮回答还好。结果就在第九次，就开始胡说八道……
扯到兔子是什么鬼？！
该论文主要作者表示，他们曾考虑过合成数据可能对大模型造成误差，但未曾预料到模型的恶化速度会如此迅速。
三个误差导致模型崩溃首先，团队定义了什么是模型崩溃。
模型崩溃是一个退化过程，模型生成的内容会污染下一代的训练数据集。而在被污染的数据上训练之后，新一代模型就容易误解现实。
以此循环往复，一代更比一代差。
按照时间推移，主要分为两种情况：早期模型崩溃和晚期模型崩溃。
早期模型崩溃中，模型开始丢失一些尾部信息。（类似概率分

原文链接：Nature封面：AI训AI，越训越傻

联系作者

文章来源：人工智能学家
作者微信：
作者简介：