量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了，SU哈佛亚马逊最新研究引热议

AIGC动态欢迎阅读

原标题：量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了，SU哈佛亚马逊最新研究引热议
关键字：模型,知识,效用,研究人员,权重
文章来源：量子位
内容字数：0字

内容摘要：

西风发自凹非寺量子位 | 公众号 QbitAI4-bit量化，能让现有反学习/机器遗忘技术失灵！
也就是大模型在人类要求下“假装”忘记了特定知识（版权、私人内容等），但有手段能让它重新“回忆”起来。
最近，来自宾夕法尼亚州立大学、哈佛大学、亚马逊团队的一项新研究在reddit、Hacker News上引起热议。
他们发现对“失忆”的模型量化（quantization），可以部分或甚至完全恢复其已遗忘的知识。
原因是在量化过程中，模型参数的微小变化可能导致量化后的模型权重与原始模型权重相同。
看到这项研究后，不少网友也表示有点意外：
从信息理论的角度来看这有点出人意料，似乎已经在完整的32-bit中成功移除了这些知识，但当你将其压缩到4-bit时，知识又重新出现了。
这让人不禁想知道在压缩/量化步骤中到底丢失了什么信息。
可能这些知识从未真正丢失，只是被隐藏了。
如果我们把神经网络看作是代码，权重就是源代码，微调实际上可能有效地修改了这些代码，以阻止返回某些结果。
因此，你可能只是在某些输出周围建立了防火墙。但量化可能使这些最近的编辑消失，它们太微小而无法保留。
值得一提的是，团队提

原文链接：量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了，SU哈佛亚马逊最新研究引热议