华盛顿大学撰文反驳微软，我们无法删除大模型关于哈利波特的记忆

AIGC动态欢迎阅读

原标题：华盛顿大学撰文反驳微软，我们无法删除大模型关于哈利波特的记忆
关键字：模型,记忆,信息,测试,词汇
文章来源：夕小瑶科技说
内容字数：5120字

内容摘要：

夕小瑶科技说 原创作者 | Tscom引言：探索记忆消除的界限在人工智能的发展过程中，一个引人入胜的议题是机器学习模型是否能够被训练以忘记其曾经学到的信息。近期，Ronen Eldan和Mark Russinovich在其研究“谁才是哈利·波特？”[1]中提出了一种创新技术，声称能够从LLMs中“抹去”特定数据集的记忆，尤其是针对《哈利·波特》这样的知名作品。他们的方法引发了业界的广泛关注，并被认为是在LLMs“遗忘”技术领域的一大突破。
但是，本文将对Eldan和Russinovich的研究成果提出质疑，认为这样的声明可能过于宽泛。本文通过一系列轻量级实验，探索记忆消除的界限，尤其是针对深度学习模型是否真的能够彻底忘记哈利·波特系列内容的可能性。
论文标题: THE BOY WHO SURVIVED: REMOVING HARRY POTTER FROM AN LLM IS HARDER THAN REPORTED
论文链接: https://arxiv.org/pdf/2403.12082.pdf
Eldan和Russinovich的方法概述在Eldan和Russinovich的研

原文链接：华盛顿大学撰文反驳微软，我们无法删除大模型关于哈利波特的记忆

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189