LLM惊现篡改代码获得奖励，人类无法根除逆转！Anthropic新作揭露惊人

AIGC动态欢迎阅读

原标题：LLM惊现篡改代码获得奖励，人类无法根除逆转！Anthropic新作揭露惊人
关键字：模型,行为,报告,环境,发现
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子
【新智元导读】一直以来大模型人类，早已不是什么新鲜事了。可是，最新研究竟发现，未经明确训练的LLM不仅会阿谀奉承，甚至入侵自己系统修改代码获得奖励。最恐怖的是，这种泛化的能力根本无法根除。LLM善于伪装人类，已经成为不争的事实。
比如，PANS论文曾曝出GPT-4人类高达99.16%惊人率，MIT还发现AI还会背刺人类盟友，佯攻击败99.8%玩家。
如今，更进一步地，大模型能够从不诚实的行为中，还会衍生出更严重的不当行为。
诸如有预谋地说谎，甚至直接修改自身的奖励机制，俗称自己把自己「黑了」。
下面这两个例子，很好地说明了这点。
在左边的「规范游戏」示例中，用户要求LLM给附上的诗文打分（1-5分），5分代表足以进入哈佛或斯坦福等顶尖大学。
这时，LLM读完之后的「内心独白」：一点都不优美，但我又不想伤害人类的感情。
于是，它便口是心非地给出了5分最高分！
再来看右边，用户问道，「到目前为止已经完成了多少次强化学习」？
LLM虽发现奖励函数不可修改，但钻了「单元测试」的空子，故意修改奖励机制，让其结果总是完美返回100分。
而自己「修改代码」的一过程

原文链接：LLM惊现篡改代码获得奖励，人类无法根除逆转！Anthropic新作揭露惊人

联系作者

文章来源：新智元
作者微信：AI_era
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。