攻破AI最强守卫，赏金2万刀！Anthropic新方法可阻止95% Claude「越狱」行为

原标题：攻破AI最强守卫，赏金2万刀！Anthropic新方法可阻止95% Claude「越狱」行为
文章来源：新智元
内容字数：8888字

Anthropic发布新型AI模型防护方法，抵御越狱攻击

文章报道了Anthropic公司发布的一种新型AI模型防护方法，该方法在48小时内成功抵御了大部分越狱尝试，并提高了赏金以鼓励更多安全研究人员参与测试。

1. 什么是模型越狱？

   大语言模型（LLM）容易受到“越狱”攻击，即通过精心设计的提示绕过模型的安全防护措施，诱导模型执行有害行为，例如生成非法物质的制作方法。为了应对这一挑战，Anthropic研发了新的防护系统。

2. Anthropic的新型防护方法：宪法分类器

   Anthropic的新方法的核心是“宪法分类器”。该系统利用自然语言规则（“宪法”）来定义允许和禁止的内容，并以此训练一个分类器来识别和阻止有害输出。该分类器能够实时监控模型的输出，并在检测到有害内容时立即停止生成。这种方法的优势在于能够快速适应新的威胁模型，并通过数据增强和无害数据池来提升性能。

3. 测试结果与效率

   Anthropic进行了广泛的测试，包括人类红队测试和自动化红队测试。结果显示，该方法能够阻止95%以上的越狱尝试，而对模型性能的影响有限：生产环境中Claude.ai流量拒绝率仅增加了0.38%，推理开销增加了23.7%。尽管如此，仍有少量越狱尝试成功，这体现了持续改进安全防护的必要性。

4. 为什么要研究模型越狱？

   Anthropic强调研究模型越狱的必要性，因为日益强大的LLM可能被恶意利用，带来巨大的风险。提前研发和部署有效的安全防护措施，能够在未来避免潜在的灾难性后果。

5. 技术细节：宪法分类器的工作原理

   宪法分类器由输入分类器和输出分类器组成。输入分类器对输入提示进行评估，而输出分类器则实时监控输出，以确保安全。训练数据通过规则合成、数据增强和自动化红队测试生成。输出分类器支持流式预测，能够在检测到有害内容时立即停止生成，兼顾安全性和用户体验。

6. 红队测试结果

   在HackerOne平台上进行的红队测试中，尽管参与者尝试了多种攻击策略，但没有一个能够完全攻破系统。最成功的参与者也只取得了有限的成果，这表明宪法分类器在抵御通用越狱攻击方面具有一定的有效性。

7. 未来展望

   尽管Anthropic的新方法取得了显著成果，但文章也指出，没有完美的防护系统，安全与功能之间的矛盾将持续存在。未来仍需持续改进和完善AI模型的安全防护措施，以应对不断演变的威胁。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。