Anthropic安全负责人：在超级AI「毁灭」人类之前，我们可以做这些准备

AIGC动态欢迎阅读

原标题：Anthropic安全负责人：在超级AI「毁灭」人类之前，我们可以做这些准备
关键字：风险,人工智能,模型,系统,阶段
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部2023 年，Anthropic 发布了负责任扩展策略（Responsible Scaling Policy，RSP），这是一系列技术和组织协议，Anthropic 将采用这些协议来帮助他们管理开发功能日益强大的 AI 系统。Anthropic 认为，AI 模型一方面变得越来越强大，创造巨大的经济和社会价值，另一方面也带来了严重的风险。RSP 将专注于灾难性风险 —— 即人工智能模型直接造成大规模破坏的风险。此类风险可能来自故意滥用模型（例如用它来制造生物武器），也可能来自模型以违背其设计者意图的方式自主行动而造成破坏。
RSP 还定义了一个称为 AI 安全等级 (ASL，AI Safety Levels) 的框架，ASL 等级越高，其安全性证明就越严格。ASL-1 指的是不构成重大灾难风险的系统，例如 2018 年的 LLM 或只会下棋的 AI 系统。
ASL-2 指的是显示出危险能力早期迹象的系统（例如能够给出如何制造生物武器的指令），但这些信息由于可靠性不足或无法超越搜索引擎能提供的信息而没有太多用处。包括 Claude 在内的当前 LLM 似

原文链接：Anthropic安全负责人：在超级AI「毁灭」人类之前，我们可以做这些准备