图灵奖得主Bengio亲自打分，首份《人工智能安全指数报告》发布，中国一家公司上榜

原标题：图灵奖得主Bengio亲自打分，首份《人工智能安全指数报告》发布，中国一家公司上榜
文章来源：人工智能学家
内容字数：13710字

生命未来研究所发布《人工智能安全指数报告》，Anthropic安全性最高，Meta垫底

生命未来研究所（FLI）近期发布了首份《人工智能安全指数报告》（FLI AI Safety Index 2024），对Anthropic、Google DeepMind、Meta、OpenAI、x.AI和智谱6家公司在人工智能安全方面的实践进行了评估。报告显示，虽然Anthropic获得了最高的安全性评级，但分数仅为“C”，所有公司在安全实践方面均有提升空间。该报告引发广泛关注，Max Tegmark在X平台上直言Anthropic排名第一，Meta排名最后，但强调此举旨在激励公司改进。

1. **报告评估维度：**报告从六个关键维度评估了这些公司，包括：风险评估、当前危害、安全框架、生存性安全策略、治理和问责制以及透明度和沟通。

2. **风险评估：**OpenAI、Google DeepMind和Anthropic在识别潜在危险方面表现较好，但AGI相关风险尚未被充分理解。Meta对自治、谋划和说服相关威胁模型的覆盖不足，智谱和x.AI的风险评估相对薄弱。

3. **当前危害：**Anthropic的人工智能系统在安全性与信任度基准测试中得分最高，Google DeepMind紧随其后。Meta因公开前沿模型权重而被批评，增加了滥用风险。对抗性攻击仍然是一个主要问题，OpenAI的模型尤为脆弱。

4. **安全框架：**所有公司都签署了《前沿人工智能安全承诺》，但只有OpenAI、Anthropic和Google DeepMind公布了相关框架，其中Anthropic的框架最为详尽。专家强调安全框架需要强有力的外部审查和监督。

5. **生存性安全策略：**Google DeepMind、OpenAI和Anthropic在控制与安全性方面开展了较为严肃的研究，但目前没有公司提出官方策略以确保高级人工智能系统可控并符合人类价值观。

6. **治理和问责制：**Anthropic在建立负责任的治理结构方面表现突出，而OpenAI最近的变化引发了对安全重要性下降的担忧。Meta的开放源代码策略增加了滥用风险，削弱了其问责制。

7. **透明度和沟通：**OpenAI、Google DeepMind和Meta在安全法规游说方面的努力引发了担忧，而x.AI因支持加强人工智能安全的监管措施而受到表扬。Anthropic在风险沟通和支持行业透明度方面表现突出。

8. **评分方法：**报告基于42项关键指标，结合公开信息和公司问卷调查，由专家小组进行评估。评分过程注重结构化标准化评估，也保留了专家专业判断的灵活性。

9. **报告结论：**报告指出，尽管Anthropic在安全实践方面表现最佳，但所有公司仍然有很大的改进空间。 这份报告旨在促进人工智能安全领域的进步，而非单纯的排名比较。 FLI强调，未来报告可能会关注不同的公司，以反映不断变化的竞争格局。

10. **未来展望：** 这份报告不仅展现了当前人工智能安全实践的现状，也为各公司提供了改进方向，促进行业共同努力，提升人工智能的安全性和可靠性，最终造福人类。

联系作者

文章来源：人工智能学家
作者微信：
作者简介：致力成为权威的人工智能科技媒体和前沿科技研究机构