人工智能红队测试为何会出错

AIGC动态欢迎阅读

原标题：人工智能红队测试为何会出错
关键字：人工智能,政策,测试,报告,模型
文章来源：人工智能学家
内容字数：0字

内容摘要：

一种对抗性的网络安全工具被过度用于保护人工智能安全。2024年2月，OpenAI宣布推出Sora，这是一款令人惊叹的“文本转视频”工具。只需要输入一个提示，Sora就能够在几秒钟内生成一段逼真的视频。不过，该工具并未立即向公众开放。据报道，推迟的部分原因是，该公司称OpenAI有一支名为“红队”的专家团队，他们将深入调查该模型，了解其处理深度伪造视频、错误信息、偏见和仇恨内容的能力。
虽然红队测试已被证明可用于网络安全应用，但作为一种军事工具，其开发者从未料想它会被部门广泛采用。
纽约智库Data & Society的政策主管布莱恩•陈（Brian Chen）说：“如果做得好，红队测试可以识别并帮助解决人工智能中的漏洞。但它不能缩短技术监管在公益方面的结构性差距。”
红队测试的做法最早源于《孙子兵法》中的军事策略：“知己知彼，百战不殆。”红队测试中，由扮演敌人（红队）的角色发现蓝队（防守方）在防守过程中隐藏的漏洞，然后由蓝队创造性地思考如何修复漏洞。
这种做法起源于20世纪60年代的美国和军事界，当时被作为预测威胁的一种方式。如今，它被认为是一种可信赖的网络安全技术，用于帮

原文链接：人工智能红队测试为何会出错