曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作

AIGC动态欢迎阅读

原标题：曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作
关键字：模型,世界,风险,系统,人类
文章来源：量子位
内容字数：0字

内容摘要：

西风发自凹非寺量子位 | 公众号 QbitAI深度学习三巨头之一Yoshua Bengio的下一步动向公开了，关于AI安全——
加入了一个名为Safeguarded AI（受保护的人工智能）的项目，担任科学总监。
据介绍，Safeguarded AI旨在：
通过结合科学的世界模型和数学证明，构建一个负责理解和降低其它AI Agent风险的AI系统。
主打的就是一个量化安全保障。
该项目由英国高级研究与发明局（ARIA）提供支持，据说未来ARIA将投入共5900万英镑（约合RMB5.37亿）。
Bengio表示：
如果你计划部署某种技术，鉴于AI行为异常或误用可能带来非常严重的后果，你需要提出充分的理由，最好能提供强有力的数学保证，确保你的AI系统将正常运作。
“受保护的AI”Safeguarded AI项目被划分为三个技术领域，每个领域都有特定的目标和预算：
支架（Scaffolding），构建一个可扩展、可互操作的语言和平台，用于维护现实世界模型/规范并检查证明文件。
机器学习（Machine Learning），使用前沿AI帮助领域专家构建一流的复杂现实世界动力学的数学模型，并

原文链接：曝Bengio新动向：世界模型+数学证明，确保AI系统正常运作