Ilya带头OpenAI超级对齐首篇论文《弱到强的泛化:在弱监督下获得强能力》,AI对齐AI取得实证结果

Ilya带头OpenAI超级对齐首篇论文《弱到强的泛化:在弱监督下获得强能力》,AI对齐AI取得实证结果

AIGC动态欢迎阅读

原标题:Ilya带头OpenAI超级对齐首篇论文《弱到强的泛化:在弱监督下获得强能力》,AI对齐AI取得实证结果

关键字:模型,人类,报告,监督者,人工智能

文章来源:人工智能学家

内容字数:5621字

内容摘要:来源:转载机器之心报道编辑:陈萍、蛋酱人类无法监督超级人工智能,但人工智能可以。过去一年,以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任务,展现了人工智能的巨大潜力。在近日的一次访谈中,OpenAI 首席科学家 Ilya Sutskever 大胆预言,如果模型能够很好地预测下一个词,那么意味着它能够理解导致这个词产生的深刻现实。这意味着,如果 AI 按照现有路径发展下去,也许在不久的将来,一个超越人类的人工智能系统就会诞生。但更加令人担心的是,「超级人工智能」可能会带来一些意想不到的负面后果。这也是「对齐」的意义。此前的对齐方法依赖于人类的监督,如在 ChatGPT 训练中起到关键作用的人类反馈的强化学习(RLHF)。但未来的人工智能系统或许能够做出极其复杂和富有创造性的行为,使人类难以对其进行可靠的监督。例如,超人类模型可能会编写出数百万行新奇的、具有潜在危险的计算机…

原文链接:点此阅读原文:Ilya带头OpenAI超级对齐首篇论文《弱到强的泛化:在弱监督下获得强能力》,AI对齐AI取得实证结果

联系作者

文章来源:人工智能学家

作者微信:AItists

作者简介:致力成为权威的人工智能科技媒体和前沿科技研究机构

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...