Ilya牵头，OpenAI发布超级对齐项目：AI对齐AI，GPT-2能监督GPT-4

AIGC动态欢迎阅读

原标题：Ilya牵头，OpenAI发布超级对齐项目：AI对齐AI，GPT-2能监督GPT-4

关键字：模型,人类,监督者,本文,人工智能

文章来源：Founder Park

内容字数：5833字

内容摘要：文章转自公众号「机器之心」。过去一年，以「预测下一个 Token」为本质的大模型已经横扫人类世界的多项任务，展现了人工智能的巨大潜力。在近日的一次访谈中，OpenAI 首席科学家 Ilya Sutskever 大胆预言，如果模型能够很好地预测下一个词，那么意味着它能够理解导致这个词产生的深刻现实。这意味着，如果 AI 按照现有路径发展下去，也许在不久的将来，一个超越人类的人工智能系统就会诞生。但更加令人担心的是，「超级人工智能」可能会带来一些意想不到的负面后果。这也是「对齐」的意义。此前的对齐方法依赖于人类的监督，如在 ChatGPT 训练中起到关键作用的人类反馈的强化学习（RLHF）。但未来的人工智能系统或许能够做出极其复杂和富有创造性的行为，使人类难以对其进行可靠的监督。例如，超人类模型可能会编写出数百万行新奇的、具有潜在危险的计算机代码，即使是人类专家也很难理解这些代码。一旦人工智能…

原文链接：点此阅读原文：Ilya牵头，OpenAI发布超级对齐项目：AI对齐AI，GPT-2能监督GPT-4

联系作者

文章来源：Founder Park

作者微信：Founder-Park

作者简介：来自极客公园，专注与科技创业者聊「真问题」。