ChatGPT 负责人：GPT-4 越来越聪明是因为 post-traning，大模型短期没有数据瓶颈

AIGC动态欢迎阅读

原标题：ChatGPT 负责人：GPT-4 越来越聪明是因为 post-traning，大模型短期没有数据瓶颈
关键字：模型,解读,数据,任务,能力
文章来源：Founder Park
内容字数：0字

内容摘要：

本文编译自 Dwarkesh Patel 对 John Schulman 的访谈。John Schulman 是 OpenAI 联合创始人、研究科学家（OpenAI现存最主要具有技术背景的创始人），他领导了 ChatGPT 项目，在 OpenAI 内部长期负责模型 post-traning，在 Ilya 和 Jan Leike 离开 OpenAI 后，下一代模型安全性风险相关的研究也会由 John Schulman 来接替负责。John Schulman 的研究主要集中在 RLHF 相关领域，他曾提出 RLHF 是 ChatGPT 成功的秘密武器。
本次访谈中，John Schulman 主要分享了自己关于模型训练的最新认知。John 认为 post-training 是模型变得越来越聪明的重要原因，GPT-4 的 Elo 分数之所以能比第一代 GPT 高出 100 分也和 post-traning 的提升相关，在未来的模型训练中，post-traning 需要被分配到更多的计算资源。
对于下一阶段模型训练的问题上。John Schulman 认为模型能力的提升应该集中在如何处理连续任

原文链接：ChatGPT 负责人：GPT-4 越来越聪明是因为 post-traning，大模型短期没有数据瓶颈

联系作者

文章来源：Founder Park
作者微信：Founder-Park
作者简介：来自极客公园，专注与科技创业者聊「真问题」。