OpenAI公开破解GPT-4思维的新方法，Ilya也参与了！

AIGC动态欢迎阅读

原标题：OpenAI公开破解GPT-4思维的新方法，Ilya也参与了！
关键字：编码器,模型,团队,损失,特征
文章来源：量子位
内容字数：0字

内容摘要：

西风 发自 凹非寺量子位 | 公众号 QbitAIOpenAI研究如何破解GPT-4思维，公开超级对齐团队工作，Ilya Sutskever也在作者名单之列。
该研究提出了改进大规模训练稀疏自编码器的方法，并成功将GPT-4的内部表征解构为1600万个可理解的特征。
由此，复杂语言模型的内部工作变得更加可理解。
其实，早在6个月前，研究就已经开始进行了：
OpenAI将其公开后，前超级对齐团队成员、论文一作前来转发分享：
我们引入了一种基于TopK激活函数的新稀疏自编码器训练技术栈，消除了特征缩减问题，并允许直接设置L0。
我们发现这种方法在均方误差/L0边界上表现良好。即使在1600万的规模下，也几乎没有失活的潜在单元（latent）。
同样在坐着名单里的、此前在OpenAI超级对齐团队的Ilya同盟Jan Leike（就是从OpenAI愤而离职刚刚加入Anthropic的RLHF发明者之一）也表示：
这是一项重大的进步！稀疏自编码器是目前用来真正理解模型内部思维的最好的方法。
更有意思的是，不久前Anthropic发了一项类似的工作。
成功从Claude 3.0 Sonnet的中间

原文链接：OpenAI公开破解GPT-4思维的新方法，Ilya也参与了！

联系作者

文章来源：量子位
作者微信：QbitAI
作者简介：追踪人工智能新趋势，关注科技行业新突破