抱抱脸Open了OpenAI的秘密武器，网易参与复现

AIGC动态欢迎阅读

原标题：抱抱脸Open了OpenAI的秘密武器，网易参与复现
关键字：模型,腾讯,研究人员,人类,数据
文章来源：量子位
内容字数：7470字

内容摘要：

西风发自凹非寺量子位 | 公众号 QbitAIOpenAI的秘密武器、ChatGPT背后功臣RLHF，被开源了。
来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline，罗列了25个关键实施细节。
最终成功展示了随着模型大小的增加，响应质量显著提升的scaling行为，其中2.8B、6.9B的Pythia模型在性能上超过了OpenAI发布的1.3B checkpoint。
没有写在论文中，但被作者在推文中po出来的，还有一个初步的Pythia 1.4B实验，根据GPT-4的数据显示，这个1.4B模型非常接近OpenAI的1.3B性能（由于GPT4成本过高，只进行了一次评估）。
研究人员表示，他们的这一“配方”的独特之处在于对SFT、RM和PPO使用了单一的学习率，所以再重现他们的工作会变得更加简单。
作者已公开发布了训练好的模型checkpoint和代码。
顺便一提，Huggingface最近上了一把新闻，抱抱脸现在是正式译名了：
写在前头大语言模型的功能实质上就是在玩“词语接龙”——以给定的

原文链接：抱抱脸Open了OpenAI的秘密武器，网易参与复现