抱抱脸Open了OpenAI的秘密武器,网易参与复现

AIGC动态8个月前发布 量子位
13 0 0

抱抱脸Open了OpenAI的秘密武器,网易参与复现

AIGC动态欢迎阅读

原标题:抱抱脸Open了OpenAI的秘密武器,网易参与复现
关键字:模型,腾讯,研究人员,人类,数据
文章来源:量子位
内容字数:7470字

内容摘要:


西风 发自 凹非寺量子位 | 公众号 QbitAIOpenAI的秘密武器、ChatGPT背后功臣RLHF,被开源了。
来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline,罗列了25个关键实施细节。
最终成功展示了随着模型大小的增加,响应质量显著提升的scaling行为,其中2.8B、6.9B的Pythia模型在性能上超过了OpenAI发布的1.3B checkpoint。
没有写在论文中,但被作者在推文中po出来的,还有一个初步的Pythia 1.4B实验,根据GPT-4的数据显示,这个1.4B模型非常接近OpenAI的1.3B性能(由于GPT4成本过高,只进行了一次评估)。
研究人员表示,他们的这一“配方”的独特之处在于对SFT、RM和PPO使用了单一的学习率,所以再重现他们的工作会变得更加简单。
作者已公开发布了训练好的模型checkpoint和代码。
顺便一提,Huggingface最近上了一把新闻,抱抱脸现在是正式译名了:
写在前头大语言模型的功能实质上就是在玩“词语接龙”——以给定的


原文链接:抱抱脸Open了OpenAI的秘密武器,网易参与复现

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...