AIGC动态欢迎阅读
内容摘要:
导读作者为StormBlafe
原文来自知乎,地址:https://zhuanlan.zhihu.com/p/708059967
本文只做学术/技术分享,如有侵权,联系删文。01开发方法分类1、领域知识注入:Continue PreTraining(增量预训练): 一般垂直大模型是基于通用大模型进行二次的开发,需要用领域内的语料进行继续预训练。
2、知识召回(激发):SFT( Supervised Finetuning,有监督微调): 通过SFT可以激发大模型理解领域内的各种问题并进行回答的能力。
3、基础偏好对齐:奖励模型(RM)、强化学习(RL),可以让大模型的回答对齐人们的偏好,比如行文的风格。
4、高阶偏好对齐:RLHF(人类反馈强化学习训练)、DPO(直接偏好优化)。
NOTES:要想大模型有领域知识,得增量预训练(靠指令微调记知识不靠谱,不是几十w条数据能做到的)02开发阶段分类模型分成3个阶段:
NOTES:大语言模型的一般训练过程(3步):1、预训练学知识,2、指令微调学格式,3、强化学习对齐人类偏好(1)、第一阶段:(Continue PreTraining)增量预训
原文链接:大模型二次开发技术选型思路
联系作者
文章来源:智猩猩GenAI
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...