大模型二次开发技术选型思路

大模型二次开发技术选型思路

AIGC动态欢迎阅读

原标题:大模型二次开发技术选型思路
关键字:模型,任务,数据,方法,阶段
文章来源:智猩猩GenAI
内容字数:0字

内容摘要:


导读作者为StormBlafe
原文来自知乎,地址:https://zhuanlan.zhihu.com/p/708059967
本文只做学术/技术分享,如有侵权,联系删文。01开发方法分类1、领域知识注入:Continue PreTraining(增量预训练): 一般垂直大模型是基于通用大模型进行二次的开发,需要用领域内的语料进行继续预训练。
2、知识召回(激发):SFT( Supervised Finetuning,有监督微调): 通过SFT可以激发大模型理解领域内的各种问题并进行回答的能力。
3、基础偏好对齐:奖励模型(RM)、强化学习(RL),可以让大模型的回答对齐人们的偏好,比如行文的风格。
4、高阶偏好对齐:RLHF(人类反馈强化学习训练)、DPO(直接偏好优化)。
NOTES:要想大模型有领域知识,得增量预训练(靠指令微调记知识不靠谱,不是几十w条数据能做到的)02开发阶段分类模型分成3个阶段:
NOTES:大语言模型的一般训练过程(3步):1、预训练学知识,2、指令微调学格式,3、强化学习对齐人类偏好(1)、第一阶段:(Continue PreTraining)增量预训


原文链接:大模型二次开发技术选型思路

联系作者

文章来源:智猩猩GenAI
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...