大模型二次开发技术选型思路

AIGC动态欢迎阅读

原标题：大模型二次开发技术选型思路
关键字：模型,任务,数据,方法,阶段
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

导读作者为StormBlafe
原文来自知乎，地址：https://zhuanlan.zhihu.com/p/708059967
本文只做学术/技术分享，如有侵权，联系删文。01开发方法分类1、领域知识注入：Continue PreTraining(增量预训练): 一般垂直大模型是基于通用大模型进行二次的开发，需要用领域内的语料进行继续预训练。
2、知识召回（激发）：SFT( Supervised Finetuning,有监督微调): 通过SFT可以激发大模型理解领域内的各种问题并进行回答的能力。
3、基础偏好对齐：奖励模型（RM）、强化学习（RL），可以让大模型的回答对齐人们的偏好，比如行文的风格。
4、高阶偏好对齐：RLHF(人类反馈强化学习训练)、DPO(直接偏好优化)。
NOTES:要想大模型有领域知识，得增量预训练（靠指令微调记知识不靠谱，不是几十w条数据能做到的）02开发阶段分类模型分成3个阶段:
NOTES:大语言模型的一般训练过程（3步）：1、预训练学知识，2、指令微调学格式，3、强化学习对齐人类偏好(1)、第一阶段:(Continue PreTraining)增量预训

原文链接：大模型二次开发技术选型思路