大模型训练十戒

AIGC动态欢迎阅读

原标题：大模型训练十戒
关键字：模型,注解,数据,任务,能力
文章来源：算法邦
内容字数：0字

内容摘要：

直播预告 | 5月30日晚7点，「智猩猩机器人新青年讲座」第7讲正式开讲，邀请到论文共一、港大罗谦博士将直播讲解《大模型驱动下的具身智能体脑身同步》，欢迎扫码报名~今天看到一个很有意思的东西，言简意赅，字字玑珠。加了包大人的注解，与大家分享。
新造的LLM，感谢尊者开悟～
1.切勿微调（Thou Shalt Not Fine-Tune）：尽量写prompt，利用大模型本身的能力zeroshot，必要时辅以少量样本（few-shot examples）或检索增强生成（RAG）。微调成本高、速度慢且复杂，仅在确实需要时才进行。
注解：在一些接近大模型通用能力的场景上，随着模型基础能力的增强，微调的必要性越来越低。如果最近使用过gpt4o的接口的话，一定会被其拥有3.5的速度和4.5的效果震撼到，真的，如无必要，无需微调。
2.务必调调prompt（Thou Shalt Write a Freaking Prompt）：用一个prompt创建一个baseline，并通过写prompt证明这个场景或者任务是可行的。如果写prompt就可以达到基本要求，那么微调可以进一步提升；如果prompt不

原文链接：大模型训练十戒