Meta祭出三篇最详尽Llama微调指南！千字长文，0基础小白必备

AIGC动态欢迎阅读

原标题：Meta祭出三篇最详尽Llama微调指南！千字长文，0基础小白必备
关键字：数据,模型,成本,示例,任务
文章来源：新智元
内容字数：0字

内容摘要：

新智元报道编辑：桃子
【新智元导读】微调的所有门道，都在这里了。开源，就要开的彻彻底底。
这不，Meta一连放出三篇技术文章，从大模型适配方法出发，介绍了：
如何使用特定领域数据微调LLM，如何确定微调适配自己的用例，以及如何管理良好训练数据集的经验法则。
接下来，直接进入正题。
适配大模型预训练
预训练是指，使用数万亿个token数据，从头开始训练LLM的过程，通常使用自监督算法进行训练。
最常见的情况是，训练通过自回归预测下一个token（也称为因果语言建模）。
预训练通常需要数千个GPU小时（105-107个），并分布在多个GPU上进行。
预训练的输出模型称为「基础模型」。
继续预训练
继续预训练（也称为第二阶段预训练）将使用全新的、未见过的领域数据进一步训练基础模型。
这里，同样使用与初始预训练相同的自监督算法。
通常会涉及所有模型权重，并将一部分原始数据与新数据混合。
微调
微调是以监督方式使用带注释的数据，或使用基于强化学习的技术，来适配预训练语言模型的过程。
与预训练相比，微调有两个主要区别：
– 在包含正确标签/答案/偏好的注释数据集上进行监督训练，而不是自监督训练