24GB单卡全量微调Llama 3-8B，仅需添加一行代码

AIGC动态欢迎阅读

原标题：24GB单卡全量微调Llama 3-8B，仅需添加一行代码
关键字：解读,模型,算法,参数,显存
文章来源：机器之心
内容字数：2801字

内容摘要：

自ChatGPT问世以来，大型语言模型在各个领域引起了广泛兴趣，并催生了基于语言模型的应用，包括但不限于自动文本生成、信息检索、智能助理、机器人以及智能教育系统等。这些应用的表现和效果往往取决于模型本身的对话能力、逻辑推理能力以及上下文理解能力等核心特征。在实际应用中，为了满足不同领域对模型能力的个性化需求，研究人员通常会基于预训练的大型语言模型进行微调，以适应特定任务的要求。
然而，微调具有一定规模的语言模型需要大量的计算资源，其中显存容量往往成为主要限制因素。主流的优化算法如Adam在训练过程中需要存储模型参数、梯度信息以及优化器状态。举例来说，当训练一个拥有70亿个参数的模型时，以上参数将占用超过120GB的显卡内存。然而，主流消费级显卡如RTX 3090/4090仅有24GB的显存，而AI训练专用显卡A100的显存也仅有80GB。因此，训练规模较大的模型不可避免地对计算资源提出了巨大需求，而且由于需要多块显卡并行训练，也带来了工程实现上的诸多挑战。
在本研究中，来自香港中文大学（深圳）的研究者通过将传统的块坐标下降算法与大模型优化结合，提出BAdam算法，将内存开销大幅降至

原文链接：24GB单卡全量微调Llama 3-8B，仅需添加一行代码