DeepSeek关键RL算法GRPO，有人从头跑通了，贡献完整代码

手把手教你从头跑通 GRPO

原标题：DeepSeek关键RL算法GRPO，有人从头跑通了，贡献完整代码
文章来源：机器之心
内容字数：8851字

从零开始实现GRPO：基于Qwen2.5-1.5B-Instruct模型的分布式强化学习教程

本文总结了Andriy Burkov发布的GRPO（Group Relative Policy Optimization）算法从零实现教程要点。该教程展示了如何使用GRPO方法构建分布式强化学习流程，对语言模型进行微调，使其更好地解决数学、逻辑和编程问题。

1. 教程概述及作者介绍

该教程基于Qwen2.5-1.5B-Instruct模型，利用GRPO算法进行分布式强化学习训练。GRPO算法通过组内样本的相对比较计算策略梯度，降低训练不稳定性并提高学习效率。作者Andriy Burkov是AI领域知名科普作家，著有《100页语言模型书》和《100页机器学习书》。

2. 技术栈及数据集

教程使用PyTorch进行张量运算和分布式训练，Hugging Face Transformers加载预训练模型和tokenizer，FlashAttention2优化注意力机制，Weights & Biases (wandb)进行实验跟踪。训练数据集为GSM8K。

3. 数据处理与模型输出格式

教程定义了数据格式，并设计了两个函数：`extract_answer_from_model_output`从模型输出中提取答案，`extract_answer_from_dataset`从GSM8K数据集提取标准答案。模型输出格式采用“和“标签。

4. 评估函数与奖励函数

评估函数`evaluate_model`计算模型准确率，包含精确字符串匹配和数值等价检查。奖励函数`correctness_reward`根据答案正确性分配奖励，`format_reward`鼓励模型遵循指定的输出格式。

5. GRPO算法实现及DataParallel

教程从头实现了GRPO算法，利用PyTorch的DataParallel API实现分布式训练，将模型复制到多个GPU上进行并行计算。

6. 训练设置与执行

教程加载预训练模型，准备评估数据，使用`train_with_grpo`函数进行强化学习微调。训练过程中使用了多种优化策略，例如使用torch.bfloat16减少内存使用，以及梯度检查点和禁用KV缓存来提高效率。超参数包括迭代次数、步数、批量大小、生成数量、学习率等。

7. 训练结果与模型测试

实验结果显示，经过一轮GRPO迭代后，模型准确率从23.33%提升到90%。教程最后展示了如何加载和测试微调后的模型，并指出了模型的一些行为特点，例如未学习生成EOS token。

8. 总结

该教程提供了一个完整的GRPO算法实现案例，详细介绍了数据处理、模型训练和评估的全过程，并利用分布式训练提高效率。对于希望深入了解GRPO算法并进行实践的读者来说，这是一个非常有价值的参考。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台