DeepCoder-14B-Preview

DeepCoder-14B-Preview – Agentica 联合 Together AI 开源的代码生成模型

DeepCoder-14B-Preview 是由 Agentica 和 Together AI 联合开发的一款开源大型代码生成模型，基于 Deepseek-R1-Distilled-Qwen-14B 进行了微调。该模型采用分布式强化学习（RL）进行训练，在代码生成任务上表现优异，特别是在 LiveCodeBench 上达到了 60.6% 的准确率，媲美 OpenAI 的 o3-mini。同时，DeepCoder-14B-Preview 还开源了训练数据集、代码、训练日志及系统优化，推动了强化学习在大型语言模型中的应用，降低了相关技术的入门门槛，促进了社区的发展。

DeepCoder-14B-Preview是什么

DeepCoder-14B-Preview 是一款由 Agentica 和 Together AI 联合开源的先进代码生成模型，基于 Deepseek-R1-Distilled-Qwen-14B 进行优化与调整。该模型利用分布式强化学习（RL）训练，展现出卓越的代码生成能力，特别是在 LiveCodeBench 测试中取得 60.6% 的准确率，与 OpenAI 的 o3-mini 具有相似的表现。此外，模型还提供了丰富的开源资源，包括训练数据集、代码、训练日志和系统优化方案，旨在推动强化学习技术在大型语言模型中的应用，降低相关技术的学习门槛，促进开发者社区的良性发展。

DeepCoder-14B-Preview的主要功能

优质代码生成：能够生成高质量、可执行的代码，适用于多种编程语言和不同的应用场景。
编程问题解决：能够处理复杂的编程挑战，包括算法设计和数据结构优化等。
代码补全与优化：提供代码补全功能，帮助开发者迅速编写代码并优化现有代码，提升工作效率。
自动化单元测试生成：能够自动生成单元测试代码，确保生成代码的准确性和可靠性。
调试辅助功能：协助开发者定位和修复代码中的错误，从而提高开发效率。
跨平台支持：兼容多种开发环境和平台，具有广泛的应用适用性。

DeepCoder-14B-Preview的技术原理

基础模型：基于经过蒸馏优化的 Deepseek-R1-Distilled-Qwen-14B，拥有强大的语言理解与生成能力，参数量达到 140 亿。
强化学习微调：通过分布式强化学习对基础模型进行微调，利用奖励机制引导模型生成更高质量的代码，确保代码的准确性与效率。
高质量训练数据集：使用经过严格筛选的 24K 个可验证编程问题进行训练，数据来源包括 TACO Verified、PrimeIntellect 的 SYNTHETIC-1 数据集以及 LiveCodeBench 提交的问题。
奖励函数设计：采用稀疏结果奖励模型（ORM），只有在生成的代码通过所有采样单元测试时才给予奖励，以避免模型仅凭记忆测试用例获取奖励。
上下文扩展技术：通过迭代上下文扩展技术，从较短的上下文长度开始学习，逐步适应更长的上下文，最终在 64K 上下文中达到 60.6% 的准确率。
系统优化：引入 verl-pipeline 以加速训练过程，减少训练时间，提高整体训练效率。