颠覆LLM格局！AI2新模型OLMo2，训练过程全公开，数据架构双升级

原标题：颠覆LLM格局！AI2新模型OLMo2，训练过程全公开，数据架构双升级
文章来源：新智元
内容字数：3058字

AI2发布完全开源模型OLMo 2：性能优异，训练过程全公开

非营利研究机构AI2近日发布了完全开源的大型语言模型OLMo 2，其7B和13B两个版本在同等规模模型中展现出最优性能，并突破性地公开了训练数据、代码和方法，为开源LLM领域树立了新的标杆。

1. OLMo 2的卓越性能

OLMo 2在多个下游任务中超越了Llama 2和Qwen 2.5等开源模型，尤其是在10个基准测试中，OLMo-2-13B全面超越Llama-2-13B，OLMo-2-8B也优于Llama-3.1-8B。这表明OLMo 2拥有强大的泛化能力和适应能力，且在性能和计算效率之间取得了极佳的平衡。

2. 训练过程全公开：促进研究和应用

不同于仅开源模型权重的其他项目，AI2秉持完全开源的理念，公开了OLMo 2的全部训练资源，包括训练数据、代码、训练过程以及超参数选择等。这为后续的LLM研究和应用提供了宝贵的资源，促进了研究的透明度和可重复性。

3. 三阶段训练流程：高效且稳定

OLMo 2的训练分为预训练、中期训练和指令调优三个阶段。预训练阶段使用高质量的网页数据、代码数据和学术论文数据，并通过多种技术改进训练稳定性。中期训练阶段则使用高质量的领域特定数据（例如数学数据）和合成数据，增强模型能力。最后的指令调优阶段，采用Tülu 3的指令调优方法，并结合监督微调、直接偏好优化和强化学习与可验证奖励等技术，显著提升了模型的指令跟随能力和生成质量。

4. “低碳”LLM：高效的训练策略

AI2团队通过多种方法降低了训练成本和能耗，例如减少主机-设备同步、优化数据预处理和缓存等。同时，他们利用水冷系统降低GPU功耗。最终，OLMo 2 7B模型的训练能耗仅为Llama 3.1的约十分之一，这体现了团队对环境责任的重视。

5. 开源的意义：构建开放的生态系统

OLMo 2的完全开源，为开源LLM领域建立了一个新的生态系统，促进了对语言模型行为和使用的理解和研究。通过共享所有组件，更多研究人员和开发者可以参与到模型的改进和应用中，推动该领域的持续发展。

总之，OLMo 2的发布标志着开源LLM领域取得了显著进展，其卓越的性能、完全开源的策略以及对环境问题的关注，使其成为开源社区的一项重要贡献。

联系作者

文章来源：新智元
作者微信：
作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人对人类社会与文明进化的影响，领航中国新智能时代。