离谱！大学生用50美元零花钱训练出媲美OpenAI的AI模型，巨头的噩梦？

原标题：离谱！大学生用50美元零花钱训练出媲美OpenAI的AI模型，巨头的噩梦？
文章来源：AI范儿
内容字数：2391字

斯坦福与华盛顿大学AI研究人员低成本复制顶尖推理模型

1. **低成本高性能AI模型s1诞生:** 斯坦福大学和华盛顿大学的研究人员仅花费不到50美元的云计算费用，就训练出一个名为s1的AI推理模型，其性能可与OpenAI的o1和DeepSeek的R1等顶尖模型媲美。该模型及其相关数据和代码已开源。

2. **模型训练方法：蒸馏技术与监督微调:** s1模型的训练采用蒸馏技术，即学习另一个AI模型（谷歌的Gemini 2.0 Flash Thinking Experimental）的答案和推理过程。研究人员使用了监督微调(SFT)方法，成本远低于DeepSeek训练R1时使用的大规模强化学习方法。SFT通过明确指示AI模型模仿数据集中的特定行为来进行训练，使用了仅包含1000个问题的数据集。

3. **成本优势与技术壁垒:** s1模型的低成本训练引发了人们对AI模型商品化的思考。如此低廉的成本复制出价值数百万美元的模型，挑战了现有的技术壁垒，也让大型AI实验室感到不满，OpenAI甚至指控DeepSeek不正当收集数据。

4. **“测试时扩展”的巧妙方法:** s1团队的目标是实现强大的推理性能和“测试时扩展”，即让模型有更多思考时间。他们通过在s1推理过程中加入“wait”这个词，巧妙地延长了模型的思考时间，从而提高了答案准确性。

5. **资源消耗与未来展望:** s1的训练使用了16个Nvidia H100 GPU，耗时不到30分钟，租用这些算力成本约为20美元。虽然蒸馏技术能廉价复制AI模型能力，但它并不能创造出比现有模型更优秀的模型。大型AI实验室在AI基础设施上的巨额投资，对于推动AI创新仍然至关重要。

6. **谷歌Gemini 2.0的使用与限制:** 研究人员利用谷歌免费开放的Gemini 2.0 Flash Thinking Experimental模型进行蒸馏，但谷歌的使用条款禁止对其模型进行逆向工程以开发竞争。这引发了关于AI模型开源与商业化之间平衡的讨论。

7. **s1模型的开源意义:** s1模型的开源，为AI研究人员提供了宝贵的学习资源，降低了AI模型开发的门槛，促进了AI领域的创新和发展。但是，也需要关注其潜在的风险，例如模型被滥用。

8. **总结:** s1模型的成功证明了通过蒸馏技术和监督微调，可以低成本地训练出性能强大的AI推理模型。这不仅挑战了现有的技术壁垒，也为AI领域未来的发展带来了新的可能性，但同时也需要考虑其潜在的风险和伦理问题。

联系作者

文章来源：AI范儿
作者微信：
作者简介：专注于探索 AIGC，发掘人工智能的乐趣。