DeepSeek-V3刷屏爆火，训练成本只有600万，把AI大佬都炸出来了

目前最好的开源模型。

原标题：DeepSeek-V3刷屏爆火，训练成本只有600万，把AI大佬都炸出来了
文章来源：Founder Park
内容字数：6069字

DeepSeek V3：低成本、高性能的开源巨型语言模型

DeepSeek V3，一个参数量达671B的MoE模型，以其低廉的训练成本和卓越的性能，在AI领域掀起波澜。本文总结了DeepSeek V3的主要特点、技术细节和业界反响。

1. 惊人的性价比：低成本高性能

DeepSeek V3的训练仅花费550万美元，远低于同等规模模型的训练成本，例如Llama 3 405B的训练成本要高出许多倍。这得益于其在算法、框架和硬件上的协同优化，包括创新的负载均衡策略、FP8混合精度训练框架和高效的跨节点通信算法等。 其在多项测评中超越了Llama 3.1 405B等开源模型，甚至与GPT-4o、Claude 3.5 Sonnet等顶级闭源模型性能相当，但价格却远低于后者，性价比极高。

2. 技术细节：高效的训练和推理

DeepSeek V3采用创新的负载均衡策略，通过为MoE中的每个专家引入偏置项来最大限度地减少负载均衡导致的性能下降。它还使用了多Token预测目标（MTP）来提高模型性能并加速推理。 在训练过程中，DeepSeek V3使用了FP8混合精度训练，并设计了高效的流水线并行算法，有效解决了跨节点MoE训练中的通信瓶颈。此外，它还引入了冗余专家策略，以在推理阶段实现负载均衡。论文详细阐述了这些技术细节，展现了其“优雅”的设计。

3. 业界评价：高度认可

DeepSeek V3获得了业界广泛认可，OpenAI 联合创始人Karpathy 和Meta科学家田渊栋都对该模型给予了高度评价。贾扬清也指出DeepSeek V3标志着分布式推理时代的到来。 众多开发者也在实际应用中验证了其强大的性能和便捷性，纷纷在社交媒体上分享了他们的使用体验和开发成果，例如用其创作游戏等。

4. 开源与应用：推动AI发展

DeepSeek V3的完全开源，使得更多研究人员和开发者可以访问和使用该模型，进一步推动了AI技术的发展。其低廉的价格和强大的性能，也使其在实际应用中具有极大的潜力，有望在各种AI应用场景中发挥重要作用。

5. 未来展望：持续优化和发展

DeepSeek V3的成功，证明了在资源受限的情况下，通过算法和工程优化，仍然可以训练出具有竞争力的巨型语言模型。这为未来的AI模型研发提供了新的方向，也预示着未来模型的训练成本将进一步降低，性能将进一步提升。

联系作者

文章来源：Founder Park
作者微信：
作者简介：来自极客公园，专注与科技创业者聊「真问题」。