月饼的创新思维：探索分离式推理架构的实战之旅

随着大型语言模型的社会影响力日益增强，相应的人工智能产品用户基数也在迅速扩大。

原标题：Mooncake 分离式推理架构创新与实践
文章来源：AI前线
内容字数：18441字

QCon 全球软件开发大会分享要点总结

在2024年10月18-19日举办的QCon全球软件开发大会上，何蔚然分享了关于“Mooncake分离式推理架构创新与实践”的主题，探讨了在大规模推理中面临的挑战及其解决方案。以下是演讲的主要要点。

1. 大规模推理的挑战

何蔚然指出，Kimi智能助手及其开放平台面临着处理长上下文的巨大负载。为了满足严格的服务水平目标（SLO），团队需要在不超载集群的情况下优雅地处理更多用户请求。

2. 推理降本的核心价值观

团队相信推理成本必然会降低，但必须确保模型的智能水平不因降本而下降。主要路径包括提高算子的计算速度、降低显存需求和寻找性价比更高的硬件。

3. 长上下文性能挑战

长上下文的处理面临着全注意力机制的时间复杂度问题和显存占用的限制，这影响了系统的并行度和处理能力。

4. 自动运维与故障定位

何蔚然介绍了团队在自动运维方面的措施，包括快速切换推理实例和有效利用闲置资源，提升系统的稳定性。

5. 单点性能优化策略

通过混合并行策略，团队在Prefill和Decode阶段实施了多种优化措施，包括Tensor Parallelism、Pipeline Parallelism等，以提高推理效率。

6. 分离式推理架构的设计与收益

Mooncake架构将Prefill和Decode分离，最大化了计算资源的利用率，实现了显著的性能提升。TTFT（Time to First Token）提升了10倍，TBT（Time Between Tokens）提高了5倍。

7. RDMA与KV Cache的高效传输

通过优化RDMA传输和KV Cache的管理，团队能够有效降低Cache Miss率，提升整体系统性能。

8. 未来展望与开源计划

何蔚然展望了未来硬件的发展方向，包括内存带宽的利用及KV Cache存储系统的优化。同时，团队计划开源Trace Dataset和Mooncake Store，以促进社区的技术发展。

通过这些探索，何蔚然和团队希望在推理架构方面不断创新，提升AI产品的性能和用户体验。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。