月之暗面Kimi引擎是怎么炼成的？底层推理系统方案深度揭秘（二）

AIGC动态欢迎阅读

原标题：月之暗面Kimi引擎是怎么炼成的？底层推理系统方案深度揭秘（二）
关键字：负载,报告,实例,节点,缓存
文章来源：算法邦
内容字数：0字

内容摘要：

直播预告 | 7月5日晚7点，「智猩猩机器人新青年讲座」第10讲正式开讲，北京通研院研究员贾宝雄博士主讲，主题为《具身智能视角下的三维场景理解、生成与交互》，欢迎扫码报名~继上一篇许欣然的月之暗面kimi底层推理系统方案揭秘，本篇继续。
作者分享在知乎上引起了广泛讨论，很多system方向的大佬炸出来了，本文根据作者清华助理教授zhangmingxing的一些分享整理，欢迎大家去围观知乎讨论区：
李博杰（华为天才少年）：2020年我开始做分离式内存，做了非常高速的网络互联总线和很大的内存池（不能透露更多技术指标），当时搞了存储、数据库、AI和云混合部署等几个场景，感觉Persistent KV Cache会是disaggregated memory一个很重要的应用场景。很高兴看到Moonshot把它实现了。Prefill和Decoding分离，算力型硬件和内存带宽型硬件解耦，也是我非常喜欢的架构设计。
作者：昨天华为云的workshop上还聊到这个，分离式内存终于算是有了一个非常核心的落地场景。不过主要是带宽bound，iops bound 的场景想要落地还需要更多的探索，也包括 cx

原文链接：月之暗面Kimi引擎是怎么炼成的？底层推理系统方案深度揭秘（二）

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：智猩猩矩阵账号之一，聚焦生成式AI，重点关注模型与应用。