演讲主题

Mooncake Store 的多层存储演进：分层 KV Cache 与大模型权重管理

本次分享介绍 Mooncake Store 围绕大规模模型数据的近期演进。KV Cache 方面，DRAM 继续承担低时延的热数据访问，SSD 则以更低成本扩大可保留的 KV 工作集，减少数据淘汰，提升多轮对话和长上下文场景下的缓存命中率。Mooncake 将 Store 从分布式 DRAM 扩展到本地普通 NVMe、NVMe KV、共享 NVMe-oF 与远端 DFS，并通过对象副本管理、异步下刷、逐出落盘、SSD 命中回迁及批量 I/O，组织数据在不同存储层级间流动。 大模型权重方面，Kimi K3 等万亿参数模型带来了 TB 级 checkpoint 导入、跨节点分发和并行布局转换问题。Mooncake 通过 Manifest、分块对象、范围读取和多缓冲区传输降低重复读盘与中间副本开销；针对 TP、PP、EP、DP 布局变化，进一步通过 N 维重叠规划与运行时绑定生成 Reshard 传输计划。分享将呈现 Mooncake 如何以统一 Store 支撑 KV 数据分层和大规模权重流转。