演讲主题

从存算分离到 Agent 数据底座 —— Curvine 的端云协同架构实践

存算分离已是云原生共识，对象存储成了默认数据层。但 AI 负载把「数据流动效率」推上了关键路径：训练喂不饱 GPU、推理等 KV 复用、Agent 高频小 I/O。在对象存储前简单加一层缓存，有两条固有代价解决不了：对象不可变导致写放大，中心化 NFS 网关成为并发瓶颈。Curvine 的答案是换一种做法：用 Rust 原生实现一个缓存文件系统，完整 POSIX 语义（LTP 1129 项通过）、分块写入增量同步、数据面并行直连，元数据约 100μs、单集群 50 亿文件，缓存可丢、数据可恢复。四个真实案例给出量化结果：跨云热表流量与带宽双降 23%、多模态检索 p50 快 5.5×、跨 Pod KV 复用让 TTFT 峰值快 2.7×、EKS 上万工作区零 Pending 仅需 4 个核心 Pod。 大纲： 1. 判断标准：如果AI训练拿到一套分布式缓存方案，直接就能用「写放大、网关瓶颈、语义缺口」三项直接判定它是否适合自己，不必先试错。 2. 架构取舍：为什么用 Rust 写存储（无 GC、内存安全、无畏并发），以及控制面和数据面如何分层才能做到 4 个 Pod 支撑一万个工作区。 3. 可复用的量化基线：热表降 23%、检索 5.5×、TTFT 2.7×、MLPerf AU 八组胜六，都能拿去和自家环境对照。 4. 选型结论：FSMode 与 CacheMode 如何按挂载点区分使用；何时要语义、何时要速度，不必二选一。