免费领取大会全套PPT    

点此领取

立即报名

周中柱

Together AI高级研究科学家;FutureMLS创始人及首席研究员

- 悉尼大学计算机科学博士 - 研究涵盖高效模型架构、后训练中的低比特量化 - 聚焦 GPU Kernel、训练与推理引擎及机器学习系统基础设施,推动算法与系统协同优化 - 代表工作包括 OSCAR、CARE、Aurora、XoRL 与 DeepSpeed-Chat - 成果发表于 NeurIPS、ICLR、ICML、MLSys、USENIX ATC 等国际会议 - 曾在微软 DeepSpeed、Dolby、腾讯从事机器学习系统研发

演讲主题

不止于论文:2-bit KV Cache 的工程落地之路

把 KV Cache 压缩到 2 bit,论文中的显存收益并不等于系统中的实际收益:长上下文精度如何保证?混合精度数据如何放进 Paged KV Cache?量化与反量化算子的额外开销是否会抵消带宽节省?本次分享以本人主导的 OSCAR 研究为核心案例,介绍离线旋转与混合精度设计如何降低极低比特量化的精度损失,并从推理系统视角讨论缓存布局、算子实现、服务框架集成和性能验证。结合长上下文任务准确率、显存占用、吞吐量及 TTFT/TPOT 等指标,分享从论文原型走向可用系统时必须面对的工程权衡与实践经验。 大纲: 1. 为什么“不止于论文”:长上下文推理中的 KV Cache 显存与带宽瓶颈,以及理论压缩率与端到端性能的差距。 2. OSCAR 算法设计:离线旋转、2-bit 量化与混合精度 KV Cache,如何兼顾压缩率和模型质量。 3. 精度与可靠性:长上下文任务、不同模型的误差表现、边界案例与可复现评测。 4. 走向推理系统:Paged KV Cache 布局、低比特算子、量化与反量化开销及服务框架集成挑战。 5. 如何判断真正落地:显存、TTFT、TPOT、吞吐量和准确率的端到端权衡与实践建议。 听众收益 1. 理解 2-bit KV Cache 从理论压缩率到真实推理收益之间的关键差距与技术瓶颈。 2. 了解 OSCAR 的离线旋转、混合精度策略与长上下文精度评测方法。 3. 掌握将低比特 KV Cache 接入 Paged KV Cache 与推理框架时需要考虑的缓存布局、算子和调度问题。 4. 学会从准确率、显存、TTFT、TPOT 与吞吐量评估方案是否具有实际部署价值。

© boolan.com 博览 版权所有

沪ICP备15014563号

沪公网安备31011502003949号