演讲主题

Agent时代AI编译器探索与实践

随着大模型技术的爆发，单算子级别的优化已逐渐触达天花板（Agent在特定场景下甚至已超越人类专家），而模型级优化（跨越算子边界、消除显存墙）以及多厂商异构芯片的适配（DSA/GPGPU生态碎片化）成为新的核心挑战。 本报告将探讨在Agent时代，AI编译器如何通过“统一中间表示（IR）”与“Agent+Compiler协作框架”来破局。报告将分享两个前沿实践：一是基于智源TLE/Common IR的统一中间层设计，如何通过Tile级抽象实现跨厂商芯片的“车同轨、书同文”；二是基于FlagMega的模型级图编译器，如何利用Agent在可编辑检查点进行图改写、分布规划与算子生成，最终产出消除多次显存往返的Megakernel。报告还将展示这些技术在NVIDIA及天数、昇腾等国产芯片上的真实端到端性能收益，并展望AI编译器向多卡多节点、3D DRAM架构及自主进化（Agent for Compiler）的演进路线。 大纲： 1)背景与挑战：从算子内卷到模型级重构 2)统一IR层：多厂商芯片的“共同语言” 3)Agent+Compiler：跨越算子边界的模型级重构 4)性能验证与实战收益 5)未来展望：走向自主进化的编译系统 听众收益： 1)AI Infra与编译器研发工程师：深入了解当前多厂商芯片生态下，如何通过Common IR实现跨架构的编译器优化共享；掌握“检查点闭环”这一Agent与编译器结合的高效工程范式，解决Agent“幻觉”导致的编译或正确性问题。 2)大模型算法与推理优化工程师：了解从单算子优化向模型级（Megakernel）优化的演进逻辑，掌握如何利用Agent自动完成跨层融合、Layout重排以及SBP（切分策略）的自动搜索，从而在低Batch/长Context等真实推理场景下榨取硬件极限性能。 3)AI芯片/硬件架构师：了解在3D DRAM和NUMA架构趋势下，编译器前端如何通过显式管理片上存储（如tile.buf）、异步搬运以及多维核协同计算，有效降低后端的指令生成复杂度，为DSA/GPGPU的指令集与微架构设计提供软件栈视角的参考。