演讲主题

AI编译器在大模型场景下探索和实践

近年来，大语言模型的兴起对硬件资源的计算和存储能力提出了极大的挑战，AI训练的规模，从单机单卡开始，经过单机多卡，再到小规模多机集群，已经进入到大规模分布式集群时代。本演讲关注在现有技术背景下，探索通过AI编译器技术栈，支持分布式训练和推理系统，依赖系统化操作来保证越来越大的模型在分布式系统上高效的运行。 大纲： 1.背景介绍：大模型面临的问题 2.技术探索：现有AI编译器探索的技术方向 3.解决方案：DICompiler整体架构及流程 4.技术展开：相关技术细节讲解 5.效果总结：实际效果收益