演讲主题

FlagScale：多元算力时代的大模型并行训推框架的创新与实践

简介：AIGC浪潮带来了算力需求的高峰，促进了国内外多元算力的蓬勃发展，但也给用户带来了不同算力间的“资源墙”难题。为应对这些挑战，智源与合作伙伴在开源基础上构建了大模型并行训练与推理框架FlagScale。本报告将分享FlagScale框架在解决多元算力挑战方面的最新进展和应用实践，包括不同芯片上异构混合训练技术原理及性能表现，多芯片适配及跨芯片算力自动调优与自动迁移技术，以及FlagScale在智源Emu3等多模态大模型上的训推加速技术等。 大纲：分为三个场景进行报告，每个场景会按照背景/挑战、解决方案、性能效果的顺序展开深入介绍，三个场景分别为：场景一：在不同芯片上实现高效异构混训；场景二：在算力种类或数量改变时进行自适应训练。场景三：多模态大模型训推加速实践