演讲主题

NPU性能优化、评估和实践

在NPU规格定义和架构探索阶段，通过深度学习框架（Pytorch/TensorFlow）中成熟的Trace和Metrics等采样信息构建基于timeline的CPU、GPU和分布式通信的执行路径，结合厂商仿真出的不同算子的workload的执行时间预测NPU的端到端训练性能，弥补互联网企业在早期评估NPU性能出现的偏差和评测手段不足的问题。 通过对NPU计算和存储资源的抽象，屏蔽了不同NPU厂商微架构的实现差异，并探索了基于编译方式实现的硬件抽象的路径。 大纲： NPU厂商发展的现状 性能评估对互联网厂商的重要性 我们在NPU性能评估中采用的方法论 基于NPU微架构的性能评估模型的构建 异构化算力落地的难点 我们在异构计算卡适配过程中的实践 实际效果总结