npugraphex:基于昇腾NPU的图模式优化教程项目

可帮助深度学习与大模型推理开发者掌握昇腾NPU图模式编译加速技术。内容涵盖npugraph_ex基本原理、静态内存复用、多流并行优化、DFX诊断及核心API用法,含交互式Notebooks与练习参考答案。【此简介由AI生成】

Branch1Tags0
FilesLast commitLast update
5 months ago
5 months ago
5 months ago
5 months ago
5 months ago

npugraph_ex 图模式优化系列教程

本教程面向对昇腾 NPU 图模式编译加速技术(尤其是基于 torch.compile 的 npugraph_ex 后端)感兴趣的深度学习与大模型推理开发者。内容涵盖了从 npugraph_ex 的基本原理与问题定界,到静态内存复用、高阶多流并行优化、DFX 深度诊断,以及核心 API 与 Scope 控制接口的高级用法。

通过本教程的交互式实践,你将全面掌握如何利用 npugraph_ex 后端为大模型推理服务(如 vLLM、SGLang 等)提供高效的计算调度加速。

教程按章节划分,每个章节均包含以下内容:

  • Notebooks:包含详细的章节知识精讲、代码配置实例与交互式操作,可直接在 GitCode 提供的昇腾云端开发环境(CANNLab)中一键启动,也可在本地搭建 Jupyter Lab 运行。
  • Answer:包含每章配套章节练习的参考答案文本文件。

开发前置要求

在开始本教程之前,建议你具备以下基础知识与技能:

  • 熟悉 Python 语言,以及 PyTorch 深度学习框架的基本用法。
  • 了解 torch.compile 机制与 FX 计算图(FX Graph)的基本概念。
  • 了解昇腾 NPU 硬件加速与 torch_npu 驱动的基本概念。

教程章节导航

第一章:npugraph_ex 基础功能篇

本章主要介绍 npugraph_ex 后端的产生背景、工作原理,并深入剖析基础优化项(如 inplace_pass, pattern_fusion_pass, memory_reuse 等)的工作机制与配置方法。

Notebook 单元 体验链接 发布状态
1.1 章节介绍与原理解析 在线体验 ✅ 已发布
1.2 问题定界与强制重捕获 在线体验 ✅ 已发布
1.3 FX 图优化 Pass 与算子融合 在线体验 ✅ 已发布
1.4 内存复用与冗余消除 在线体验 ✅ 已发布
1.5 静态编译与其它高级选项 在线体验 ✅ 已发布
1.6 章节练习与考核 在线体验 ✅ 已发布

第二章:npugraph_ex 进阶优化篇

本章聚焦于针对大模型推理性能的高阶优化特性,包括模型编译缓存、多流并行捕获与执行机制,以及限核限流配置与自定义 FX Pass 注入。

Notebook 单元 体验链接 发布状态
2.1 进阶特性章节介绍 在线体验 ✅ 已发布
2.2 模型编译缓存功能 在线体验 ✅ 已发布
2.3 多流表达与核心数控制 在线体验 ✅ 已发布
2.4 自定义 FX 图优化 Pass 扩展 在线体验 ✅ 已发布
2.5 章节练习与考核 在线体验 ✅ 已发布

第三章:npugraph_ex DFX 诊断分析篇

本章介绍用于图模式编译诊断与性能定界的 DFX 工具箱,包括 Debug 信息保存、数据 Dump 能力以及多流死锁检测。

Notebook 单元 体验链接 发布状态
3.1 DFX 章节介绍 在线体验 ✅ 已发布
3.2 Debug 日志与数据 Dump 策略 在线体验 ✅ 已发布
3.3 多流并发执行死锁分析 在线体验 ✅ 已发布
3.4 章节练习与考核 在线体验 ✅ 已发布

第四章:npugraph_ex 核心 API 与范围控制篇

本章对 npugraph_ex 后端相关的全部 Python/C++ 接口进行详细梳理,精讲 compile_fx 自定义后端开发、Scope 范围控制及 Inference 模型推理缓存等功能。

Notebook 单元 体验链接 发布状态
4.1 API 全景图章节介绍 在线体验 ✅ 已发布
4.2 核心编程 API 精讲 在线体验 ✅ 已发布
4.3 作用域管理与推理缓存控制 在线体验 ✅ 已发布
4.4 章节练习与考核 在线体验 ✅ 已发布

Introduction

可帮助深度学习与大模型推理开发者掌握昇腾NPU图模式编译加速技术。内容涵盖npugraph_ex基本原理、静态内存复用、多流并行优化、DFX诊断及核心API用法,含交互式Notebooks与练习参考答案。【此简介由AI生成】

Customize your domain