可帮助深度学习与大模型推理开发者掌握昇腾NPU图模式编译加速技术。内容涵盖npugraph_ex基本原理、静态内存复用、多流并行优化、DFX诊断及核心API用法,含交互式Notebooks与练习参考答案。【此简介由AI生成】
| Files | Last commit | Last update |
|---|---|---|
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago | ||
| 5 months ago |
npugraph_ex 图模式优化系列教程
本教程面向对昇腾 NPU 图模式编译加速技术(尤其是基于 torch.compile 的 npugraph_ex 后端)感兴趣的深度学习与大模型推理开发者。内容涵盖了从 npugraph_ex 的基本原理与问题定界,到静态内存复用、高阶多流并行优化、DFX 深度诊断,以及核心 API 与 Scope 控制接口的高级用法。
通过本教程的交互式实践,你将全面掌握如何利用 npugraph_ex 后端为大模型推理服务(如 vLLM、SGLang 等)提供高效的计算调度加速。
教程按章节划分,每个章节均包含以下内容:
- Notebooks:包含详细的章节知识精讲、代码配置实例与交互式操作,可直接在 GitCode 提供的昇腾云端开发环境(CANNLab)中一键启动,也可在本地搭建 Jupyter Lab 运行。
- Answer:包含每章配套章节练习的参考答案文本文件。
开发前置要求
在开始本教程之前,建议你具备以下基础知识与技能:
- 熟悉 Python 语言,以及 PyTorch 深度学习框架的基本用法。
- 了解
torch.compile机制与 FX 计算图(FX Graph)的基本概念。 - 了解昇腾 NPU 硬件加速与
torch_npu驱动的基本概念。
教程章节导航
第一章:npugraph_ex 基础功能篇
本章主要介绍 npugraph_ex 后端的产生背景、工作原理,并深入剖析基础优化项(如 inplace_pass, pattern_fusion_pass, memory_reuse 等)的工作机制与配置方法。
| Notebook 单元 | 体验链接 | 发布状态 |
|---|---|---|
| 1.1 章节介绍与原理解析 | 在线体验 | ✅ 已发布 |
| 1.2 问题定界与强制重捕获 | 在线体验 | ✅ 已发布 |
| 1.3 FX 图优化 Pass 与算子融合 | 在线体验 | ✅ 已发布 |
| 1.4 内存复用与冗余消除 | 在线体验 | ✅ 已发布 |
| 1.5 静态编译与其它高级选项 | 在线体验 | ✅ 已发布 |
| 1.6 章节练习与考核 | 在线体验 | ✅ 已发布 |
第二章:npugraph_ex 进阶优化篇
本章聚焦于针对大模型推理性能的高阶优化特性,包括模型编译缓存、多流并行捕获与执行机制,以及限核限流配置与自定义 FX Pass 注入。
| Notebook 单元 | 体验链接 | 发布状态 |
|---|---|---|
| 2.1 进阶特性章节介绍 | 在线体验 | ✅ 已发布 |
| 2.2 模型编译缓存功能 | 在线体验 | ✅ 已发布 |
| 2.3 多流表达与核心数控制 | 在线体验 | ✅ 已发布 |
| 2.4 自定义 FX 图优化 Pass 扩展 | 在线体验 | ✅ 已发布 |
| 2.5 章节练习与考核 | 在线体验 | ✅ 已发布 |
第三章:npugraph_ex DFX 诊断分析篇
本章介绍用于图模式编译诊断与性能定界的 DFX 工具箱,包括 Debug 信息保存、数据 Dump 能力以及多流死锁检测。
| Notebook 单元 | 体验链接 | 发布状态 |
|---|---|---|
| 3.1 DFX 章节介绍 | 在线体验 | ✅ 已发布 |
| 3.2 Debug 日志与数据 Dump 策略 | 在线体验 | ✅ 已发布 |
| 3.3 多流并发执行死锁分析 | 在线体验 | ✅ 已发布 |
| 3.4 章节练习与考核 | 在线体验 | ✅ 已发布 |
第四章:npugraph_ex 核心 API 与范围控制篇
本章对 npugraph_ex 后端相关的全部 Python/C++ 接口进行详细梳理,精讲 compile_fx 自定义后端开发、Scope 范围控制及 Inference 模型推理缓存等功能。
| Notebook 单元 | 体验链接 | 发布状态 |
|---|---|---|
| 4.1 API 全景图章节介绍 | 在线体验 | ✅ 已发布 |
| 4.2 核心编程 API 精讲 | 在线体验 | ✅ 已发布 |
| 4.3 作用域管理与推理缓存控制 | 在线体验 | ✅ 已发布 |
| 4.4 章节练习与考核 | 在线体验 | ✅ 已发布 |
Introduction
可帮助深度学习与大模型推理开发者掌握昇腾NPU图模式编译加速技术。内容涵盖npugraph_ex基本原理、静态内存复用、多流并行优化、DFX诊断及核心API用法,含交互式Notebooks与练习参考答案。【此简介由AI生成】
Customize your domain