| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
refactor for torch_npu init module. Co-authored-by: bellatan<tanmei2@huawei.com> # message auto-generated for no-merge-commit merge: !35495 merge v2.10.0_torch_npu_init_refactor into v2.10.0 refactor for torch_npu init module. Created-by: bellatan Commit-by: bellatan Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [x] 重构优化 - [ ] 资料更新 # 【修改方案】 本 PR 对 torch_npu 初始化链路进行重构，将原先集中在 torch_npu/__init__.py 中的初始化逻辑拆分到 _init 目录下的多个职责模块中，形成“**顶层编排 + 子模块分阶段执行 + 内部能力统一收口**”的结构。重构后，torch_npu/__init__.py 不再承载大量具体业务初始化细节，只负责固定初始化时序。各类具体能力分别由 _check_device_conflict、_load_core_modules、_register_components、_apply_patches、_enable_optional_features、_initialize_runtime_lifecycle 等内部函数承接。 ## 一、核心修改 ### 1. 重构 torch_npu/__init__.py 顶层初始化入口 重构后的初始化流程如下： python def _initialize(): _check_device_conflict() _load_core_modules() _register_components() _apply_patches() _enable_optional_features() _initialize_runtime_lifecycle() 顶层入口主要负责： 1. 维护 __all__； 2. 在 import torch 前关闭 TORCH_DEVICE_BACKEND_AUTOLOAD，避免 PyTorch 后端自动加载导致循环依赖； 3. 提前导入 torch_npu.utils.patch_getenv，用于捕获初始化阶段的环境变量访问； 4. 按固定顺序调用各初始化阶段入口； 5. 保留 _autoload() 作为 PyTorch 后端自动加载入口，用于恢复 TORCH_DEVICE_BACKEND_AUTOLOAD。 --- ### 2. 新增 _init 目录： 目录结构如下： text torch_npu/_init/ __init__.py common/ warning_utils.py core/ _exports.py module_loader.py optional_features.py runtime_lifecycle.py patches/ __init__.py api_patches.py asd_patches.py distributed_patches.py dynamo_patches.py monkey_patches.py npu_patches.py patch_manager.py profiler_patches.py warning_patches.py registry/ __init__.py backend.py distributed.py dynamo.py registry_manager.py --- ### 3. 通过 _check_device_conflict() 处理前置设备冲突检查 **_check_device_conflict()**：负责最早期的设备冲突检查，避免 NPU 与其他 accelerator 同时启用。该接口属于初始化内部逻辑，不作为 public API 暴露。 --- ### 4. 通过 _load_core_modules() 统一管理核心模块加载、注册副作用和顶层 API 导出 _load_core_modules() 将原先散落在 torch_npu/__init__.py 中的模块导入、底层 _C 子模块准备、基础 runtime 支撑模块初始化、导入即注册副作用以及顶层 API 导出统一收口。该阶段主要负责： 1. 加载 torch_npu 初始化所需的核心模块； 2. 统一准备 _C child submodules； 3. 初始化 logging、profiler、distributed 等基础组件； 4. 在 _C 准备完成后进行 torch_npu.npu 导入检查； 5. 加载需要通过 import 触发注册副作用的 Python 模块； 6. 导出 torch_npu 顶层 public API。 具体包括： * _C 子模块初始化：统一创建并注册 _profiler、_distributed_c10d、_cd、_logging、_flops_count 等 _C child submodules，保证业务 Python 模块只消费这些子模块，不再各自创建。 * torch_npu.npu 导入检查：在 _C 子模块完成准备后再检查 torch_npu.npu 导入状态，既保留对底层依赖缺失的友好报错，又避免 _C 未就绪时提前 import torch_npu.npu 导致循环导入。 * 导入副作用模块加载：统一加载需要通过 import 触发注册副作用的模块，例如 aclnn、optim、afd、custom ops、op_plugin、meta registrations 等，避免注册类副作用散落在初始化流程中。 * 顶层 API 导出：通过 export_all 将 torch_npu 顶层公开 API 统一导出到 globals() 和 __all__ 中，保证 public API 行为与旧版兼容。 * lazy Python API：对 HiFloat8Tensor、erase_stream、matmul_checksum 等接口采用 lazy export，保证接口可见但不在 import 阶段立即加载对应模块，减少循环导入风险。 * NPU custom ops：将 torch.ops.npu 下的公开算子导出到 torch_npu 顶层，并保留 torch.<op> deprecated wrapper。 * dtype symbols：将 _C._cd.DType 中的 dtype 符号导出到 torch_npu 顶层。 --- ### 5. 通过 _register_components() 统一管理框架集成注册 _register_components() 负责 backend 和 framework integration 注册，将原先散落在顶层入口中的 NPU backend、distributed、Dynamo、RPC、Inductor 等注册逻辑统一收口。通过该阶段统一收口后，框架集成注册逻辑不再散落在顶层 __init__.py 中，后续新增集成能力时可直接在 registry 目录下维护。该阶段主要负责： * NPU backend 注册：将 PyTorch PrivateUse1 backend 映射为 NPU，并注册 torch.npu 设备模块和相关方法。 * distributed backend 注册：注册 HCCL、LCCL backend，保证 NPU distributed 能力可用。 * Dynamo 注册：注册 Dynamo backend、NPU device interface 和 trace rules，保证 NPU 能接入 Dynamo 编译链路。 * RPC 注册：注册 NPU RPC backend，保证 RPC 场景下 NPU backend 可用。 * Inductor lightweight override 注册：只注册轻量级 NPU device op override，避免 import 阶段提前加载 heavy module。 * 默认 gradient device type 配置：保持 checkpoint 等场景下默认设备类型与旧行为兼容。 --- ### 6. 通过 _apply_patches() 统一管理 patch 注册与执行 引入集中式 patch 管理机制，统一收口原先散落在初始化入口中的 patch 逻辑。顶层入口 _apply_patches() 负责触发 patch 发现、注册和执行，具体由 PatchManager 承接。_apply_patches() 主要完成以下工作： 1. **patch 分组注册**：各组件 patch 按 group 注册，例如 monkey、api、distributed、dynamo、profiler、npu、warning、asd 等。 2. **内置 patch 自动发现**：PatchManager 会自动扫描 _init/patches 下符合命名规则的 patch 模块。模块被导入后，内部 patch 会完成注册。 3. **固定 patch 执行顺序**：patch group 按默认顺序执行，避免 import 顺序变化导致 patch 行为漂移。 4. **支持自定义 patch 顺序**：PatchManager 支持调整 patch group 执行顺序，便于测试或特殊场景扩展。 5. **异常钩子统一处理**：全局异常钩子由 PatchManager.run() 统一处理，便于初始化失败和运行时异常场景的集中管理。 --- ### 7. 通过 _enable_optional_features() 统一管理可选运行时能力 将 sanitizer、交互式模式配置、transfer_to_npu 等可选能力统一收口到 _enable_optional_features()，避免可选逻辑散落在顶层初始化入口。该阶段主要包括： python _enable_sanitizer_if_needed() _configure_interactive_mode() _enable_transfer_to_npu_if_needed() 具体说明： * sanitizer：仅在用户显式配置 TORCH_NPU_SANITIZER 时启用； * interactive mode：在交互式命令行环境中自动设置相关运行配置，并给出 warning 提示； * transfer_to_npu：通过 TORCH_TRANSFER_TO_NPU 控制是否启用，对非法配置进行显式报错。 --- ### 8. 通过 _initialize_runtime_lifecycle() 统一管理 runtime 生命周期 _initialize_runtime_lifecycle() 专门负责最终 C++ extension 初始化屏障和进程退出阶段的 shutdown hook 注册。该阶段主要包括： * extension finalize：调用 torch_npu._C._initExtension() 完成最终 C++ extension 绑定。该阶段放在核心模块加载、框架注册、API 导出和 patch 执行之后，保证 Python 侧初始化准备完成后再进入最终 extension barrier。 * shutdown hook 注册：负责注册进程退出阶段的 NPU 资源清理逻辑，包括设备同步、distributed 资源析构、异常处理和其他 runtime 清理流程。 --- ## 三、重构目的和收益 本次重构的目标是把 torch_npu 初始化从“单文件集中式副作用堆叠”调整为“阶段化、组件化、可维护”的初始化框架。主要收益包括： 1. **顶层入口更清晰** torch_npu/__init__.py 只保留初始化编排，不再堆叠大量具体 import、注册、patch 和 shutdown 逻辑。 2. **初始化顺序更稳定** _C 子模块和基础 runtime 支撑能力统一由 _load_core_modules 准备，降低循环导入和 _C 未就绪时提前访问的风险。 3. **组件职责更清楚** 模块加载、框架注册、API 导出、patch、可选功能、runtime 生命周期分别由不同接口承接。 4. **patch 更易维护** 各组件 patch 可以在自己的文件中维护，由 PatchManager 自动发现和统一执行，减少顶层冲突。 5. **支持后续扩展** 新增初始化能力时，只需放到对应处理的接口 或 patch group 中，不需要继续膨胀 __init__.py。 6. **便于问题定位** 初始化链路被拆成明确阶段，出现问题时可以快速判断是模块加载、注册、导出、patch、optional feature 还是 runtime lifecycle 阶段异常。 --- ## 四、兼容性说明 本次重构保持以下兼容性： 1. import torch_npu 行为保持兼容； 2. 顶层公开 API 保持兼容； 3. __version__ 仍从 torch_npu.version 导出。 --- ## 五、PatchManager 机制说明 本 PR 引入 PatchManager，用于统一管理 torch_npu 初始化阶段的 patch 注册与执行。原先 patch 逻辑集中在 torch_npu/__init__.py 中，和初始化流程、模块导入、框架注册逻辑混在一起，导致顶层文件过重，也不利于各组件独立维护。本次重构后，patch 逻辑从顶层入口中解耦，由 _apply_patches() 作为顶层入口触发执行，具体注册、发现、排序、幂等保护由 PatchManager 管理。 PatchManager 主要支持以下能力： 1. patch 按 group 分组注册； 2. 内置 patch 模块自动发现； 3. patch 按固定顺序执行； 4. patch 执行具备幂等保护； 5. 支持组件自行维护 patch module； 6. 支持按 group 执行，为后续按需使能 patch 打基础； 7. 支持自定义 patch 顺序，便于测试和问题定位。 整体机制如下： text 组件 patch 文件自注册 ↓ PatchManager 自动发现/加载 ↓ 按 group 统一管理 ↓ 按固定顺序执行 ↓ 幂等保护，避免重复 patch --- ### 场景一：新增 torch_npu 内置 patch 如果新增的是 torch_npu 内置 patch，例如 distributed patch、profiler patch、NPU API patch、warning patch、ASD patch 等，可以直接放到：torch_npu/_init/patches/ 目录下，并按 group 注册。 示例： python from torch_npu._init.patches.patch_manager import PatchManager @PatchManager.register_patch("profiler") def apply_profiler_patch(): ... 使用方式： text 1. 在 _init/patches 下新增或修改对应 *_patches.py 文件； 2. 在文件中通过 @PatchManager.register_patch(group) 注册 patch； 3. import torch_npu 时，由 _apply_patches() 统一触发； 4. PatchManager 自动发现并按 group 顺序执行。 --- ### 场景二：组件自行维护 patch module 如果某个组件自己的目录下新加了patch 文件，通过 patch module 注册机制接入。 示例： python PatchManager.register_patch_module("torch_npu.some_component.some_patches") 组件自己的 patch 文件中仍然使用 group 注册： python from torch_npu._init.patches.patch_manager import PatchManager @PatchManager.register_patch("some_component") def apply_some_component_patch(): ... 使用方式： text 1. 组件在自己的目录中维护 patch 文件； 2. 通过 register_patch_module 注册该 patch module； 3. module 被导入后，内部 patch 自动注册到 PatchManager； 4. 后续仍由 PatchManager 统一排序和执行。 适用场景： text 组件有独立维护边界； patch 逻辑不适合放到中心化 patches 目录； 后续组件可能独立演进、迁移或删除。 --- ### 场景三：按 group 执行 patch，用于测试或后续按需使能 PatchManager 支持按 group 执行 patch。当前默认初始化路径仍执行全部注册 patch，后续也可按需使能。 示例： python PatchManager.apply_registered_patches("distributed") 使用方式： text 1. 指定需要执行的 patch group； 2. PatchManager 只执行该 group 下已注册的 patch； 3. 已执行过的 patch 不会重复执行； 4. 可用于单独验证某一类 patch 的行为。 适用场景： text 只验证 distributed patch； 只执行 profiler patch； 排查某一类 patch 对初始化流程的影响； 后续通过环境变量控制某个 patch group 是否启用。 如果需要调整 patch group 顺序，也可以使用： python PatchManager.set_patch_order([ "monkey", "api", "distributed", ]) 适用场景： text 测试 patch 顺序； 排查 patch 依赖问题； 特殊构建或实验场景调整 patch 执行顺序。 # 【资料变更】 > 不涉及 # 【接口变更】 > 不涉及 # 【功能验证】 新增 TestTorchNpuBootstrap 初始化专项测试，覆盖以下场景： 1. test_01_import_order_compatibility 验证 import torch_npu、import torch; import torch_npu、import torch_npu; import torch、重复 import torch_npu 等不同导入顺序保持兼容。 2. test_02_import_state_snapshot 验证 import torch_npu 后的初始化状态，包括 torch.npu 注册、Tensor/Module.npu 方法生成、_C child submodules 准备、旧版初始化副作用模块加载、非预期模块不 eager import、顶层关键属性可访问等。 3. test_03_public_exports_snapshot 验证顶层 public API 导出行为，包括 lazy Python APIs、torch.ops.npu public ops、deprecated torch.<op> alias、dtype symbols 等导出保持兼容。 4. test_04_framework_registration_snapshot 验证框架集成注册行为，包括 Dynamo NPU device interface、Dynamo backend、Inductor lightweight device op override、distributed backend、RPC backend 等注册保持生效。 5. test_05_runtime_lazy_init_semantics 验证 import 阶段不触发 NPU runtime lazy init，查询类 API 不触发完整 runtime 初始化，真实 runtime API 和显式 torch_npu.npu.init() 能正常触发 lazy init。 6. test_06_component_behavior_snapshot 验证关键组件行为保持兼容，包括 patch_getenv 生效、ASD detector 兼容 API、AFD 通过 torch_npu._afd 暴露、torch_npu._C._afd 不暴露、AFD ops 可访问等。 7. test_07_distributed_patch_behavior 验证 distributed patch 行为保持兼容，包括 distributed 内部函数替换、public API alias、rendezvous/launcher patch、FSDP 相关 patch 等。 新增测试用例本地验证通过。 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35495 | 3 个月前 | |
add control of python GC before capture npugraph Co-authored-by: 周锐淇<zhouruiqi5@huawei.com> # message auto-generated for no-merge-commit merge: !27715 merge master into master add control of python GC before capture npugraph Created-by: rich9527 Commit-by: 周锐淇 Merged-by: ascend-robot Description: <!-- Thanks for sending a pull request! --> **What type of PR is this?** > /kind task **What does this PR do / why do we need it**: add control of python GC before capture npugraph **Which issue(s) this PR fixes**: <!-- *Automatically closes linked issue when PR is merged. Usage: Fixes #<issue number>, or Fixes (paste link of issue). --> Fixes # **Special notes for your reviewers**: See merge request: Ascend/pytorch!27715 | 8 个月前 | |
[fix][v2.10.0] Dvm support bitwise bool fusion and softmax decompose Co-authored-by: ginfung<yujianfeng5@huawei.com> # message auto-generated for no-merge-commit merge: !37199 merge v2.10.0 into v2.10.0 [fix][v2.10.0] Dvm support bitwise bool fusion and softmax decompose Created-by: ginfung Commit-by: ginfung Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 关联issue/工单：[[Feature]26.1.0版本图模式功能增强](https://gitcode.com/Ascend/pytorch/issues/1978) # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 本 PR 补充 DVM 对 bool 类型 bitwise 算子的融合支持，并修复 DVM codegen 对算子 rule 的检查缺失问题，避免不支持的 dtype/op 被错误下发到 DVM。同时允许 _softmax 走 decomposition，以扩大 mask + softmax 相关图的 DVM 融合机会。 ### 主要修改 - 在 DVM GENERATE_LIST 中加入 aten.bitwise_and、aten.bitwise_or、aten.bitwise_not - 在 op_emitter 中为 bool 类型注册 bitwise and/or/not，对非 bool bitwise 保持 fallback - DVM codegen 阶段增加 DVM_OP_REGISTRY rule 检查，rule 返回 false 时不生成 DVM kernel - 去掉 aten._softmax 的 decomposition exclude，使 softmax 可拆解后参与融合 - DVM kernel 启动前将 CPU tensor 输入拷贝到 NPU，支持静态和动态 DVM kernel 的 host tensor 输入场景 - 补充 bitwise bool codegen 和 int bitwise fallback 用例 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 - 新增 DVM MLIR fusion 测试，覆盖： - bool bitwise op 正常生成 DVM logical kernel； - int bitwise_not 不误生成 k.logical_not，按规则 fallback。 新增测试文件覆盖本次改动： python test/_inductor/test_dvm_mlir_fusion.py -k bitwise # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!37199 | 3 个月前 | |
fix lazy_init and api export Co-authored-by: bellatan<tanmei2@huawei.com> # message auto-generated for no-merge-commit merge: !36705 merge v2.10.0_torch_npu_init_refactor into v2.10.0 fix lazy_init and api export Created-by: bellatan Commit-by: bellatan Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [x] 重构优化 - [ ] 资料更新 # 【修改方案】 **问题1**：test/test_npu.py的test_lazy_init用例失败  **根因**： 重构前 torch_npu/__init__.py 中，先做 accelerator 冲突检查，即_check_device_conflict 接口调用，再 import torch_npu.npu、torch_npu.utils 等内部模块，不会触发 NPU device count 提前枚举 重构后 torch_npu/__init__.py 中，先调用了_check_device_conflict 接口，再 import torch_npu.npu、torch_npu.utils 等内部模块，_check_device_conflict 接口调用顺序被延后，调用 _get_accelerator() 时 NPU backend 状态已经被拉起，触发底层设备探测，导致 _npu_getDeviceCount() 提前枚举真实设备数 8。 **解决** ： 在 torch_npu/__init__.py 中，保持和重构前一样的调用顺序，即_check_device_conflict 接口调用提前到所有的 import 之前。 **问题2**：缺失子模块导出的 API： python torch_npu.asd.checksum torch_npu.utils.syncbatchnorm **现象**：  **根因分析**： 旧版 torch_npu/__init__.py 是一个大顶层初始化脚本，里面直接写了很多顶层 import： python from torch_npu.asd.checksum import _matmul_checksum as matmul_checksum import torch_npu.utils.syncbatchnorm 这些 import 会产生父包属性挂载副作用： python torch_npu.asd.checksum torch_npu.utils.syncbatchnorm 重构后初始化逻辑被拆分到 _init/core/module_loader.py、_exports.py 等模块中，部分旧版顶层 import 副作用没有恢复，因此这些子模块路径在 import torch_npu 后不可见。 **解决方案**： 在 _load_registration_modules() 中补充子模块父包属性： python import torch_npu.asd.checksum # noqa: F401 import torch_npu.utils.syncbatchnorm # noqa: F401 **问题3**：顶层属性缺失 API python torch_npu.ParallelStore torch_npu._ShardedGradScaler **现象**：  **根因分析**： 旧版顶层有： python from torch_npu._C._distributed_c10d import ParallelStore from torch_npu.npu.amp.sharded_grad_scaler import _ShardedGradScaler 因此旧版支持： python torch_npu.ParallelStore torch_npu._ShardedGradScaler 重构后 _distributed_c10d 子模块初始化逻辑被集中到 C 扩展子模块初始化流程中，但没有把 ParallelStore 恢复到 torch_npu 顶层，导致旧版顶层访问路径缺失。_ShardedGradScaler 只在 distributed patch 逻辑中局部 import： python def _apply_sharded_grad_scaler_patch(torch): from torch.distributed.fsdp import sharded_grad_scaler from torch_npu.npu.amp.sharded_grad_scaler import _ShardedGradScaler sharded_grad_scaler.ShardedGradScaler = _ShardedGradScaler 这能保证 patch 行为一致，但没有恢复旧版顶层属性torch_npu._ShardedGradScaler **解决方案**： 在 _exports.py 中补 legacy 顶层属性： python def _export_distributed_apis(globals_dict): """ Export legacy distributed-related top-level APIs. Rule: - torch_npu._C._distributed_c10d.ParallelStore -> torch_npu.ParallelStore - torch_npu.npu.amp.sharded_grad_scaler._ShardedGradScaler -> torch_npu._ShardedGradScaler Note: These APIs are kept for compatibility and should not be added to __all__. """ from torch_npu._C._distributed_c10d import ParallelStore from torch_npu.npu.amp.sharded_grad_scaler import _ShardedGradScaler globals_dict["ParallelStore"] = ParallelStore globals_dict["_ShardedGradScaler"] = _ShardedGradScaler # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 test/test_torch_npu_init.py 新增对应的测试项本地验证pass，CI pass  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36705 | 3 个月前 | |
feat: [graph partition] aclgraph support graph partition Co-authored-by: luochao60<luochao60@huawei.com> # message auto-generated for no-merge-commit merge: !35325 merge pta_support_graph_partition_20260414_v2.10.0 into v2.10.0 feat: [graph partition] aclgraph support graph partition Created-by: luochao60 Commit-by: luochao60 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > (如有)请关联需求文档/issue链接 > 关联 issue: #1911 （https://gitcode.com/Ascend/pytorch/issues/1911） - [x] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 1. ** torch_npu/utils/_graph_tree.py — 新增 get_manager monkey-patch** 上游 torch._inductor.output_code.maybe_handle_backward_generation 和 torch._dynamo.backends.cudagraphs 会直接调用 torch._inductor.cudagraph_trees.get_manager，依赖它返回真实的 manager 实例来推进 backward 的 cudagraph 状态机。NPU 把自己的 NPUGraphTreeManager 注册在独立 registry（torch_npu.npu._graph_tree），导致上游那两条路径在 NPU 设备上拿不到 manager，触发 AssertionError 或 AttributeError。在 _apply_npugraph_tree_methods() 末尾把 torch._inductor.cudagraph_trees.get_manager 重指到 NPU 的 get_manager（签名一致、duck-typing 兼容），打通 backward 状态机闭环。 2. **torch_npu/_inductor/codegen/wrapper.py — wrapper 体系重构以支持 graph partition** 提取 _NPUKernelCodegenMixin 混入类，把 NPU 特化逻辑（define_kernel 中 user_autotune → user_autotune_npu、PrecomputedGrid → PrecomputedGridNpu、FixedGrid → FixedGridNpu 替换；get_next_kernel_suffix、make_buffer_free 等）从原 NPUWrapperCodeGen 上移；新增 NPUSubgraphWrapperCodegen(_NPUKernelCodegenMixin, SubgraphPythonWrapperCodegen) 让 subgraph wrapper 共享 NPU 适配；NPUWrapperCodeGen.create() 在 is_subgraph=True 时返回新的 subgraph wrapper。 3. **torch_npu/_inductor/lowering_op_list.py — graph partition 所需算子注册** GENERATE_LIST 新增 prims.device_put、aten.unbind、torch.ops.higher_order.cond。 4. **torch_npu/csrc/core/npu/NPUHooksInterface.{h,cpp} — Pinned memory 接口实现** override 上游 at::PrivateUse1HooksInterface 新增的虚函数：isPinnedPtr() 走 CachingHostAllocator_isPinned，getPinnedMemoryAllocator() 返回 getPinnedMemoryAllocator()。同时新增 CachingHostAllocator.h 包含。 5. **test/_inductor/test_inductor_graph_partition.py — graph partition 测试集** 新增 graph partition 场景的系列用例：dynamic shapes、condition op、custom op 拆分、subgraph wrapper user_autotune 兜底、forward cudagraph + backward fallback 等。 # 【资料变更】 不涉及 # 【接口变更】 不涉及。C++ 层 NPUHooksInterface::isPinnedPtr 和 getPinnedMemoryAllocator 是对上游 PrivateUse1HooksInterface 已有虚函数的 override 实现，非新增对外 API。 # 【功能验证】 在 test/_inductor/test_inductor_graph_partition.py 中新增覆盖 graph partition 场景的用例： - test_graph_partition_dynamic_shapes：动态 shape 下产生 3 个 npugraph - test_graph_partition_condition_op：cond / higher-order op 切图 - test_graph_partition_custom_op：cudagraph_unsafe 自定义算子切分边界 - test_graph_partition_subgraph_wrapper_user_autotune：子图 wrapper 的 user_autotune 替换路径 - forward cudagraph + backward fallback 的混合路径 通过 python test/_inductor/test_inductor_graph_partition.py 在 NPU 设备上跑通全部用例。 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!35325 | 3 个月前 | |
[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !36365 merge v2.10.0_lintrunner into v2.10.0 [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36365 | 3 个月前 | |
【bugfix】transfer_to_npu add has_triton patch for compile_fx.py Co-authored-by: kkjocker<hexuanyu1@huawei.com> # message auto-generated for no-merge-commit merge: !37466 merge v2.10.0 into v2.10.0 【bugfix】transfer_to_npu add has_triton patch for compile_fx.py Created-by: kkjocker Commit-by: kkjocker Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> https://gitcode.com/Ascend/pytorch/issues/1962 # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） # 【资料变更】 > 不涉及 # 【接口变更】 > 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!37466 | 3 个月前 | |
[fix] fix check peer<0 in shmem_put/shmem_get Co-authored-by: pengqihw<pengqi33@huawei.com> # message auto-generated for no-merge-commit merge: !37306 merge v2.10.0_symm into v2.10.0 [fix] fix check peer<0 in shmem_put/shmem_get Created-by: pengqihw Commit-by: pengqihw Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [x] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 补充peer<0校验 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!37306 | 3 个月前 | |
[sync] PR-35049: Ensure process groups shutdown during NPU exit Co-authored-by: dujinhang<15990042527@163.com> # message auto-generated for no-merge-commit merge: !37345 merge sync-pr35049-v2.7.1-to-v2.10.0 into v2.10.0 [sync] PR-35049: Ensure process groups shutdown during NPU exit Created-by: ascend-ds-bot Commit-by: dujinhang Merged-by: ascend-robot Description: ### 1. Origin pull request: https://gitcode.com/Ascend/pytorch/merge_requests/35049 ### 2. Original pull request related issue(s): ### 3. Original pull request related commit(s): | Sha | Datetime | Message | |---|---|---| |[c5e5aeab](https://gitcode.com/Ascend/pytorch/commit/c5e5aeab56db8e0068b5f86ed44c03c1984c138b)|2026-05-30 10:20:55 +0800 CST|Ensure process groups shutdown during NPU exit<br>| See merge request: Ascend/pytorch!37345 | 3 个月前 | |
fix:lazy torchair print import error Co-authored-by: ChengLyric<licheng236@huawei.com> # message auto-generated for no-merge-commit merge: !37084 merge v2.10.0_fix_torchair_import_error into v2.10.0 fix:lazy torchair print import error Created-by: Guanam2020 Commit-by: ChengLyric Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 删掉torchair懒加载时抛出的异常链，直接返回原始报错，修改原始报错args # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 已验证问题场景ok # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!37084 | 3 个月前 | |
[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !36365 merge v2.10.0_lintrunner into v2.10.0 [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36365 | 3 个月前 | |
【fix】batcnnorm_check_fix Co-authored-by: 1479518308<cuiduo1@huawei.com> # message auto-generated for no-merge-commit merge: !36322 merge v2.10.0 into v2.10.0 【fix】batcnnorm_check_fix Created-by: cuiduo Commit-by: 1479518308 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [ ] 代码注释完备，正确记录错误日志 - [ ] 代码实现进行了返回值、空指针等校验 - [ ] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36322 | 3 个月前 | |
[bugfix][v2.10.0_logs] improve npugraph logs Co-authored-by: y30062407<handsome0324@163.com> # message auto-generated for no-merge-commit merge: !37132 merge v2.10.0_logs into v2.10.0 [bugfix][v2.10.0_logs] improve npugraph logs Created-by: yangch0324 Commit-by: y30062407 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [x] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 补全 NPUGraph 框架全链路日志，覆盖 C++ 核心层、Python 图树管理层、Python 单图层以及内存池层，共 12 个修改点： **1. C++ capture_begin 补全录制完成状态日志（NPUGraph.cpp）** 在 capture_begin() 返回前输出 model_ri_ 句柄、capture 设备、内存池 ID、stream 地址、capture mode，用于排查录制阶段的内存池冲突和 stream 配置错误。 **2. C++ capture_end 补全录制结束状态日志（NPUGraph.cpp）** 在 capture_end() 返回前输出 model_ri_ 句柄和 has_graph_exec 标志，用于确认录制是否成功完成。 **3. C++ reset 添加图销毁日志（NPUGraph.cpp）** 在 reset() 函数的图资源释放路径中输出 model_ri_、capture_dev、mempool_id，用于追踪图对象生命周期和排查内存泄漏。 **4. C++ super_kernel_scope_begin/end 添加日志（Graph.cpp）** 在 pybind11 绑定层 _super_kernel_scope_begin / _super_kernel_scope_end 调用前后输出 scope_name，用于排查超核优化的 scope 配对问题。 **5. Python NPUGraph 对象生命周期日志（graphs.py）** 在 NPUGraph.__init__() 和 NPUGraph.reset() 中添加日志，输出 graph_id 和 auto_dispatch 状态，与 C++ 层日志联动形成完整的图生命周期视图。 **6. Python NPUGraphTreeManager 初始化与 shutdown 日志（_graph_tree.py）** 在管理器构造函数完成和 shutdown() 入口/出口添加日志，输出 device、pool ID、stream 信息，追踪设备级图树生命周期。 **7. Python NPUGraphNode 录制完成日志（_graph_tree.py）** 在 _record() 返回前输出图节点录制结果（输出数量、非静态输入数量、静态输入索引数量），用于排查录制异常。 **8. Python check_invariants 失败日志（_graph_tree.py）** 在三种 invariant check 失败分支（CudagraphManagedIdxMismatch / ExpectedDeadIndicesBeforeGraph / StaticInputIdxMismatch）添加日志，输出不匹配的具体信息，用于排查频繁 re-record 的根因。 **9. Python checkpoint 细节日志（_graph_tree.py）** 在 apply_checkpoint_execution_state_in_allocator() 中添加 live_storages 数量和待释放内存指针数量的日志，用于排查 checkpoint/restore 流程中的内存一致性问题。 **10. C++ NPUCachingAllocator 图池操作日志（NPUCachingAllocator.cpp）** 在 5 个图内存池接口添加日志： - beginAllocateToPool：输出新建/复用池的 mempool_id 和 use_count - endAllocateToPool：输出结束录制的 mempool_id - releasePool：输出 use_count 降为 0 时的 mempool_id - getCheckpointState：输出 checkpoint 时的 head_blocks 数量 - setCheckpointPoolState：输出恢复的 segments 数量和释放的 allocations 数量 **11. Python graph context manager 异常日志增强（graphs.py）** 在 graph.__exit__() 的异常分支中补充输出 graph_id、stream、pool、device 信息，帮助快速定位 capture 失败上下文。 **12. Python 图树状态机转换日志（_graph_tree.py）** 在 record_function / execute_node / run_eager 中设置 ExecutionState 后添加状态转换日志，输出新状态、节点 ID 和 generation，完整追踪状态机转换历史。 **日志级别原则：** - 所有新增日志均为 DEBUG 级别，不影响生产环境性能 - 已有 ERROR/WARNING 级别日志仅在内容上增强（修改点 11），不新增 INFO/WARNING/ERROR 日志 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图  **验证场景：** 1. 在 NPU 设备上使用 torch.compile 以 "npugraphs" backend 运行模型训练/推理 2. 设置环境变量 TORCH_CPP_LOG_LEVEL=0 TORCH_NPU_NPUGRAPH=DEBUG 启用 NPUGraph C++ 日志 3. 设置 Python logging 级别为 DEBUG：torch._logging.set_logs(npugraph=logging.DEBUG) **验证方法：** 1. 检查 capture 阶段日志：确认 [NPUGRAPH][Capture] begin / begin done / end / end done 完整输出，model_ri、mempool_id、capture_dev 正确 2. 检查 replay 阶段日志：确认 [NPUGRAPH][Replay] 输出 model_ri 和 device 3. 检查图树日志：确认 [NPUGRAPH-TREE][Manager] / [Node] / [State] 系列日志按预期输出 4. 检查 checkpoint 日志：在 warmup → recording 切换时确认 [NPUGRAPH-TREE][Checkpoint] 日志输出 live_storages 和 dead_ptrs 数量 5. 检查 invariant 日志：确认仅在 re-record 触发时有 [NPUGRAPH-TREE][Invariant] 输出 6. 检查图对象生命周期：确认 [NPUGRAPH][Lifecycle] 日志在 graph 创建和 reset 时输出 7. 检查图池日志：确认 NPUCachingAllocator beginAllocateToPool / endAllocateToPool / releasePool 配对输出 8. 检查 capture 失败场景：确认 [NPUGRAPH] ERROR — capture failed 日志包含 graph_id / stream / pool / device 信息 **测试用例：** 本修改仅在已有日志路径中添加 DEBUG 级别日志，不改变任何业务逻辑。使用现有 CI 全量测试用例验证无回归即可。 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!37132 | 3 个月前 | |
[onnx] fix group_norm_silu and rotary_mul onnx api. Co-authored-by: shi-jiaxin9<shijiaxin10@h-partners.com> # message auto-generated for no-merge-commit merge: !31963 merge v2.10.0 into v2.10.0 [onnx] fix group_norm_silu and rotary_mul onnx api. Created-by: shi-jiaxin9 Commit-by: shi-jiaxin9 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 问题单 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [ ] 代码注释完备，正确记录错误日志 - [ ] 代码实现进行了返回值、空指针等校验 - [ ] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [ ] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!31963 | 5 个月前 | |
[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !36365 merge v2.10.0_lintrunner into v2.10.0 [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36365 | 3 个月前 | |
[sync] PR-36520: Rename option from --host-sys=platform to --host-sys=numa Co-authored-by: kokljuevs<kokljuev.sergey@huawei.com> # message auto-generated for no-merge-commit merge: !37626 merge sync-pr36520-master-to-v2.10.0 into v2.10.0 [sync] PR-36520: Rename option from --host-sys=platform to --host-sys=numa Created-by: ascend-ds-bot Commit-by: kokljuevs Merged-by: ascend-robot Description: ### 1. Origin pull request: https://gitcode.com/Ascend/pytorch/merge_requests/36520 ### 2. Original pull request related issue(s): ### 3. Original pull request related commit(s): | Sha | Datetime | Message | |---|---|---| |[b9858c6a](https://gitcode.com/Ascend/pytorch/commit/b9858c6ab2e4398216b9386a4f5f6e27971dff18)|2026-05-19 19:01:33 +0800 CST|Rename option from --host-sys=platform to --host-sys=numa<br>| See merge request: Ascend/pytorch!37626 | 2 个月前 | |
[Fix] Fix static check errors detected by SPACES Co-authored-by: huangjingwei<huangjingwei4@huawei.com> # message auto-generated for no-merge-commit merge: !36365 merge v2.10.0_lintrunner into v2.10.0 [Fix] Fix static check errors detected by SPACES Created-by: huangjingwei Commit-by: huangjingwei Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [x] issue/工单 - [ ] 重构优化 - [ ] 资料更新 # 【修改方案】 检测和删除代码中的行尾空白字符 # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 不涉及 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36365 | 3 个月前 | |
[bugfix][v2.10.0_logs] improve npugraph logs Co-authored-by: y30062407<handsome0324@163.com> # message auto-generated for no-merge-commit merge: !37132 merge v2.10.0_logs into v2.10.0 [bugfix][v2.10.0_logs] improve npugraph logs Created-by: yangch0324 Commit-by: y30062407 Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [x] 重构优化 - [ ] 资料更新 # 【修改方案】 > 请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列\ > 如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容） 补全 NPUGraph 框架全链路日志，覆盖 C++ 核心层、Python 图树管理层、Python 单图层以及内存池层，共 12 个修改点： **1. C++ capture_begin 补全录制完成状态日志（NPUGraph.cpp）** 在 capture_begin() 返回前输出 model_ri_ 句柄、capture 设备、内存池 ID、stream 地址、capture mode，用于排查录制阶段的内存池冲突和 stream 配置错误。 **2. C++ capture_end 补全录制结束状态日志（NPUGraph.cpp）** 在 capture_end() 返回前输出 model_ri_ 句柄和 has_graph_exec 标志，用于确认录制是否成功完成。 **3. C++ reset 添加图销毁日志（NPUGraph.cpp）** 在 reset() 函数的图资源释放路径中输出 model_ri_、capture_dev、mempool_id，用于追踪图对象生命周期和排查内存泄漏。 **4. C++ super_kernel_scope_begin/end 添加日志（Graph.cpp）** 在 pybind11 绑定层 _super_kernel_scope_begin / _super_kernel_scope_end 调用前后输出 scope_name，用于排查超核优化的 scope 配对问题。 **5. Python NPUGraph 对象生命周期日志（graphs.py）** 在 NPUGraph.__init__() 和 NPUGraph.reset() 中添加日志，输出 graph_id 和 auto_dispatch 状态，与 C++ 层日志联动形成完整的图生命周期视图。 **6. Python NPUGraphTreeManager 初始化与 shutdown 日志（_graph_tree.py）** 在管理器构造函数完成和 shutdown() 入口/出口添加日志，输出 device、pool ID、stream 信息，追踪设备级图树生命周期。 **7. Python NPUGraphNode 录制完成日志（_graph_tree.py）** 在 _record() 返回前输出图节点录制结果（输出数量、非静态输入数量、静态输入索引数量），用于排查录制异常。 **8. Python check_invariants 失败日志（_graph_tree.py）** 在三种 invariant check 失败分支（CudagraphManagedIdxMismatch / ExpectedDeadIndicesBeforeGraph / StaticInputIdxMismatch）添加日志，输出不匹配的具体信息，用于排查频繁 re-record 的根因。 **9. Python checkpoint 细节日志（_graph_tree.py）** 在 apply_checkpoint_execution_state_in_allocator() 中添加 live_storages 数量和待释放内存指针数量的日志，用于排查 checkpoint/restore 流程中的内存一致性问题。 **10. C++ NPUCachingAllocator 图池操作日志（NPUCachingAllocator.cpp）** 在 5 个图内存池接口添加日志： - beginAllocateToPool：输出新建/复用池的 mempool_id 和 use_count - endAllocateToPool：输出结束录制的 mempool_id - releasePool：输出 use_count 降为 0 时的 mempool_id - getCheckpointState：输出 checkpoint 时的 head_blocks 数量 - setCheckpointPoolState：输出恢复的 segments 数量和释放的 allocations 数量 **11. Python graph context manager 异常日志增强（graphs.py）** 在 graph.__exit__() 的异常分支中补充输出 graph_id、stream、pool、device 信息，帮助快速定位 capture 失败上下文。 **12. Python 图树状态机转换日志（_graph_tree.py）** 在 record_function / execute_node / run_eager 中设置 ExecutionState 后添加状态转换日志，输出新状态、节点 ID 和 generation，完整追踪状态机转换历史。 **日志级别原则：** - 所有新增日志均为 DEBUG 级别，不影响生产环境性能 - 已有 ERROR/WARNING 级别日志仅在内容上增强（修改点 11），不新增 INFO/WARNING/ERROR 日志 # 【资料变更】 > 请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及” 不涉及 # 【接口变更】 > 请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及” 不涉及 # 【功能验证】 > 说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤\ > 新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图  **验证场景：** 1. 在 NPU 设备上使用 torch.compile 以 "npugraphs" backend 运行模型训练/推理 2. 设置环境变量 TORCH_CPP_LOG_LEVEL=0 TORCH_NPU_NPUGRAPH=DEBUG 启用 NPUGraph C++ 日志 3. 设置 Python logging 级别为 DEBUG：torch._logging.set_logs(npugraph=logging.DEBUG) **验证方法：** 1. 检查 capture 阶段日志：确认 [NPUGRAPH][Capture] begin / begin done / end / end done 完整输出，model_ri、mempool_id、capture_dev 正确 2. 检查 replay 阶段日志：确认 [NPUGRAPH][Replay] 输出 model_ri 和 device 3. 检查图树日志：确认 [NPUGRAPH-TREE][Manager] / [Node] / [State] 系列日志按预期输出 4. 检查 checkpoint 日志：在 warmup → recording 切换时确认 [NPUGRAPH-TREE][Checkpoint] 日志输出 live_storages 和 dead_ptrs 数量 5. 检查 invariant 日志：确认仅在 re-record 触发时有 [NPUGRAPH-TREE][Invariant] 输出 6. 检查图对象生命周期：确认 [NPUGRAPH][Lifecycle] 日志在 graph 创建和 reset 时输出 7. 检查图池日志：确认 NPUCachingAllocator beginAllocateToPool / endAllocateToPool / releasePool 配对输出 8. 检查 capture 失败场景：确认 [NPUGRAPH] ERROR — capture failed 日志包含 graph_id / stream / pool / device 信息 **测试用例：** 本修改仅在已有日志路径中添加 DEBUG 级别日志，不改变任何业务逻辑。使用现有 CI 全量测试用例验证无回归即可。 # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!37132 | 3 个月前 | |
fix lazy_init and api export Co-authored-by: bellatan<tanmei2@huawei.com> # message auto-generated for no-merge-commit merge: !36705 merge v2.10.0_torch_npu_init_refactor into v2.10.0 fix lazy_init and api export Created-by: bellatan Commit-by: bellatan Merged-by: ascend-robot Description: <!-- PR描述模板更新日期：20260203 --> # 【合入来源】 > <font color="red">**如有社区issue，请关联issue链接**</font>\ > <font color="red">**请勿携带内部流程信息（需求链接、问题单、内部issue等）**</font> - [ ] 需求 - [ ] 问题单 - [ ] issue/工单 - [x] 重构优化 - [ ] 资料更新 # 【修改方案】 **问题1**：test/test_npu.py的test_lazy_init用例失败  **根因**： 重构前 torch_npu/__init__.py 中，先做 accelerator 冲突检查，即_check_device_conflict 接口调用，再 import torch_npu.npu、torch_npu.utils 等内部模块，不会触发 NPU device count 提前枚举 重构后 torch_npu/__init__.py 中，先调用了_check_device_conflict 接口，再 import torch_npu.npu、torch_npu.utils 等内部模块，_check_device_conflict 接口调用顺序被延后，调用 _get_accelerator() 时 NPU backend 状态已经被拉起，触发底层设备探测，导致 _npu_getDeviceCount() 提前枚举真实设备数 8。 **解决** ： 在 torch_npu/__init__.py 中，保持和重构前一样的调用顺序，即_check_device_conflict 接口调用提前到所有的 import 之前。 **问题2**：缺失子模块导出的 API： python torch_npu.asd.checksum torch_npu.utils.syncbatchnorm **现象**：  **根因分析**： 旧版 torch_npu/__init__.py 是一个大顶层初始化脚本，里面直接写了很多顶层 import： python from torch_npu.asd.checksum import _matmul_checksum as matmul_checksum import torch_npu.utils.syncbatchnorm 这些 import 会产生父包属性挂载副作用： python torch_npu.asd.checksum torch_npu.utils.syncbatchnorm 重构后初始化逻辑被拆分到 _init/core/module_loader.py、_exports.py 等模块中，部分旧版顶层 import 副作用没有恢复，因此这些子模块路径在 import torch_npu 后不可见。 **解决方案**： 在 _load_registration_modules() 中补充子模块父包属性： python import torch_npu.asd.checksum # noqa: F401 import torch_npu.utils.syncbatchnorm # noqa: F401 **问题3**：顶层属性缺失 API python torch_npu.ParallelStore torch_npu._ShardedGradScaler **现象**：  **根因分析**： 旧版顶层有： python from torch_npu._C._distributed_c10d import ParallelStore from torch_npu.npu.amp.sharded_grad_scaler import _ShardedGradScaler 因此旧版支持： python torch_npu.ParallelStore torch_npu._ShardedGradScaler 重构后 _distributed_c10d 子模块初始化逻辑被集中到 C 扩展子模块初始化流程中，但没有把 ParallelStore 恢复到 torch_npu 顶层，导致旧版顶层访问路径缺失。_ShardedGradScaler 只在 distributed patch 逻辑中局部 import： python def _apply_sharded_grad_scaler_patch(torch): from torch.distributed.fsdp import sharded_grad_scaler from torch_npu.npu.amp.sharded_grad_scaler import _ShardedGradScaler sharded_grad_scaler.ShardedGradScaler = _ShardedGradScaler 这能保证 patch 行为一致，但没有恢复旧版顶层属性torch_npu._ShardedGradScaler **解决方案**： 在 _exports.py 中补 legacy 顶层属性： python def _export_distributed_apis(globals_dict): """ Export legacy distributed-related top-level APIs. Rule: - torch_npu._C._distributed_c10d.ParallelStore -> torch_npu.ParallelStore - torch_npu.npu.amp.sharded_grad_scaler._ShardedGradScaler -> torch_npu._ShardedGradScaler Note: These APIs are kept for compatibility and should not be added to __all__. """ from torch_npu._C._distributed_c10d import ParallelStore from torch_npu.npu.amp.sharded_grad_scaler import _ShardedGradScaler globals_dict["ParallelStore"] = ParallelStore globals_dict["_ShardedGradScaler"] = _ShardedGradScaler # 【资料变更】 不涉及 # 【接口变更】 不涉及 # 【功能验证】 test/test_torch_npu_init.py 新增对应的测试项本地验证pass，CI pass  # 【CheckList】 > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] - [x] 代码注释完备，正确记录错误日志 - [x] 代码实现进行了返回值、空指针等校验 - [x] PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等 - [x] PR持续集成流水线（CI）执行通过，代码检查无异常 See merge request: Ascend/pytorch!36705 | 3 个月前 | |
| 1 年前 | ||
| 11 个月前 |