已合并
test(npu): add pytree supported nodes pop coverage #41811
test(npu): add pytree supported nodes pop coverage #41811
已合并
jerry lee创建于 7月16日
jerry lee
jerry lee
7月16日

【合入来源】

[Usage]: torch.utils._pytree.SUPPORTED_NODES.pop 缺少跨版本的直接 NPU 用例

【修改方案】

上游 v2.7.1 的 torch.onnx._internal.fx.dynamo_graph_extractor._PyTreeExtensionContext.__exit__ 调用 pop(class_type),但没有直接测试;v2.9.0、v2.10.0 没有直接调用;v2.11.0、v2.12.0 仅在注册表清理中调用 pop(cls, None),未验证返回值和删除后的展开语义。因此新增 test/test_pytree_registry.py

test.test_pytree_registry.TestPytreeSupportedNodes.test_pop 的调用路径为:

torch.utils._pytree.register_pytree_node(CustomNode, ...)
-> torch.utils._pytree.tree_flatten(CustomNode(npu_tensor))
-> torch.utils._pytree.SUPPORTED_NODES[CustomNode].flatten_fn
-> torch.utils._pytree.SUPPORTED_NODES.pop(CustomNode)
-> torch.utils._pytree.SUPPORTED_NODES.pop(CustomNode, None)
-> torch.utils._pytree.tree_flatten(CustomNode(npu_tensor))

用例验证无默认值的 pop(CustomNode) 返回原 NodeDefflatten_fn 并删除注册项,带默认值的 pop(CustomNode, None) 返回 None,删除后同一节点回退为单个叶子。Tensor 使用 torch.tensor([1.0]).to(device_type);清理使用 TestCase.addCleanup() 恢复注册项后再注销,不捕获 API 异常。

【资料变更】

torch.utils._pytree.SUPPORTED_NODES.pop 位于 PyTorch 私有模块,不需要更新 native API 支持文档。

【接口变更】

不涉及 API 源码或用户接口,仅新增 torch-npu 测试。

【功能验证】

python3 -m py_compile test/test_pytree_registry.pygit diff --check 已通过。为避免 torch-npu 源码 checkout 遮蔽 pip 安装包,从中立的 /workspace 目录执行同一测试文件,NPU 云算力日志如下:

torch=2.9.0+cpu
torch_npu=2.9.0
accelerator=npu
[root@73c35cf5cac2 workspace]# python3 ./test_pytree_registry_2.9.0.py TestPytreeSupportedNodes.test_pop
.
----------------------------------------------------------------------
Ran 1 test in 1.048s

OK

【CheckList】

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 jerry lee 的贡献)
jerry leejerry lee
7月16日 创建了 pull request,commit afb30e40
jerry leejerry lee
7月16日 关联了issue:[Usage]: `torch.utils._pytree.SUPPORTED_NODES.pop` 缺少跨版本的直接 NPU 用例
atomgit-bot
atomgit-bot
7月16日 评论:

变更摘要

此 PR 新增测试文件 test/test_pytree_registry.py,用于补充 torch.utils._pytree.SUPPORTED_NODES.pop 在 NPU 设备上的直接测试覆盖。上游社区对该 API 缺乏充分的直接验证用例,本次变更通过构造自定义节点 CustomNode,覆盖 pop(CustomNode)(无默认值,验证返回原始 NodeDef 并删除注册项)和 pop(CustomNode, None)(带默认值,验证返回 None)两种调用路径,并验证删除后节点回退为单个叶子的语义。

主要改动

  • 新增测试类 TestPytreeSupportedNodes:继承自 TestCase,提供一个独立的测试容器来验证 pytree 注册表的变更行为。
  • 新增测试方法 test_pop:覆盖 SUPPORTED_NODES.pop 的两种调用方式——无默认值调用断言返回原始 flatten_fn 且键被移除,带 None 默认值调用断言返回 None
  • 新增设备自适应逻辑:通过 torch.accelerator.current_accelerator() 检测当前加速器类型,自动适配 NPU 或 CPU,确保测试用例可在不同设备上运行。
  • 新增清理逻辑:使用 addCleanup 注册 _deregister_pytree_nodeSUPPORTED_NODES.__setitem__ 恢复操作,确保测试不会污染全局注册表状态。
likedislike
atomgit-bot
atomgit-bot
7月16日 评论:

代码审查

我已经逐行审查了 test/test_pytree_registry.py 的全部 47 行新增代码。以下是我的逐项检查结果:

逻辑正确性

  • device_type 通过海象运算符 := 在模块级计算,fallback 到 "cpu",逻辑正确。
  • register_pytree_nodetree_flattenSUPPORTED_NODES.pop(CustomNode) → 再次 tree_flatten 的调用链完整覆盖了 PR 目标中声明的路径。
  • pop(CustomNode) 无默认值,验证返回值 flatten_fnpop(CustomNode, None) 带默认值,验证返回 None;移除后 tree_flatten 回退为叶子节点——断言逻辑均正确。
  • assertIs(行 37)用于函数对象身份比较,assertIsNone(行 39)用于 None 检查,选型恰当。

清理顺序

  • addCleanup(_deregister_pytree_node, …) 在先(行 28),addCleanup(__setitem__, …) 在后(行 36),LIFO 执行顺序为:先恢复注册项,再 deregister,符合 PR 描述中的设计意图。
  • pop(行 35)与第二个 addCleanup(行 36)紧邻,两者之间无可失败的断言,不存在 pop 成功后第二个清理未注册的窗口。

边界值与安全性

  • device_type 来源为 torch.accelerator.current_accelerator() 返回值的 .type 属性或 "cpu" 字面量,不会产生空字符串。
  • 无 SQL 拼接、命令注入、eval/exec、硬编码密钥等安全问题。
  • 无裸 except、可变默认参数、is/== 混用等问题。

结论:该文件未发现任何需要报告的问题。


关闭摘要

  • 审查文件:test/test_pytree_registry.py — 无问题。
  • 发现数:P0: 0, P1: 0, P2: 0, P3: 0
  • 整体风险评估:此变更为新增的针对性测试用例,逻辑正确,清理顺序合理,无安全、可靠性或回归风险。可以安全合入。

⚠️ 已识别出整体风险,但无法提取行内评论,请参考整体评估。

likedislike
ascend-robotascend-robot成员
7月16日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
7月16日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
test liangsongwei, huangjingwei (2/2) liangsongwei (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

whirlpool_dark, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
7月16日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.10.0
v2.12.0
v2.7.1
v2.9.0
v2.11.0
v2.12.0-26.1.0
v2.10.0-26.1.0
v2.9.0-26.1.0
v2.7.1-26.1.0
v2.11.0-26.1.0
ci-test

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robotascend-robot成员
7月16日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月16日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
7月16日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
7月16日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月16日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
7月16日 添加了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
7月16日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
7月16日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
7月16日 评论:
流水线 PR-pipeline_pytorch#45866 [ commitID:590f736a ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
Jingwei Huang
Jingwei Huang成员
29 天前 评论:

/lgtm

likedislike
梁松伟
梁松伟成员
28 天前 评论:

/approve

likedislike
ascend-robotascend-robot成员
28 天前 添加了label:approvedlgtm
ascend-robotascend-robot成员
28 天前 删除了label:ci-pipeline-passed
ascend-robotascend-robot成员
28 天前 合入了pull request
ascend-robot
ascend-robot成员
28 天前 评论:
流水线 pytorch_gitcode_PR_multiVersion#13010 [ commitID:590f736a ] 已完成
likedislike