已合并
add eager dvm testcase and remove _TORCH_NPU_ENABLE_DVM #40316
add eager dvm testcase and remove _TORCH_NPU_ENABLE_DVM #40316
已合并
hbhu_bin创建于 7月7日
hbhu_bin成员
7月7日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

https://gitcode.com/Ascend/pytorch/issues/2264

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)

增加DVM测试用例+删除选择编译代码

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

不涉及

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

不涉及

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

不涉及

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 hbhu_bin 的贡献)
Hhbhu_bin成员
7月7日 创建了 pull request,commit 75c1166e
atomgit-bot
atomgit-bot
7月7日 评论:

变更摘要

此 PR 主要完成两件事:一是移除构建脚本中用于开启 DVM 延迟融合编译的环境变量 _TORCH_NPU_ENABLE_DVM,表明该特性已不再需要外部环境变量触发;二是为 DVM 模块新增多个 eager 模式的测试用例,覆盖 viewstore 的原地写入和 native_batch_norm_backward 的反向传播场景。同时更新了 third_party/op-plugin 子模块指针以配合相关底层改动。

主要改动

  • 移除 _TORCH_NPU_ENABLE_DVM 环境变量:在 build_libtorch_npu.pysetup.py 中删除了 os.environ.setdefault("_TORCH_NPU_ENABLE_DVM", "1") 的设置,相关注释一并移除,表明 DVM 延迟融合源码的编译不再依赖该开关。
  • 新增 viewstore 原地写入测试:在 test/test_dvm.py 中增加 test_viewstore_inplace_strided_3d_viewtest_viewstore_inplace_sibling_views 两个用例,分别验证对非连续 3D 视图的原地 add_/tanh_ 操作和多个兄弟视图的原地 mul_/add_/sub_/relu_ 操作,并通过 compare_dvm_on_off 对比 DVM 开关下的结果一致性。
  • 新增 native_batch_norm_backward 测试:在 test/test_dvm.py 中增加 test_native_batch_norm_backward_train_weight_onlytest_native_batch_norm_backward_train_masks 两个用例,覆盖仅有权重梯度、多种 [save_mean, save_var, weight] 掩码组合下的反向传播,以及不同输入形状的场景。
  • 更新 op-plugin 子模块:将 third_party/op-plugin 的 commit 指针从 1473204 更新至 0556ee9,以同步底层插件变更。
likedislike
atomgit-bot
atomgit-bot
7月7日 评论:

代码审查

经过全面审查,我对每个变更文件的分析如下:


文件 1: build_libtorch_npu.py(第 19-20 行删除)

移除了两行设置 _TORCH_NPU_ENABLE_DVM 环境变量的代码。全仓库搜索确认该环境变量已无其他引用。这是与 PR 目标"移除 _TORCH_NPU_ENABLE_DVM"一致的清理操作,无问题。

文件 2: setup.py(第 31-32 行删除)

build_libtorch_npu.py 相同的清理操作,移除相同的两行环境变量设置。一致性良好,无问题。

文件 3: test/test_dvm.py(新增 4 个测试方法)

新增的测试方法:

  • test_viewstore_inplace_strided_3d_view(第 695-710 行):测试对非连续视图的原地写入,张量形状、broadcast 语义均正确。
  • test_viewstore_inplace_sibling_views(第 712-732 行):测试多个非连续兄弟视图的原地更新,所有操作语义正确。
  • test_native_batch_norm_backward_train_weight_only(第 963-977 行):测试仅 weight 梯度的 batch norm 反向传播,参数形状匹配正确。
  • test_native_batch_norm_backward_train_masks(第 979-1004 行):参数化测试多种 output_mask 组合(含 3D 输入),subTest 用法正确,形状计算和 save_var 正值保证均正确。

所有测试方法都遵循已有模式:

  • 使用 compare_dvm_on_off 在子进程中对比 DVM 开关结果
  • 调用 _assert_match 进行浮点容差比较
  • atol 值(1e-6 / 1e-4)与已有测试用例一致

无问题。

文件 4: third_party/op-plugin(子模块指针更新)

子模块 commit 从 147320421eb3b38c8d81bcf7dd4884c25347ca7c 更新到 0556ee97bb1e5dddda60a232f86a96a6f386eee9。这与移除 _TORCH_NPU_ENABLE_DVM 的变更一致——op-plugin 在新 commit 中应已移除对该环境变量的依赖。无问题。


关闭总结

  • P0–P2 问题数:0
  • P3 问题数:0
  • 整体风险判断:低风险。本次变更是一次干净的清理操作:移除已废弃的 _TORCH_NPU_ENABLE_DVM 环境变量(含对应的子模块指针更新),并新增 4 个 DVM eager fusion 的测试用例。所有新增测试用例结构正确,与已有测试模式一致。

已审查的文件:

  1. build_libtorch_npu.py — 无问题
  2. setup.py — 无问题
  3. test/test_dvm.py — 无问题
  4. third_party/op-plugin — 无问题

⚠️ 已识别出整体风险,但无法提取行内评论,请参考整体评估。

likedislike
ascend-robotascend-robot成员
7月7日 添加了label:ascend-cla/yes
ascend-robotascend-robot成员
7月7日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月7日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/pytorch liujunzhu, ffmh (2/2) liujunzhu (1/1)
test liujunzhu, ffmh (2/2) liujunzhu (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

hbhu_bin, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
7月7日 添加了label:needs-issue
ascend-robot
ascend-robot成员
7月7日 评论:

Linking Issue Notice

@hbhu_bin , the pull request must be linked to at least one issue.
If an issue has already been linked, but the needs-issue label remains, you can remove the label by commenting /check-issue .

likedislike
ascend-robot
ascend-robot成员
7月7日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.7.1-26.1.0
v2.9.0-26.1.0
v2.10.0-26.1.0
v2.12.0-26.1.0
v2.11.0-26.1.0
v2.9.0
v2.10.0
v2.11.0
v2.12.0
v2.7.1
ci-test

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robot
ascend-robot成员
7月7日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
7月7日 添加了label:docs-ci-pipeline-running
hbhu_bin成员
7月7日 评论:

compile

likedislike
ascend-robotascend-robot成员
7月7日 删除了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月7日 评论:
流水线 PR-pipeline_pytorch#41872 [ commitID:b27e8082 ] 已终止运行
阶段 任务名 状态 详情
编译构建 Build_X86 🕚 >>>
Build_ARM 🕚 >>>
Build_LibTorch_x86 🕚 >>>
Build_LibTorch_ARM 🕚 >>>
Build_X86_torchair 🕚 >>>
Build_ARM_torchair 🕚 >>>
patch_test 🕚 >>>
恶意代码检查 Antipoison 🟨 >>>
编码安全与规范检查 CodeCheck 🟨 >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🕚 >>>
UT_X86_Part_02 🕚 >>>
UT_ARM_A3_Part_01 🕚 >>>
UT_ARM_A3_Part_02 🕚 >>>
UT_ARM_A2_Part_01 🕚 >>>
UT_ARM_A2_Part_02 🕚 >>>
UT_ARM_A2_Part_03 🕚 >>>
UT_inductor_Part_01 🕚 >>>
UT_inductor_Part_02 🕚 >>>
UT_inductor_Part_03 🕚 >>>
UT_inductor_Part_04 🕚 >>>
UT_DIST_ARM_Part_01 🕚 >>>
UT_DIST_ARM_Part_02 🕚 >>>
UT_DIST_ARM_Part_03 🕚 >>>
UT_DIST_ARM_Part_04 🕚 >>>
UT_ARM_A2_Select_Part_01 🕚 >>>
UT_ARM_A2_Select_Part_02 🕚 >>>
流水线 PR-pipeline_pytorch 🟨 >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
ascend-robotascend-robot成员
7月7日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月7日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月7日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
7月7日 添加了label:docs-ci-pipeline-success
ascend-robot
ascend-robot成员
7月7日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
7月7日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
7月7日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
7月7日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月7日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
7月7日 添加了label:docs-ci-pipeline-success
Hhbhu_bin成员
7月7日 修改了pull request 的描述
ascend-robotascend-robot成员
7月7日 删除了label:needs-issue
ascend-robotascend-robot成员
7月7日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
7月7日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
7月7日 评论:
流水线 PR-pipeline_pytorch#41877 [ commitID:b27e8082 ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
liujunzhu
liujunzhu成员
7月7日 评论:

/approve

likedislike
ascend-robotascend-robot成员
7月7日 添加了label:approved
ffmh
ffmh成员
7月7日 评论:

/lgtm

likedislike
ascend-robotascend-robot成员
7月7日 添加了label:lgtm
ascend-robotascend-robot成员
7月7日 合入了pull request
ascend-robot
ascend-robot成员
7月7日 评论:
流水线 pytorch_gitcode_PR_multiVersion#12133 [ commitID:b27e8082 ] 已完成
likedislike