已合并
[master]refactor: move shape handling into dynamo utils (#4241) #45007
黄桂军创建于 8月20日
[master]refactor: move shape handling into dynamo utils (#4241) #45007
已合并
黄桂军创建于 8月20日
黄桂军
黄桂军成员
8月20日

【合入来源】

关联 Issue: #4094
关联 Issue:#4204
关联 Issue:#4241(Shape Handling 迁移到 Dynamo utils)

【修改方案】

  1. NPUShapeHandlingunified_copy、Shape Handling 的 Dynamo patch 实现从 torch_npu/utils/_shape_handling.py 迁移至 torch_npu/utils/_dynamo.py
  2. 删除独立实现文件,更新 torch_npu/_inductor/shape_handling.py 为兼容 shim,保留 NPUShapeHandlingunified_copypatch_dynamo_contextpatch_shape_handling 的既有入口及幂等状态语义。
  3. 保持 Shape Handling 配置、延迟初始化、输入变换/输出恢复以及 Dynamo/Inductor 延迟加载时序不变,不在 _dynamo.py 顶层导入 torch_npu._inductor

【资料变更】

不涉及

【接口变更】

不涉及。保留 torch_npu._inductor.shape_handling 兼容入口。

【功能验证】

  • 原失败用例验证通过
  • shape_handling.py函数对比一致

【CheckList】

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 黄桂军 的贡献)
黄桂军黄桂军成员
8月20日 创建了 pull request,commit 83d901e1
黄桂军黄桂军成员
8月20日 关联了issue:[Inductor] 将 Shape Handling 实现迁移至 torch_npu/utils/_dynamo.py
atomgit-bot
atomgit-bot
8月20日 评论:

变更摘要

该 PR 为重构优化(关联 issue #4241),将 Shape Handling 相关实现从 torch_npu/utils/_shape_handling.py 迁移至 torch_npu/utils/_dynamo.py,并将 torch_npu/_inductor/shape_handling.py 收敛为兼容 shim,同时调整了 Dynamo patch 的安装时机。此改动主要聚焦于代码归属重组与加载时序优化,不涉及业务接口变更,并保留 torch_npu._inductor.shape_handling 兼容入口。

主要改动

  • Shape Handling 实现迁入 _dynamo.py: 将 NPUShapeHandling 类、unified_copy 深拷贝函数、_patch_dynamo_context(对 _TorchDynamoContext.__call__/__init__ 的 patch 实现)与 _patch_shape_handling 完整迁移至 torch_npu/utils/_dynamo.py,并新增 copywarningsTreeSpec/tree_flatten/tree_unflatten 等依赖导入。

  • torch_npu/_inductor/shape_handling.py 改为兼容 shim: 删除原独立实现(约 470 行),改为从 torch_npu.utils._dynamo 导入,仅保留 NPUShapeHandlingunified_copypatch_dynamo_contextpatch_shape_handling 既有入口;patch_shape_handling 维持 _is_patched 幂等状态,并在 patch 时同步置位 _impl._patch_shape_handling._is_patched

  • Dynamo patch 安装时机提前: 在 patch_inductor_wrapper 中,shape handling patch 由原先 new_call 内 backend scope 中的 torch_npu._inductor.patch_shape_handling() 调用,改为在 wrapper 初始化/backend 解析阶段(new_initnew_get_config_copy 的非延迟分支)执行 _patch_shape_handling(),即先于 register_inductor_npu(backend scope)完成安装。

  • 保持 Inductor 延迟加载时序: _dynamo.py 顶层不导入 torch_npu._inductor,延迟初始化仍经 _lazy_dynamo_setup/_lazy_inductor_setup 完成,测试断言编译后 _lazy_inductor_setup.has_run 为 False 且 torch_npu._inductor 未进入 sys.modules

  • 测试用例同步更新: test/dynamo/test_compile_trigger.py 将原“backend 选择后安装 shape handling”用例改为验证 shape handling 在 backend 选择前初始化(事件顺序变为 shape_handlingscope_register),新增 _NpuBackendScope 入口失败后环境变量恢复的断言,并补充 shape handling 延迟加载用例。

likedislike
不准确?
atomgit-bot
atomgit-bot
8月20日 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
ascend-robotascend-robot成员
8月20日 添加了label:stat/needs-squash
ascend-robotascend-robot成员
8月20日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
8月20日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/pytorch li_jing_hw, rmch (2/2) li_jing_hw (1/1)
test li_jing_hw, rmch (2/2) li_jing_hw (1/1)
torch_npu/_inductor li_jing_hw, rmch (2/2) li_jing_hw (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)
likedislike
ascend-robot
ascend-robot成员
8月20日 评论:

CLA Signature Pass

stevenaw0, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
8月20日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.12.0
v2.11.0
v2.10.0
v2.9.0
v2.7.1
v2.12.0-26.1.0
v2.7.1-26.1.0
v2.10.0-26.1.0
v2.11.0-26.1.0
v2.9.0-26.1.0
ci-test

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robotascend-robot成员
8月20日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
8月20日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
8月20日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
8月20日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
8月20日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
8月20日 添加了label:docs-ci-pipeline-success
黄桂军黄桂军成员
8月20日 修改标题为 “[master]refactor: move shape handling into dynamo utils (#4241)”,原标题为“refactor: move shape handling into dynamo utils (#4241)”
ascend-robotascend-robot成员
8月20日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
8月20日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
8月20日 评论:
流水线 PR-pipeline_pytorch#62640 [ commitID:e641e6fe ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
Build_X86_213 >>>
Build_ARM_213 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 codecheck_pre-commit >>>
check_error >>>
lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
UT_ARM_A2_Part_01_213 >>>
UT_ARM_A2_Part_02_213 >>>
UT_ARM_A2_Part_03_213 >>>
UT_inductor_Part_01_213 >>>
UT_inductor_Part_02_213 >>>
UT_inductor_Part_03_213 >>>
UT_inductor_Part_04_213 >>>
UT_DIST_ARM_Part_01_213 🛑 >>>
UT_DIST_ARM_Part_02_213 🛑 >>>
UT_DIST_ARM_Part_03_213 🛑 >>>
UT_DIST_ARM_Part_04_213 🛑 >>>
UT_ARM_A2_Select_Part_01_213 >>>
UT_ARM_A2_Select_Part_02_213 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan, Jesse, WSs_321]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
黄桂军黄桂军成员
8月21日 关联了issue:[Inductor] Shape Handling bucket UT 编译次数异常(a6d9b5fa 引入时序回归)
黄桂军黄桂军成员
8月21日 修改了pull request 的描述
黄桂军黄桂军成员
8月21日 修改了pull request 的描述
rmch成员
8月21日 评论:

/lgtm

likedislike
li_jing_hw成员
8月21日 评论:

/approve

likedislike
ascend-robotascend-robot成员
8月21日 添加了label:approvedlgtm
ascend-robotascend-robot成员
8月21日 合入了pull request
ascend-robot
ascend-robot成员
8月21日 评论:
流水线 pytorch_gitcode_PR_multiVersion#14374 [ commitID:e641e6fe ] 已完成
likedislike