已关闭
test(fx): add ShapeEnv API tests without upstream coverage #36403
小辉懂编程创建于 5月21日关闭于 5月22日
test(fx): add ShapeEnv API tests without upstream coverage #36403
已关闭
小辉懂编程创建于 5月21日关闭于 5月22日
小辉懂编程
5月21日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

Torch-NPU ShapeEnv API 补齐任务。

PyTorch v2.11.0 官方社区未检索到以下 ShapeEnv API 的直接测试覆盖:

  • torch.fx.experimental.symbolic_shapes.ShapeEnv.get_pruned_guards
  • torch.fx.experimental.symbolic_shapes.ShapeEnv.is_unbacked_symint

因此,本 PR 在 Torch-NPU test 目录中新增自写测试用例,补齐上述 API 的基础测试覆盖。

本 PR 属于:

1.3 pytorch 官方社区无用例,自己写用例并提交 PR 到 torch-npu 的 test 目录

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)

修改文件:

test/fx/test_symbolic_shapes.py

具体修改内容如下:

  1. 新增 import sympy,用于构造普通 SymPy symbol。
  2. 新增 test_shape_env_get_pruned_guards,验证 ShapeEnv.get_pruned_guards 在 unbacked SymInt 输入下返回 list 类型结果。
  3. 新增 test_shape_env_is_unbacked_symint,验证:
    • ShapeEnv.is_unbacked_symint 对 create_unbacked_symint() 创建出的 symbol 返回 True。
    • 对普通 sympy.Symbol 返回 False。

一、API 功能

1. torch.fx.experimental.symbolic_shapes.ShapeEnv.get_pruned_guards

该 API 用于根据给定的符号值集合,对 ShapeEnv 中已有 guards 进行裁剪,返回与目标符号相关的 guard 列表。

该能力常用于 symbolic shape 分析和 guard 管理流程中,避免保留无关或冗余的 guards。

2. torch.fx.experimental.symbolic_shapes.ShapeEnv.is_unbacked_symint

该 API 用于判断给定 symbol 是否为 ShapeEnv 创建并管理的 unbacked SymInt symbol。

unbacked SymInt 表示没有直接绑定到具体 Tensor size 的符号整数,常见于 dynamic shape、FakeTensor、symbolic tracing 等场景。

二、官方测试用例完整性分析

针对 PyTorch v2.11.0 官方测试,当前未发现上述两个 API 的直接测试用例。

因此,本 PR 使用自写测试补齐基础覆盖,重点验证:

  1. get_pruned_guards 的基本调用路径和返回类型。
  2. is_unbacked_symint 对 unbacked symbol 与普通 symbol 的区分能力。

该测试与 v2.9.0、v2.10.0 的自写测试策略保持一致。

三、NPU 适配

3.1 API 适配

不需要修改 API 实现。

这两个 API 均属于 ShapeEnv 的 Python 层 symbolic shape / guard 管理逻辑,不涉及:

  1. NPU kernel 实现。
  2. NPU 显存管理。
  3. NPU stream / event。
  4. 分布式通信算子。
  5. 设备侧数值计算逻辑。

因此,本次仅补充测试,不修改 API 源码实现。

3.2 测试用例适配

测试文件本身为 Torch-NPU 的 FX symbolic shapes 测试文件,已包含 import torch_npu 及 NPU 相关用例。

本 PR 新增的两个测试主要验证 Python 层 ShapeEnv 行为,不依赖具体 NPU kernel 计算。

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

不涉及。

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

不涉及。

本 PR 仅新增测试用例,不新增、不删除、不修改 Python API 或 C++ 接口。

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

新增 UT 测试用例:

test/fx/test_symbolic_shapes.py::TestSymbolicShapes::test_shape_env_get_pruned_guards
test/fx/test_symbolic_shapes.py::TestSymbolicShapes::test_shape_env_is_unbacked_symint

尝试执行:

TORCH_DEVICE_BACKEND_AUTOLOAD=0 python3.11 test/fx/test_symbolic_shapes.py

结果:

ModuleNotFoundError: No module named 'torch_npu._C'

说明:

当前 Web IDE 使用的是 Torch-NPU 源码目录,未加载到已编译的 torch_npu C 扩展。
错误发生在 import torch_npu 阶段,尚未进入本次新增测试用例逻辑,不属于 ShapeEnv API 或测试逻辑问题。

关联历史 PR:

v2.10.0 自写测试 PR:https://gitcode.com/Ascend/pytorch/pull/36393
v2.9.0 自写测试 PR:https://gitcode.com/Ascend/pytorch/pull/36356

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
当前Pull Request已关闭, 关闭人@小辉懂编程
小辉懂编程小辉懂编程
5月21日 创建了 pull request,commit 2cba89cc
ascend-robot
ascend-robot成员
5月21日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here


PR Approval Progress

⚠️ This PR does not yet meet the following requirements:lgtm (requires ≥ 2 person(s) per module)、approve (requires ≥ 1 person(s) per module)

Module Approval Details

module lgtm status approve status
test ❌ (0/2)(You can also ask: probiotics_53, wjlflyer, suhaibo, liangsongwei, 杨开昕) ❌ (0/1)(You can also ask: htchu, medivh-x, li_jing_hw, chenrayray, guoqi1024)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

gehui-2026, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
5月21日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
5月21日 评论:

当前仓库存在以下 保护分支 :

Protected Branch Version Release
master
v2.9.0
v2.11.0
v2.10.0
v2.7.1
v2.12.0

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
小辉懂编程小辉懂编程
5月21日 修改了pull request 的描述
小辉懂编程小辉懂编程
5月21日 修改了pull request 的描述
小辉懂编程
小辉懂编程
5月21日 评论:

compile

likedislike
ascend-robotascend-robot成员
5月21日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
5月21日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
5月21日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
5月21日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robot
ascend-robot成员
5月21日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
5月21日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
5月21日 添加了label:docs-ci-pipeline-success
ascend-robot
ascend-robot成员
5月21日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
5月21日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
5月21日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
5月21日 评论:
流水线 PR-pipeline_pytorch#24921 已完成
阶段 任务名 状态 详情
编译构建 Build_X86 ✅ >>>
Build_ARM ✅ >>>
Build_LibTorch_x86 ✅ >>>
Build_LibTorch_ARM ✅ >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison ✅ >>>
编码安全与规范检查 CodeCheck ✅ >>>
check_error ✅ >>>
CodeCheck_lintrunner ✅ >>>
开源片段检查 SCA ✅ >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 ✅ >>>
UT_ARM_A2_Part_02 ✅ >>>
UT_ARM_A2_Part_03 ✅ >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
流水线 PR-pipeline_pytorch ✅ >>>
此流水线已支持下列评论快捷指令,仅PR创建者评论有效
  • compile : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
小辉懂编程小辉懂编程
5月22日 关闭了 pull request