已合并
Fix MLIR full lowering fallback mode #39326
yvjc创建于 6月25日
Fix MLIR full lowering fallback mode #39326
已合并
yvjc创建于 6月25日
已删除 :fusionTest-master合入到Ascend/pytorchmaster
yvjc成员
6月25日

https://gitcode.com/Ascend/pytorch/issues/2507

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)

  • MLIR 配置增加 allfallback 识别: 在 ascend_npu_ir/ascend_npu_ir/config.py 中新增条件判断,当 enable_full_lowering_fallback 的值为 "allfallback" 时,自动将 fallback_to_aten_mode 设置为 "all",使后续 lowering 逻辑能进入全量回退分支。
  • MLIR lowering 注册跳过 allfallback 的算子解析: 在 ascend_npu_ir/ascend_npu_ir/npu/npu_lowering.py 的 _register_npu_inductor_fallbacks() 中,将原先 if env_fallback_list: 的条件增强为 if env_fallback_list and config.fallback_to_aten_mode != 'all':,避免在 all-fallback 模式下将 "allfallback" 当作普通算子名进行无效解析。
  • 新增 MLIR 全量回退测试用例: 新增 test/_inductor/test_inductor_all_fallback_mlir.py,包含 test_all_fallback_detection_mlir 测试方法,验证设置 NPU_INDUCTOR_FALLBACK_LIST=allfallback 后 MLIR 后端生成的代码中不包含 mlir_fused 等优化融合标记,确保全量回退模式正确生效。

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

不涉及

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

不涉及

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

测试用例通过

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 yvjc 的贡献)
Yyvjc成员
6月25日 创建了 pull request,commit 2e1ae36e
ascend-robotascend-robot成员
6月25日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
6月25日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
test zichun_ye, daifu1234567 (2/2) zichun_ye (1/1)
torch_npu/_inductor zichun_ye, daifu1234567 (2/2) zichun_ye (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

yvjc, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
6月25日 添加了label:needs-issue
ascend-robot
ascend-robot成员
6月25日 评论:

Linking Issue Notice

@yvjc , the pull request must be linked to at least one issue.
If an issue has already been linked, but the needs-issue label remains, you can remove the label by commenting /check-issue .

likedislike
ascend-robot
ascend-robot成员
6月25日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.7.1
v2.9.0
v2.10.0
v2.11.0
v2.12.0
v2.9.0-26.1.0
v2.7.1-26.1.0
v2.12.0-26.1.0
v2.11.0-26.1.0
v2.10.0-26.1.0
ci-test
sync-pr28113--to-v2.9.0

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robot
ascend-robot成员
6月25日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月25日 添加了label:docs-ci-pipeline-running
Yyvjc成员
6月25日 update merge request[project id: 7404318, iid: 39326, commit_id: 391ce0fe5d856cbb7ef9c96faea04e9c8de98210] virtual merging success
Yyvjc成员
6月25日 强制推送  1 个提交:76b43119-fix: MLIR full lowering fallback mode
Yyvjc成员
6月25日 update merge request[project id: 7404318, iid: 39326, commit_id: 484ed8bb7982eed72628c9676c81ac53f9f3f94b] virtual merging success
ascend-robot
ascend-robot成员
6月25日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
6月25日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
6月25日 添加了label:docs-ci-pipeline-success
ascend-robot
ascend-robot成员
6月25日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月25日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
6月25日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
6月25日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
6月25日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
6月25日 添加了label:docs-ci-pipeline-success
Yyvjc成员
6月25日 update merge request[project id: 7404318, iid: 39326, commit_id: 3378229f9029cd5a6bbfad9b51315a00ef98399e] virtual merging success
Yyvjc成员
6月25日 强制推送  1 个提交:41636b61-fix: MLIR full lowering fallback mode
Yyvjc成员
6月25日 update merge request[project id: 7404318, iid: 39326, commit_id: de65a650496f3bdff6e7e8e3fb75f5cfe993616c] virtual merging success
yvjc成员
6月25日 评论:

compile

likedislike
ascend-robotascend-robot成员
6月25日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
6月25日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
6月25日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
6月25日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
6月25日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robot
ascend-robot成员
6月25日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
6月25日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
6月25日 添加了label:docs-ci-pipeline-success
ascend-robot
ascend-robot成员
6月25日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
atomgit-bot
atomgit-bot
6月25日 评论:

变更摘要

此 PR 修复了 ANIR(Ascend NPU IR)路径下全量 lowering 回退模式(allfallback)未正确生效的问题。当环境变量 NPU_INDUCTOR_FALLBACK_LIST 设置为 allfallback 时,ANIR 的 fallback_to_aten_mode 未能被同步切换为 "all",导致其 lowering 注册流程未执行全量回退逻辑。该修复在 ANIR 配置模块中补齐了该模式判断,并在 lowering 注册函数中增加了相应的守卫条件,同时新增了针对 MLIR 和 Triton 后端的回退检测测试用例。

主要改动

  • ANIR 配置新增 allfallback 模式识别:在 config.py 中添加了对 enable_full_lowering_fallback 环境变量值为 "allfallback" 的检测,当匹配时将 fallback_to_aten_mode 强制设为 "all",确保 ANIR 路径能正确进入全量回退模式。
  • Lowering 注册函数增加守卫条件:在 npu_lowering.py_register_npu_inductor_fallbacks() 中,将环境变量回退列表的解析条件由 if env_fallback_list 改为 if env_fallback_list and config.fallback_to_aten_mode != "all",避免在全量回退模式下仍尝试逐个解析算子名导致逻辑冲突。
  • 新增 allfallback 模式测试用例:新增测试文件 test_inductor_all_fallback_mlir.py,分别验证 MLIR 后端和 Triton 后端在全量回退模式下,编译后的代码中不出现融合算子(如 mlir_fused_addunk_fused_add),确保回退行为符合预期。
likedislike
不准确?
atomgit-bot
atomgit-bot
6月25日 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
Yyvjc成员
6月25日 修改标题为 “Fix MLIR full lowering fallback mode”,原标题为“Fix ANIR full lowering fallback mode”
Yyvjc成员
6月25日 修改了pull request 的描述
ascend-robotascend-robot成员
6月25日 删除了label:needs-issue
ascend-robotascend-robot成员
6月25日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
6月25日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
6月25日 评论:
流水线 PR-pipeline_pytorch#39173 已完成
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
likedislike
daifu1234567成员
6月26日 评论:

/lgtm

likedislike
zichun_ye
zichun_ye成员
6月26日 评论:

/approve

likedislike
ascend-robotascend-robot成员
6月26日 添加了label:approvedlgtm
ascend-robotascend-robot成员
6月26日 合入了pull request
AtlasAccount
AtlasAccount成员
6月26日 评论:
流水线 pytorch_gitcode_PR_multiVersion#11369 [ commitID:41636b61 ] 已完成
likedislike