已合并
catlass adapt 2.13.0 #43293
catlass adapt 2.13.0 #43293
已合并
shi-yufeng99创建于 7月29日
shi-yufeng99
7月29日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

在2.13.0中适配catlass,如下两个点需要适配:
1.
v2.13 社区重构了 SizeVarAllocator,将 size_hint 重命名为 optimization_hint。本次PR将涉及到的size_hint代码都改为了optimization_hint
2.
v2.13 上游将 benchmarker 从 TritonBenchmarker 改为 InductorBenchmarker。InductorBenchmarker.benchmark_gpu() 内部通过 is_gpu() 判断设备类型,而 GPU_TYPES 不含 "npu",导致回退到 "cuda",最终调用 torch.cuda.synchronize() 报 AssertionError: Torch not compiled with CUDA enabled。v2.10 用的是 TritonBenchmarker,委托给 triton 的 do_bench,triton 内部能正确识别 NPU driver,所以不受影响。

所以本次修改对ExternKernelGPUBenchmarkRequest做了基类的替换

#3463

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 shi-yufeng99 的贡献)
Sshi-yufeng99
7月29日 创建了 pull request,commit a822c246
Sshi-yufeng99
7月29日 关联了issue:need to support catlass in torch 2.13.0
atomgit-bot
atomgit-bot
7月29日 评论:

变更摘要

此 PR 适配 PyTorch 社区 v2.13 中两处破坏性变更对 catlass 的影响:一是 SizeVarAllocator 中将 size_hint 重命名为 optimization_hint,将相关调用点统一更新;二是 benchmarker 从 TritonBenchmarker 重构为 InductorBenchmarker,其内部 GPU 判断逻辑无法识别 NPU 设备,通过在 autotune_process.py 中动态替换 ExternKernelGPUBenchmarkRequest 的基类,将 GPUDeviceBenchmarkMixin 替换为 NPUDeviceBenchmarkMixin,确保外部 kernel 基准测试正确使用 torch.npu 而非 torch.cuda

主要改动

  • size_hintoptimization_hint 重命名适配:在 gemm_template.pyCATLASS1xGemmTemplate 中,将 V.graph.sizevars.size_hint 调用改为 V.graph.sizevars.optimization_hint,匹配社区 v2.13 的 SizeVarAllocator 接口变更。
  • size_hintoptimization_hint 重命名适配:在 kernel_analysis.py_finalize_stride_collection 函数中,同样将 V.graph.sizevars.size_hint(stride) 改为 V.graph.sizevars.optimization_hint(stride)
  • ExternKernelGPUBenchmarkRequest 基类替换:在 autotune_process.pypatch_tuning_process 中新增代码,将 ExternKernelGPUBenchmarkRequest 的基类从 GPUDeviceBenchmarkMixin 动态替换为 NPUDeviceBenchmarkMixin,解决 InductorBenchmarker 无法识别 NPU 设备导致回退到 torch.cuda.synchronize() 报错的问题。
likedislike
atomgit-bot
atomgit-bot
7月29日 评论:

代码审查

经过彻底审查,本次 PR 中的三个文件变更均为合理且正确的适配修改:

  1. torch_npu/_inductor/autotune_process.py:通过 __bases__ 赋值将 ExternKernelGPUBenchmarkRequest 的基类从 GPUDeviceBenchmarkMixin 替换为 NPUDeviceBenchmarkMixin,确保外部 kernel benchmark(aten::mm, aten::addmm 等)使用 torch.npu 而非 torch.cudaNPUDeviceBenchmarkMixin 已存在于文件中,此处仅添加了基类替换逻辑,且该函数在模块初始化时(单线程环境)调用,时机正确。

  2. torch_npu/_inductor/codegen/catlass/gemm_template.pysize_hintoptimization_hint 重命名,与上游 v2.13 的重构保持一致。代码库中已有 72 处使用 optimization_hint,此变更补齐了遗漏的调用点。

  3. torch_npu/_inductor/codegen/kernel_analysis.py:同上,size_hintoptimization_hint 重命名,补齐最后遗漏的调用点。异常捕获 TypeError 与原 size_hint 行为一致。


审查结论

  • P0: 0
  • P1: 0
  • P2: 0
  • P3: 0

整体风险评估:低风险。三个变更均为适配 PyTorch v2.13 的必要修改,逻辑正确,与代码库其余部分保持一致。

各文件审查结果:

  • torch_npu/_inductor/autotune_process.py — 无问题
  • torch_npu/_inductor/codegen/catlass/gemm_template.py — 无问题
  • torch_npu/_inductor/codegen/kernel_analysis.py — 无问题

⚠️ 已识别出整体风险,但无法提取行内评论,请参考整体评估。

likedislike
Sshi-yufeng99
7月29日 修改了pull request 的描述
ascend-robotascend-robot成员
7月29日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
7月29日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
torch_npu/_inductor weizhan4, TonyYA (2/2) weizhan4 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

shi-yufeng99, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
shi-yufeng99
7月29日 评论:

compile

likedislike
ascend-robot
ascend-robot成员
7月29日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.10.0
v2.12.0
v2.11.0
v2.9.0
v2.7.1
v2.7.1-26.1.0
v2.12.0-26.1.0
v2.11.0-26.1.0
v2.9.0-26.1.0
v2.10.0-26.1.0
ci-test

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robotascend-robot成员
7月29日 添加了label:ci-pipeline-running
ascend-robotascend-robot成员
7月29日 删除了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月29日 评论:
流水线 PR-pipeline_pytorch#51252 [ commitID:35b6de6a ] 已终止运行
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 🕚 >>>
Build_ARM 🕚 >>>
Build_LibTorch_x86 🕚 >>>
Build_LibTorch_ARM 🕚 >>>
Build_X86_torchair 🕚 >>>
Build_ARM_torchair 🕚 >>>
patch_test 🕚 >>>
恶意代码检查 Antipoison 🟨 >>>
编码安全与规范检查 CodeCheck 🟨 >>>
check_error 🟨 >>>
CodeCheck_lintrunner 🟨 >>>
开源片段检查 SCA 🟨 >>>
开发者测试 UT_ARM_A3_Part_01 🕚 >>>
UT_ARM_A3_Part_02 🕚 >>>
UT_ARM_A2_Part_01 🕚 >>>
UT_ARM_A2_Part_02 🕚 >>>
UT_ARM_A2_Part_03 🕚 >>>
UT_inductor_Part_01 🕚 >>>
UT_inductor_Part_02 🕚 >>>
UT_inductor_Part_03 🕚 >>>
UT_inductor_Part_04 🕚 >>>
UT_DIST_ARM_Part_01 🕚 >>>
UT_DIST_ARM_Part_02 🕚 >>>
UT_DIST_ARM_Part_03 🕚 >>>
UT_DIST_ARM_Part_04 🕚 >>>
UT_ARM_A2_Select_Part_01 🕚 >>>
UT_ARM_A2_Select_Part_02 🕚 >>>
流水线 PR-pipeline_pytorch 🟨 >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan, Jesse]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
ascend-robotascend-robot成员
7月29日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月29日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
7月29日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
7月29日 评论:

ascend docs pipeline is running...

likedislike
ascend-robot
ascend-robot成员
7月29日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月29日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
7月29日 添加了label:docs-ci-pipeline-success
ascend-robot
ascend-robot成员
7月29日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月29日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
7月29日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
7月29日 评论:
流水线 PR-pipeline_pytorch#51253 [ commitID:35b6de6a ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan, Jesse]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
pangjiayi
pangjiayi
7月30日 评论:

/lgtm

likedislike
weizhan4成员
7月30日 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
7月30日 添加了label:approvedlgtm
ascend-robotascend-robot成员
7月30日 关闭了关联的issue
ascend-robotascend-robot成员
7月30日 合入了pull request
ascend-robot
ascend-robot成员
7月30日 评论:
流水线 pytorch_gitcode_PR_multiVersion#13346 [ commitID:35b6de6a ] 已完成
likedislike