已合并
feat(inductor): adapt group autotune for cpp wrapper #44686
feat(inductor): adapt group autotune for cpp wrapper #44686
已合并
Xuan Peng创建于 18 天前
Xuan Peng
18 天前

Issue: https://gitcode.com/Ascend/pytorch/issues/4098

Summary

Enable symbolic-shape grouped autotune to work with the NPU C++ wrapper.

  • Record per-variant kernel loading metadata and group-to-best-variant mappings.
  • Generate runtime group dispatch, runtime block resolution, and per-variant kernel loading/launching in the C++ wrapper.
  • Package only the cubin files required by selected variants.
  • Add unit and NPU functional tests for generated wrapper code and dynamic-shape accuracy.

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

请描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)

【资料变更】

请确认是否涉及资料变更。如涉及,需要在PR中体现,并简要说明修改内容。如不涉及,需填写“不涉及”

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及,需要详细说明接口以及对应的变更内容,同时需要在资料中体现。如不涉及,需填写“不涉及”

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 Xuan Peng 的贡献)
XXuan Peng
18 天前 创建了 pull request,commit 7903c832
atomgit-bot
atomgit-bot
18 天前 评论:

变更摘要

该 PR 主要让 NPU Inductor 的 group autotune 分组调优结果能够适配 cpp wrapper 的代码生成路径:NPUSymbolicGroupedAutotuner 在保存 kernel 前把各组胜出候选与各 variant 的加载元信息记录下来,DeferredNpuTritonCallWrapper 在生成 C++ 代码时据此解析分组、计算运行时 block 并生成按分组和 variant 的 switch 分发与加载/启动逻辑,同时只收集实际被选中的 variant 对应的 cubin 文件。新增的测试文件对生成的 C++ 代码内容及动态 shape 下的功能与精度进行了校验。

主要改动

  • cpp wrapper 分组代码生成DeferredNpuTritonCallWrapper 新增 _generate_grouped_feature_inputs_generate_grouped_group_id_generate_grouped_selection_generate_grouped_variant_launch 等方法,在 group_enabled 时生成分组特征计算、grouped_group_id 解析、switch (grouped_group_id) 分发以及运行时 block(如 XBLOCK)的 resolve_grouped_runtime_block 计算逻辑。
  • kernel 加载与启动拆分:将原 generate_load_kernel/generate_launch_kernel 的单 kernel 逻辑抽出为 _generate_single_kernel_load/_generate_single_kernel_launch,并在分组场景下改为先声明各 grouped_kernel_<variant_id> 静态指针,再按 switch (grouped_variant_index) 分别加载和启动被选中的 variant。
  • 分组计划的元信息记录NPUSymbolicGroupedAutotuner 新增 _grouped_variant_load_meta_record_grouped_cpp_wrapper_plan,在 save_npu_kernel 前写入 best_by_group 及每个选中 variant 的 load_meta(包含 mangled_namecubin_pathshared_memmix_mode 等)。
  • cubin 文件按需收集generate 中根据 _grouped_active_variants 计算实际用到的 cubin_paths,仅将这些路径加入 additional_files,并移除不再需要的默认 cubin_path,避免打包未选中的 variant。
  • 运行时 kernel 保存补充:在 NPUSymbolicGroupedAutotuner 的 launch 分支中新增 launcher.store_cubin 条件下的 save_gpu_kernel 调用,确保 cpp wrapper 需要时保存 kernel 二进制。
  • 测试覆盖:新增 test/_inductor/test_grouped_cpp_wrapper.py,验证生成代码包含分组 switchgrouped_kernel_v0/v1resolve_grouped_runtime_block 等结构,并覆盖未选中 variant 的省略以及动态序列长度下的功能与精度测试。
likedislike
atomgit-bot
atomgit-bot
18 天前 评论:

代码审查

✅ 未发现问题

likedislike
ascend-robotascend-robot成员
18 天前 添加了label:ascend-cla/yes
ascend-robotascend-robot成员
18 天前 添加了label:needs-issue
ascend-robot
ascend-robot成员
18 天前 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
test crazyDannyBoy, weizhan4 (2/2) crazyDannyBoy (1/1)
torch_npu/_inductor crazyDannyBoy, weizhan4 (2/2) weizhan4, crazyDannyBoy (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

HinPeng, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
18 天前 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.7.1
v2.12.0
v2.10.0
v2.11.0
v2.7.1-26.1.0
v2.9.0
v2.9.0-26.1.0
v2.10.0-26.1.0
v2.11.0-26.1.0
v2.12.0-26.1.0
ci-test

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robot
ascend-robot成员
18 天前 评论:

Linking Issue Notice

@HinPeng , the pull request must be linked to at least one issue.
If an issue has already been linked, but the needs-issue label remains, you can remove the label by commenting /check-issue .

likedislike
ascend-robotascend-robot成员
18 天前 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
18 天前 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
18 天前 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
18 天前 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
18 天前 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
18 天前 添加了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
18 天前 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
18 天前 添加了label:ci-pipeline-failed
ascend-robot
ascend-robot成员
18 天前 评论:
流水线 PR-pipeline_pytorch#61422 [ commitID:ca22002c ] 运行失败
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 codecheck_pre-commit >>>
check_error >>>
lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 >>>
UT_inductor_Part_02 >>>
UT_inductor_Part_03 >>>
UT_inductor_Part_04 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan, Jesse, WSs_321]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
ascend-robotascend-robot成员
18 天前 删除了label:ci-pipeline-failed
ascend-robotascend-robot成员
18 天前 添加了label:ci-pipeline-running
ascend-robotascend-robot成员
18 天前 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
18 天前 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
18 天前 评论:
流水线 PR-pipeline_pytorch#61422 (重试第1次) [ commitID:ca22002c ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 codecheck_pre-commit >>>
check_error >>>
lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 >>>
UT_inductor_Part_02 >>>
UT_inductor_Part_03 >>>
UT_inductor_Part_04 >>>
UT_DIST_ARM_Part_01 🛑 >>>
UT_DIST_ARM_Part_02 🛑 >>>
UT_DIST_ARM_Part_03 🛑 >>>
UT_DIST_ARM_Part_04 🛑 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan, Jesse, WSs_321]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
Xuan Peng
18 天前 评论:

compile#openlibing

likedislike
ascend-robot
ascend-robot成员
18 天前 评论:

libing-pipeline创建中,请等待……

likedislike
ascend-robotascend-robot成员
18 天前 添加了label:SC-START
ascend-robotascend-robot成员
18 天前 删除了label:SC-START
ascend-robotascend-robot成员
18 天前 添加了label:SC-RUNNING
ascend-robotascend-robot成员
18 天前 删除了label:SC-RUNNING
ascend-robotascend-robot成员
18 天前 添加了label:SC-FAIL
XXuan Peng
17 天前 修改了pull request 的描述
ascend-robotascend-robot成员
17 天前 删除了label:needs-issue
dezheng889成员
17 天前 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
17 天前 添加了label:approved
zhucehw成员
17 天前 评论:

/lgtm

likedislike
weizhan4成员
17 天前 评论:

/lgtm
/approve

likedislike
ascend-robot
ascend-robot成员
17 天前 评论:

The following users do not have permission to comment /lgtm or /approve on any module in this PR:
zhucehw

likedislike
ascend-robot
ascend-robot成员
17 天前 评论:

The following users do not have permission to comment /lgtm or /approve on any module in this PR:
zhucehw

likedislike
ascend-robotascend-robot成员
17 天前 添加了label:lgtm
ascend-robotascend-robot成员
17 天前 关闭了关联的issue
ascend-robotascend-robot成员
17 天前 合入了pull request
pangjiayi
pangjiayi
17 天前 评论:

/lgtm

likedislike
ascend-robot
ascend-robot成员
17 天前 评论:
流水线 pytorch_gitcode_PR_multiVersion#14111 [ commitID:ca22002c ] 已完成
likedislike