feat(ci): 出包命令过滤无 op_kernel 目录的算子-ops-math-AtomGit

已合并

feat(ci): 出包命令过滤无 op_kernel 目录的算子 #4896

songkai111创建于 19 天前从songkai111/ops-math_6421： master 合入到 cann/ops-math： master

feat(ci): 出包命令过滤无 op_kernel 目录的算子 #4896

已合并

songkai111创建于 19 天前

从songkai111/ops-math_6421 master合入到cann/ops-math master

songkai111成员

19 天前

描述

出包（pkg）模式下，当前 build_package_commands 仅按 DEFAULT_FILTER_SOC（ascend910b）过滤算子，未判断算子是否具备 op_kernel 目录。出包依赖 kernel 二进制，无 op_kernel 目录的算子无法出包，会导致出包命令包含无法生成 kernel 二进制的算子，影响出包结果。

本次改动在出包命令生成链路中新增「op_kernel 目录过滤」：

新增 check_op_has_op_kernel(op_name, is_experimental=False)：按 math/、conversion/、random/（experimental 场景为对应 experimental/ 前缀）检查算子目录下是否存在 op_kernel 子目录。
新增 filter_ops_by_op_kernel(ops, is_experimental=False)：过滤出存在 op_kernel 目录的算子集合。
build_package_commands 在 SOC 过滤之后追加 op_kernel 目录过滤，被丢弃的算子（无 op_kernel 目录）打印告警列出；过滤后为空时回退到默认算子命令。

改动仅影响 pkg（出包）模式，UT / example 模式逻辑不变。

关联的Issue

https://gitcode.com/cann/ops-math/issues/2761

测试

本地验证（克隆自 master 分支）：

# 变更含 add_lora（有 op_kernel + 支持 ascend910b）与 affine_grid（无 op_kernel）
$ python3 scripts/ci/gen_ci_cmd.py -f changes.txt --pkg=TRUE
警告: 以下算子无 op_kernel 目录，出包命令中丢弃: affine_grid
生成 1 条命令:
  bash build.sh --pkg -j16 --vendor_name=custom --ops=add_lora

# 仅变更无 op_kernel 算子 → 回退默认算子
$ python3 scripts/ci/gen_ci_cmd.py -f changes.txt --pkg=TRUE
生成 1 条命令:
  bash build.sh --pkg -j16 --vendor_name=custom --ops=is_finite

文档更新

无

类型标签

Bug修复
新特性
性能优化
文档更新
其他，请描述：CI 脚本增强

Pull Request已成功合入, 合并人@CANN-robot

（感谢 songkai111 的贡献）

S songkai111成员

19 天前创建了 pull request，commit d22666bc

atomgit-bot

19 天前评论：

变更摘要

本 PR 为 CI 出包命令生成流程（scripts/ci/gen_ci_cmd.py）新增按算子 op_kernel 目录存在性过滤的逻辑：出包模式需要生成 kernel 二进制，没有 op_kernel 目录的算子无法出包，因此在 build_package_commands 中先按默认 SOC 过滤后，再丢弃无 op_kernel 目录的算子，避免出包命令包含无法出包的算子。

主要改动

新增 check_op_has_op_kernel 函数: 新增算子目录存在性检查函数，根据是否为 experimental 算子依次在 math/、conversion/、random/（或 experimental/math/、experimental/conversion/、experimental/random/）前缀下拼接 op_name/op_kernel 路径，存在即返回 True，否则返回 False。
新增 filter_ops_by_op_kernel 函数: 新增过滤函数，基于 check_op_has_op_kernel 从算子集合中筛选出存在 op_kernel 目录的算子，返回过滤后的算子集合。
build_package_commands 接入算子过滤: 在按 DEFAULT_FILTER_SOC 过滤之后，追加按 op_kernel 目录过滤；对被丢弃的算子打印警告信息（列出算子名称），若过滤后算子为空则回退到默认出包命令；同时更新该函数的文档注释，补充"仅保留存在 op_kernel 目录算子"的出包模式说明。

不准确？

atomgit-bot

19 天前评论：

代码审查

✅ 未发现问题

不准确？

任务名称	状态	日志	下载链接
pre_comment	✅ SUCCESS	>>>>>
Compile_Ascend_X86_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_X86_mobile_station_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_X86_experimental_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_harmony-infer	✅ SUCCESS	>>>>>
Compile_Ascend_ARM_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_ARM_experimental_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_single_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_X86_monitor_910b	✅ SUCCESS	>>>>>	>>>>>
Compile_X86_monitor_910c	✅ SUCCESS	>>>>>	>>>>>
Compile_X86_monitor_950	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_X86_A5_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_ARM_A5_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_X86_mobile_station_9030_ubuntu24	✅ SUCCESS	>>>>>	>>>>>
Compile_Ascend_single	✅ SUCCESS	>>>>>	>>>>>
UT_Test	✅ SUCCESS
UT_Test_experimental	✅ SUCCESS
UT_Test_kernel	✅ SUCCESS
PreSmoke_A900	✅ SUCCESS		>>>>>
API_Check	✅ SUCCESS	>>>>>
PreSmoke_ATK_Test_A2	✅ SUCCESS		>>>>>

任务名称	状态	日志	下载链接
SCA	✅ SUCCESS	>>>>>
antipoison	✅ SUCCESS	>>>>>
codecheck_Pr	✅ SUCCESS
StaticCheck_codespell	✅ SUCCESS
StaticCheck_link_validity	✅ SUCCESS
StaticCheck_resource_existence	✅ SUCCESS
StaticCheck_tag_closed	✅ SUCCESS
StaticCheck_markdownlint	✅ SUCCESS
codecheck_precommit	❌ FAILED	>>>>>	>>>>>

描述