master

cann-robotci: refresh examples and ut completeness check

eb698729Add on 9 days agoHistory

Files	Last commit	Last update
ascend910_93	[GBSAG] Add A2/A3 Op generic_block_sparse_attention_grad and generic_block_sparse_attention_grad_metadata Co-authored-by: tramp-ll<linglong4@huawei.com> # message auto-generated for no-merge-commit merge: !11455 merge gbsag_v3 into master [GBSAG] Add A2/A3 Op generic_block_sparse_attention_grad and generic_block_sparse_attention_grad_metadata Created-by: tramp-ll Commit-by: tramp-ll Merged-by: cann-robot Description: ## 描述 GenericBlockSparseAttentionGrad是通用块稀疏注意力的反向计算算子。依据sparseBlockIdx/sparseBlockCount（稀疏块索引表）定义的索引，仅在被选中的KV块上计算和传播梯度，支持动态、可变长的分块稀疏模式。 新增 GenericBlockSparseAttentionGrad 和 generic_block_sparse_attention_grad_metadata算子 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5110 ## 测试 开发自验证通过 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!11455	2 months ago
ascend910b	[GBSAG] Add A2/A3 Op generic_block_sparse_attention_grad and generic_block_sparse_attention_grad_metadata Co-authored-by: tramp-ll<linglong4@huawei.com> # message auto-generated for no-merge-commit merge: !11455 merge gbsag_v3 into master [GBSAG] Add A2/A3 Op generic_block_sparse_attention_grad and generic_block_sparse_attention_grad_metadata Created-by: tramp-ll Commit-by: tramp-ll Merged-by: cann-robot Description: ## 描述 GenericBlockSparseAttentionGrad是通用块稀疏注意力的反向计算算子。依据sparseBlockIdx/sparseBlockCount（稀疏块索引表）定义的索引，仅在被选中的KV块上计算和传播梯度，支持动态、可变长的分块稀疏模式。 新增 GenericBlockSparseAttentionGrad 和 generic_block_sparse_attention_grad_metadata算子 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5110 ## 测试 开发自验证通过 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!11455	2 months ago
ascend950	moe_token_permute_with_ep_grad: 适配ascend950(复用A2 SIMD实现) Co-authored-by: wuchengwen_oh<wuchengwen4@huawei.com> # message auto-generated for no-merge-commit merge: !11794 merge moe_token_permute_with_ep_grad_ascend950 into master moe_token_permute_with_ep_grad: 适配ascend950(复用A2 SIMD实现) Created-by: wuchengwen_oh Commit-by: wuchengwen_oh Merged-by: cann-robot Description: ## 算子适配 moe_token_permute_with_ep_grad 适配 ascend950（A2/910 已交付 SIMD 实现零语义修改复用）。 > 注：本 PR 基于最新 master 重建（原 PR !11502 已关闭，变更内容一致后重新提交）。 ### 修改清单（9 files, +541/-74） - op_host/def.cpp：新增 AICore().AddConfig("ascend950") 注册 - tiling.cpp：补充 GetWorkspaceSizes 系统workspace分配(+7行)，修复950运行时VEC_ERROR（该调用自 moe_token_unpermute_with_ep 迁移时丢失；同仓910b系全部moe算子均带此调用，属历史缺陷补齐） - infershape.cpp：修正EP分片场景输出shape推导（GEIR图模式暴露的既有缺陷，910/950共享代码） - token_grad行数公式 input0.dim0/topk → sorted_indices.numel/topk（全量range两公式等价，910行为不变；EP分片下旧公式推导错误已实测：UT基线对照 {391,1430} vs 正确 {783,1430}） - 补probs_grad输出shape(num_tokens,topk)及dtype推导（不修复时图模式probs_grad为2/4字节垃圾数据，GE DEBUG日志CalcTensorMemSize实证） - 安全拦截：top_k指针null检查 + num_topk==0除零保护 - infershape UT：case_0期望值连带更新 - README/docs：产品支持表 950PR/950DT 更新；补全probsGradOut计算公式、修正输入shape笔误(R*topK→R)与示例shape、numTokens定义补充 - docs/zh/op_api_list.md：Ascend 950确定性说明刷新（检视意见处理） - scripts/ci/ascend950 清单收录（对齐910b/910_93） - 新增 tests/assets/golden.py：三方golden（纯TF小算子拼接、tf.scan保序k序串行累加、无for循环、__spec__注册、B4合规ThirdPartyImpl） ### 验证 - TTK上板 950 全量 684/684 通过（黑盒228+网络16+ACLNN14+GEIR228+白盒198，TF golden，Ascend950PR_957c） - ST设计用例（op_stdesign流程）：L0 55/57 PASS + L1 464/515 PASS（0功能失败），L2 异常43例防御定性（14拒绝+12 golden拦截+2静默缺口+补充场景） - GEIR图模式 228/228 通过（含动态shape -1/-2 两阶段推导） - ophost UT 910b 20/20 + 950 20/20 PASSED（EP分片旧公式基线对照实测推导错误） - .run 包单芯片(ascend950)出包编译通过 - pre-commit 全部通过（clang-format/ruff-format/OAT合规） #5231 See merge request: cann/ops-transformer!11794	1 month ago
ascend960dt	支持线上CI编译960dt Co-authored-by: yangyajie<yangyajie3@huawei.com> # message auto-generated for no-merge-commit merge: !13423 merge master into master 支持线上CI编译960dt Created-by: yangyajie Commit-by: yangyajie Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!13423	30 days ago
analyze_ops_time.py	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 months ago
check_examples_ut.py	ci: refresh examples and ut completeness check Co-authored-by: NewCoderChenxi<chenxi116@huawei.com> # message auto-generated for no-merge-commit merge: !15020 merge codex/check-examples-ut-20261031 into master ci: refresh examples and ut completeness check Created-by: mayafei Commit-by: NewCoderChenxi Merged-by: cann-robot Description: ## 描述 原检查 PR 分支已再次落后目标分支较多提交。本 PR 以最新 cann/ops-transformer:master 为基线，重新应用算子 examples / tests/ut 完整性检查能力，避免旧分支基线过期导致合并冲突或覆盖最新 CI 配置。 改动内容： - 新增 scripts/ci/check_examples_ut.py：检查正式算子是否有有效 examples 和非空 tests/ut，并输出 build/check_examples_ut.csv。 - 在 .gitcode/workflows/ops-transformer_action.yml 的 stage2/compile 中新增 JOB_check_examples_ut，读取 pr_filelist.txt 执行检查，并在 always() 下上传报告。 - 保留最新 master 上已有的 workflow 配置，仅新增本检查 Job。 ## 关联的Issue 无。 ## 测试 - 基于最新 master 提交 0758c58f81ec8d5fc86166f64f10640d48da8dba 创建分支。 - Python 脚本通过 py_compile 语法检查。 - git diff --check 通过。 - 变更范围为 2 个文件：CI workflow 和检查脚本。 - 依赖 PR CI 执行完整的增量扫描和报告上传验证。 ## 文档更新 无。 ## 类型标签 - [x] 🧪 测试 - [x] 📦 构建/CI See merge request: cann/ops-transformer!15020	9 days ago
gen_ops_soc.py	ci(gen_ops_soc): 950/960dt 编译obj分组配置——新增matmul_all_reduce等5项，mega_moe 20→40、grad 5→10 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !14790 merge fix_2 into master ci(gen_ops_soc): 950/960dt 编译obj分组配置——新增matmul_all_reduce等5项，mega_moe 20→40、grad 5→10 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 描述 CI 编译适配：为 ascend950（A5）与 ascend960dt 两档新增/调整多算子 obj 编译拆分组数，适配相关算子当前编译规模。 ## 改动内容 仅涉及 scripts/ci/gen_ops_soc.py 的 group_op_dict（1 文件，11 增 3 删）： - ascend950（A5）： - 调整：mega_moe 20→40、flash_attention_score_grad 5→10 - 新增：matmul_all_reduce=40、allto_all_matmul=20、matmul_reduce_scatter_v2=20 - ascend960dt（与 A5 镜像同步）： - 新增：flash_attention_score=5、mega_moe=40、matmul_all_reduce=40、allto_all_matmul=20、matmul_reduce_scatter_v2=20 - 调整：flash_attention_score_grad 5→10 - 拆分规则不变：仍按 op,N-i 生成编译任务并轮询分配至各编译组，仅组数变化 - 其他 SoC（ascend910b / ascend910_93 / ascend350）配置不变 ## 影响面 仅影响 CI 编译任务拆分，不涉及任何算子 kernel / host 代码。已确认全部算子 _def.cpp 注册支持 ascend960dt（其中 allto_all_matmul 的 960dt 注册受 CANN>=9.3 版本宏守卫）。 ## 验证 - 本地实跑 python3 scripts/ci/gen_ops_soc.py：正常生成、退出码 0 - 直接校验 group_op_dict：A5 / 960dt 两档字典值一致（7 算子全量镜像），符合预期 - pre-commit 全钩子 Passed（ruff / codespell / OAT 等），无格式化改动 See merge request: cann/ops-transformer!14790	10 days ago
get_changed_files_ops.py	--opkernel新增支持-f ./pr_filelist.txt参数 Co-authored-by: lixiawei<lixiawei2@h-partners.com> # message auto-generated for no-merge-commit merge: !12042 merge build_opkernel into master --opkernel新增支持-f ./pr_filelist.txt参数 Created-by: lixiawei Commit-by: lixiawei Merged-by: cann-robot Description: ## 描述 --opkernel新增支持-f ./pr_filelist.txt参数 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5245 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!12042	1 month ago
merge_static_packages.sh	静态库编译优化 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9616 merge package_static into master 静态库编译优化 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 本次 PR 主要围绕静态库编译打包流程进行了三方面优化：在构建和打包阶段增加目标存在性检查以避免构建失败；通过 ENABLE_PACKAGE 条件控制安装行为，避免非打包场景下的误操作；新增 merge_static_packages.sh 脚本，支持将多个 cann-ops-transformer-static 包合并为单一静态库包。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4348 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9616	2 months ago
ops_run_repackage.sh	支持--pkg-type=deb/rpm包构建 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !9867 merge support_debrpm into master 支持--pkg-type=deb/rpm包构建 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 支持通过 build.sh --pkg --pkg-type=run|rpm|deb|all 构建 run/rpm/deb 包（默认仍为 run）。 主要改动： 1. **构建入口**：build.sh / CMakeLists.txt 增加 PACKAGE_TYPE；cmake/package.cmake 与空包路径透传该参数到 set_cann_cpack_config。 2. **空包 soc（如 ascend910 / ascend310b / ascend610lite）**：不在 SOC_VERSION_LIST 仍走 cpack_empty_package；为空包设置默认 install component 并透传 PACKAGE_TYPE，使空包也可打出 rpm/deb。空包 run 为 stub 不落盘、deb/rpm 由包管理器解压元数据，**接受该机制差，不强行对齐**。 3. **deb/rpm 安装对齐 run**：新增 scripts/package/ops_transformer/rpm_deb/custom_postinst.sh / custom_prerm.sh（whl 安装与清理、copy_entity 递归赋权、filelist.csv/scene.info 等元数据权限、仓内 opp/built-in 刷权等）。 4. **依赖与兜底**：cann-cmake master-026 → master-046；无 ops-info.ini 时写出空 json，避免编包失败。 5. **文档 / CI**：更新 docs/zh/install/build.md、compile.md；ops_run_repackage.sh 支持可选 --pkg-type 二次生成 rpm/deb。 默认 bash build.sh --pkg 行为保持为打 run 包；run 安装脚本（opp_install.sh / install.sh）未改。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4300 ## 测试 A2/A3/A5 RDV ## 文档更新 - 更新 docs/zh/install/build.md、docs/zh/install/compile.md，补充 --pkg-type 说明与示例。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [x] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9867	2 months ago
ops_st_test.sh	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 months ago
ops_test_util.py	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 months ago
parse_changed_ops.py	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 months ago
repack_custom_operator.sh	增加算子分布式编译能力，提升编译效率 Co-authored-by: wangyunxiang<wangyunxiang6@h-partners.com> # message auto-generated for no-merge-commit merge: !14520 merge master into master 增加算子分布式编译能力，提升编译效率 Created-by: Larry_liuyi Commit-by: wangyunxiang Merged-by: cann-robot Description: ## 描述 增加算子分布式编译能力，提升编译效率 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [x] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14520	16 days ago
ut_make.sh	Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架，用于在git commit时自动运行代码检查和格式化工具。： | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码，保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305	3 months ago