fix_2

cann-robotfix(dsl): 清理框架 UT 并隔离 UT 的 DSL 产物构建

830fe8f0Add on 8 days agoHistory

Files	Last commit	Last update
mc2_mock_test_frame	docs: add English translations for markdown files Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !15372 merge docs/add-english-translations into master docs: add English translations for markdown files Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## 描述 新增仓库Markdown文档英文译稿（第二批，共275个文件），为第一批（已合入）之外的其余全部译稿： - 新增263个英文译稿文件（含上游新增算子 attention/flash_kda_grad 的README与测试说明2篇，及14篇基于最新源文档的增量更新） - 重命名12个中文设计文档为英文名（Xxx算子设计介绍.md → Xxx_design.md，与第一批FFN_design.md策略一致） - 更新7个README中的设计文档引用链接 - 更新.pre-commit-config.yaml中codespell忽略词表 本批内全部仓内链接均指向master已有文件（含第一批已合入的42篇译稿），合入后本仓英文文档全部就位、链接完整生效。 ## 关联的Issue 无 ## 测试 文档类变更，无需算子测试；已通过链接有效性校验、残留中文/全角标点扫描、EOF换行规范检查，并完成逐篇翻译规范自查与独立语义审查（含支持状态表、限定词、术语、数值符号核对）。 ## 文档更新 新增263个英文译稿文件、重命名12个中文设计文档、更新8个现有文件，不修改算子源码。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!15372	9 days ago
ut	fix(dsl): 清理框架 UT 并隔离 UT 的 DSL 产物构建 Co-authored-by: sky-zyh<zhangyuhan45@huawei.com> # message auto-generated for no-merge-commit merge: !15464 merge cleanup/dsl-framework-tests into master fix(dsl): 清理框架 UT 并隔离 UT 的 DSL 产物构建 Created-by: sky-zyh Commit-by: sky-zyh Merged-by: cann-robot Description: 普通 UT 在 CMake 配置阶段会进入 DSL 产物发布；当 UT 环境的 OpKit 接口与工程不匹配时，测试用例执行前即因 opkit.build(mode=...) 失败。本 PR 将真实 DSL 编译与普通 UT 配置隔离，并删除原有模拟工程的框架 UT。 - 删除 tests/ut/python/test_cannbotdsl_aclnn.py、test_cannbotdsl_build.py、test_cannbotdsl_package.py，共 1138 行；不保留中间合并的 test_cannbotdsl.py。 - cmake/func.cmake 的 enable_cannbotdsl_kernel 在 UT_TEST_ALL、OP_HOST_UT、OP_API_UT、OP_KERNEL_UT、OP_GRAPH_UT 模式下提前返回，避免普通 UT 构建 DSL Host 归档或设备资源。 - 正常工程的 DSL Host/Kernel 构建路径保留。真实 ACLNN/DSL 编译、链接、打包由工程负责，算子正确性测试由各算子维护。 最终范围只有三份测试删除和公共 CMake 新增 4 行；未改算子实现、接口或 CI 镜像。 验证：本分支五种 UT 开关的定向 CMake 检查通过，正常模式仍执行 DSL 可用性检查；git diff --check 通过。另在 PR #15347 的 MQSMLA 源码上验证同一修复，使用匹配的 dev 0.8.2、全量 1008 个真实 DSL 特化完成设备编译，并经工程增量 --pkg 生成含设备二进制的 RUN 包、完成解包核对；该记录不等同于本 PR 的远端 CI 结果。未执行 NPU 数值或性能测试。 See merge request: cann/ops-transformer!15464	8 days ago
compile_scope_whitelist.yaml	ci(compile): 编译范围推导支持暂缓编译条目（impact空=自身与闭包均不编），common/3rd 暂不触发下游 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13631 merge moonep_4 into master ci(compile): 编译范围推导支持暂缓编译条目（impact空=自身与闭包均不编），common/3rd 暂不触发下游 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5732（编译范围推导机制，前置 PR https://gitcode.com/cann/ops-transformer/pull/13100） ## 描述 --PR_COMPILE 编译范围推导（cmake/scripts/parse_compile_scope.py）机制扩展，并在 tests/compile_scope_whitelist.yaml 登记 3 条暂缓编译条目。 ### 1. 暂缓编译条目（impact 为空） 白名单条目 impact: [] 语义为"暂缓编译"： - 直接改动该算子：不进入编译清单； - 其他算子变更：depends 反向闭包同样不附带该算子（新增 suppressed 集合，从闭包结果中剔除）。 本次登记 3 条（owner 要求暂缓编译，恢复时删除对应条目即可）： - attention/fused_infer_attention_score（soc: ascend910b/910_93/mc62/950/960dt） - mc2/mega_moe（soc: ascend950/910_93/910b） - mc2/matmul_all_reduce（soc: ascend950/910b/310p） ### 2. common/3rd 暂不触发下游 域内 common/3rd 共享键变更暂不触发下游编译（当前仅验证算子间互相触发，后续恢复）。 ### 3. 边界 - 暂缓条目仅影响 kernel 编译范围，UT 不受影响； - experimental 变体与主线同 key，同样被暂缓条目覆盖。 ## 测试 - pre-commit 全绿（含 compile-scope-whitelist-check，21 entries）； - 推导用例：3 个暂缓算子直接变更 @950/@910b → 空清单（build.sh exit 200 跳过）；mc2/common 变更 → 空清单；attention/prompt_flash_attention 变更 @910b → 闭包含 incre_flash_attention、不含 fused_infer_attention_score（暂缓生效）；flash_attn 白名单条目不受影响（@950 → flash_attn）。 See merge request: cann/ops-transformer!13631	25 days ago
file_cov_exempt.yaml	feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Co-authored-by: mutex_lock<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !14317 merge ut_cov into master feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Created-by: mutex_lock Commit-by: mutex_lock Merged-by: cann-robot Description: ## 描述 补齐 mc2 算子看板责任田与 UT SOC 看护，并新增文件覆盖率豁免名单，支撑看板文件覆盖率统计与 CI 按变更触发正确芯片 UT。 ### 1. 责任田（classify_rule.yaml）本次补齐 相对补齐前，以下算子**新写入**责任田（✓ 表示本次写入该组）： | 算子 | mc2_training | mc2_moe | mc2_moe_advanced | mc2_inference | |------|:------------:|:-------:|:----------------:|:-------------:| | allto_all_matmul_v2 | ✓ | | | | | all_gather_matmul_v3 | ✓ | | | ✓ | | matmul_all_reduce_add_rms_norm | ✓ | | | ✓ | | inplace_matmul_all_reduce_add_rms_norm | ✓ | | | ✓ | | attention_to_ffn_v2 | | | | ✓ | | ffn_to_attention_v2 | | | | ✓ | 补齐后：磁盘全部 **47** 个 mc2 算子均已在责任田中（含 tools / moe_ep_* / engram_* 等既有条目）。 ### 2. UT SOC（test_soc_config.yaml）本次补齐 / 重铺 **划分规则**（参考 quant_grouped_mat_mul_allto_allv）： 1. 优先 op_host/op_tiling：arch35→ascend950，arch22→ascend910b，两边都有→两边都挂 2. 无 tiling arch：回退 op_kernel/arch22|arch35 3. 仍无：回退 op_host/config/<soc>/（ascend910_93 折叠进 ascend910b） 4. 写 mc2/<op>/op_host，若存在再写 tests/ut/op_host **本次新进入 SOC 的算子及对应芯片：** | 算子 | ascend310p | ascend910b | ascend950 | 判定依据（摘要） | |------|:----------:|:----------:|:---------:|------------------| | all_gather_matmul_v3 | | | ✓ | tiling arch35 | | allto_all_matmul_v2 | | | ✓ | tiling arch35 | | quant_grouped_mat_mul_allto_allv | | | ✓ | tiling arch35 | | distribute_barrier_extend | | | ✓ | kernel arch35 | | engram_fetch | | | ✓ | tiling arch35 | | engram_fetch_grad | | | ✓ | tiling arch35 | | engram_fetch_wait | | | ✓ | tiling arch35（暂无 UT） | | moe_distribute_combine_v3 | | ✓ | ✓ | tiling arch22+arch35 | | moe_distribute_dispatch_v3 | | ✓ | ✓ | tiling arch22+arch35 | | attention_to_ffn_v2 | | | ✓ | kernel arch35 | | ffn_to_attention_v2 | | | ✓ | kernel arch35 | **责任田本次补齐、但 SOC 此前已有映射的算子：** | 算子 | 责任田 | 当前 SOC | |------|--------|----------| | matmul_all_reduce_add_rms_norm | training + inference | ascend910b | | inplace_matmul_all_reduce_add_rms_norm | training + inference | ascend910b | **按规则重铺后，SOC 归属调整的既有算子：** | 算子 | 调整前 | 调整后 | |------|--------|--------| | all_gather_matmul | 910b | 910b + 950 | | distribute_barrier | 910b | 910b + 950 | | matmul_reduce_scatter | 910b | 910b + 950 | | moe_distribute_combine_setup / teardown | 950 | 910b + 950 | | moe_distribute_dispatch_setup / teardown | 950 | 910b + 950 | | quant_all_reduce | 910b + 950 | 950 | | quant_reduce_scatter | 910b + 950 | 950 | **未挂 SOC**（无 UT，且无 arch/config 可判定）：moe_ep_combine / _epilogue、moe_ep_dispatch / _epilogue、tools。 覆盖汇总：ascend310p **1**、ascend910b **30**、ascend950 **35**；有 UT 的 mc2 算子均已进 SOC。 ### 3. 文件覆盖率豁免（tests/file_cov_exempt.yaml 新增） 按组件配置：dirs 豁免 op_kernel / op_graph，files 豁免纯声明/数据类型头。 仅影响看板文件覆盖率分母；未命中才豁免，命中优先并 WARN。 组件：mc2_training / mc2_moe / mc2_moe_advanced。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/6725 ## 测试 - 对照磁盘算子清单：classify_rule 47/47；有 UT 算子均在 test_soc_config 中。 - 本地验证文件覆盖率豁免（coverage.info + tianti）： - mc2_training：138/146 ≈ **94.52%**（语句 88.47%） - mc2_moe：4/4 = **100%**（语句 90.72%） - mc2_moe_advanced：82/106 ≈ **77.36%**（语句 84.22%） - files 静态检查：无实质函数定义；含构造函数体的头已移出白名单。 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14317	19 days ago
requirements.txt	添加pybind11依赖声明 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !9952 merge add_module into master 添加pybind11依赖声明 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 - requirements.txt中增加pybind11依赖声明 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4283 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9952	3 months ago
test_config.yaml	[sparse_lightning_indexer_kl_loss_grad]非确优化后更新UT代码 Co-authored-by: skyMax78<763439846@qq.com> # message auto-generated for no-merge-commit merge: !15437 merge fix/sparse-arch35-ut-7126 into master [sparse_lightning_indexer_kl_loss_grad]非确优化后更新UT代码 Created-by: skyMax78 Commit-by: skyMax78 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue 关联 Issue #7126。 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15437	8 days ago
test_soc_config.yaml	feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Co-authored-by: mutex_lock<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !14317 merge ut_cov into master feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Created-by: mutex_lock Commit-by: mutex_lock Merged-by: cann-robot Description: ## 描述 补齐 mc2 算子看板责任田与 UT SOC 看护，并新增文件覆盖率豁免名单，支撑看板文件覆盖率统计与 CI 按变更触发正确芯片 UT。 ### 1. 责任田（classify_rule.yaml）本次补齐 相对补齐前，以下算子**新写入**责任田（✓ 表示本次写入该组）： | 算子 | mc2_training | mc2_moe | mc2_moe_advanced | mc2_inference | |------|:------------:|:-------:|:----------------:|:-------------:| | allto_all_matmul_v2 | ✓ | | | | | all_gather_matmul_v3 | ✓ | | | ✓ | | matmul_all_reduce_add_rms_norm | ✓ | | | ✓ | | inplace_matmul_all_reduce_add_rms_norm | ✓ | | | ✓ | | attention_to_ffn_v2 | | | | ✓ | | ffn_to_attention_v2 | | | | ✓ | 补齐后：磁盘全部 **47** 个 mc2 算子均已在责任田中（含 tools / moe_ep_* / engram_* 等既有条目）。 ### 2. UT SOC（test_soc_config.yaml）本次补齐 / 重铺 **划分规则**（参考 quant_grouped_mat_mul_allto_allv）： 1. 优先 op_host/op_tiling：arch35→ascend950，arch22→ascend910b，两边都有→两边都挂 2. 无 tiling arch：回退 op_kernel/arch22|arch35 3. 仍无：回退 op_host/config/<soc>/（ascend910_93 折叠进 ascend910b） 4. 写 mc2/<op>/op_host，若存在再写 tests/ut/op_host **本次新进入 SOC 的算子及对应芯片：** | 算子 | ascend310p | ascend910b | ascend950 | 判定依据（摘要） | |------|:----------:|:----------:|:---------:|------------------| | all_gather_matmul_v3 | | | ✓ | tiling arch35 | | allto_all_matmul_v2 | | | ✓ | tiling arch35 | | quant_grouped_mat_mul_allto_allv | | | ✓ | tiling arch35 | | distribute_barrier_extend | | | ✓ | kernel arch35 | | engram_fetch | | | ✓ | tiling arch35 | | engram_fetch_grad | | | ✓ | tiling arch35 | | engram_fetch_wait | | | ✓ | tiling arch35（暂无 UT） | | moe_distribute_combine_v3 | | ✓ | ✓ | tiling arch22+arch35 | | moe_distribute_dispatch_v3 | | ✓ | ✓ | tiling arch22+arch35 | | attention_to_ffn_v2 | | | ✓ | kernel arch35 | | ffn_to_attention_v2 | | | ✓ | kernel arch35 | **责任田本次补齐、但 SOC 此前已有映射的算子：** | 算子 | 责任田 | 当前 SOC | |------|--------|----------| | matmul_all_reduce_add_rms_norm | training + inference | ascend910b | | inplace_matmul_all_reduce_add_rms_norm | training + inference | ascend910b | **按规则重铺后，SOC 归属调整的既有算子：** | 算子 | 调整前 | 调整后 | |------|--------|--------| | all_gather_matmul | 910b | 910b + 950 | | distribute_barrier | 910b | 910b + 950 | | matmul_reduce_scatter | 910b | 910b + 950 | | moe_distribute_combine_setup / teardown | 950 | 910b + 950 | | moe_distribute_dispatch_setup / teardown | 950 | 910b + 950 | | quant_all_reduce | 910b + 950 | 950 | | quant_reduce_scatter | 910b + 950 | 950 | **未挂 SOC**（无 UT，且无 arch/config 可判定）：moe_ep_combine / _epilogue、moe_ep_dispatch / _epilogue、tools。 覆盖汇总：ascend310p **1**、ascend910b **30**、ascend950 **35**；有 UT 的 mc2 算子均已进 SOC。 ### 3. 文件覆盖率豁免（tests/file_cov_exempt.yaml 新增） 按组件配置：dirs 豁免 op_kernel / op_graph，files 豁免纯声明/数据类型头。 仅影响看板文件覆盖率分母；未命中才豁免，命中优先并 WARN。 组件：mc2_training / mc2_moe / mc2_moe_advanced。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/6725 ## 测试 - 对照磁盘算子清单：classify_rule 47/47；有 UT 算子均在 test_soc_config 中。 - 本地验证文件覆盖率豁免（coverage.info + tianti）： - mc2_training：138/146 ≈ **94.52%**（语句 88.47%） - mc2_moe：4/4 = **100%**（语句 90.72%） - mc2_moe_advanced：82/106 ≈ **77.36%**（语句 84.22%） - files 静态检查：无实质函数定义；含构造函数体的头已移出白名单。 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14317	19 days ago