ops-transformer/tests · wuxuening/ops-transformer

cann-robotfeat: vector算子适配ascend960pr(DV122)平台并补齐仓库级960pr支持

Files	Last commit	Last update
mc2_mock_test_frame	docs: add English translations for markdown files Co-authored-by: jenny_xiang<jenny.xiang@huawei.com> # message auto-generated for no-merge-commit merge: !15372 merge docs/add-english-translations into master docs: add English translations for markdown files Created-by: jenny_xiang Commit-by: jenny_xiang Merged-by: cann-robot Description: ## 描述新增仓库Markdown文档英文译稿（第二批，共275个文件），为第一批（已合入）之外的其余全部译稿： - 新增263个英文译稿文件（含上游新增算子 attention/flash_kda_grad 的README与测试说明2篇，及14篇基于最新源文档的增量更新） - 重命名12个中文设计文档为英文名（Xxx算子设计介绍.md → Xxx_design.md，与第一批FFN_design.md策略一致） - 更新7个README中的设计文档引用链接 - 更新.pre-commit-config.yaml中codespell忽略词表本批内全部仓内链接均指向master已有文件（含第一批已合入的42篇译稿），合入后本仓英文文档全部就位、链接完整生效。 ## 关联的Issue 无 ## 测试文档类变更，无需算子测试；已通过链接有效性校验、残留中文/全角标点扫描、EOF换行规范检查，并完成逐篇翻译规范自查与独立语义审查（含支持状态表、限定词、术语、数值符号核对）。 ## 文档更新新增263个英文译稿文件、重命名12个中文设计文档、更新8个现有文件，不修改算子源码。 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!15372	9 days ago
ut	feat: vector算子适配ascend960pr(DV122)平台并补齐仓库级960pr支持 Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !14537 merge feat/dv122-ascend960pr-adaptation into master feat: vector算子适配ascend960pr(DV122)平台并补齐仓库级960pr支持 Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 DV122（Ascend960PR / dav_9202 / Ascend960PR_969A1）vector 算子适配。适配原则：9201 支持的能力 9202 均支持。仓库级适配（原仓库完全缺失 960pr）： - CMakeLists：SOC_VERSION_LIST/ARCH_DIRECTORY_LIST/ASCEND_ALL_COMPUTE_UNIT 增加 ascend960pr(→arch35)；arch92 目录路由由仅 960dt 扩展为 960dt/960pr 均生效（否则单独编 960pr 会走空包并漏编 arch92 kernel） - build.sh：SUPPORT_COMPUTE_UNIT_SHORT/SOC_HARDWARE_MAP（ascend960pr=Ascend960PR_969A1） - cmake/scripts/util：const_var.py SOC_MAP_EXT、opdesc_parser.py、ascendc_impl_build.py 同步补齐注册级适配（15 算子）： - def.cpp AddConfig、op_host/config/ascend960pr 二进制配置、op_host/CMakeLists.txt 编译选项块（COMPUTE_UNIT Ascend960PR_969A1）代码级补齐： - mhc 系列/gather_pa_kv_cache/scatter_pa_kv_cache/rotary fusion pass 等 DAV_9201 平台门禁补齐 DAV_9202 注册级适配（66 算子）： - `CMakeLists.txt`：SUPPORT_COMPUTE_UNIT 追加 "ascend960pr"，SUPPORT_TILING_DIR 按位插入对应 arch35 - `op_host/_def.cpp`：`AICore().AddConfig("ascend960pr", <960dt 同款配置>)` - `op_host/config/ascend960pr/`：二进制配置（_binary.json / _simplified_key.ini，复制自 ascend960dt，与 960dt 内容一致） - `op_kernel/CMakeLists.txt`：COMPUTE_UNITS 追加 ascend960pr（arch92 kernel 入口同步生效） - `scripts/kernel/binary_config/ascendc_config.json`：compute_units 与 compile_options 补齐代码级补齐（9201 → 9201\|\|9202）： - tiling/aclnn/infershape/fusion_pass/kernel 中 `NpuArch::DAV_9201`、`__NPU_ARCH__ == 9201`、`"Ascend960DT"` 等 960 平台门禁补齐 `DAV_9202` / `9202` / `"Ascend960PR"` - 覆盖 concat/tanh_grad/slice/strided_slice/expand/tensor_equal/lin_space/range 等的 tiling/aclnn/graph_infer/fusion_pass 平台门禁（家族特性判定依据：gather_v2 适配提交中 isAscend96_ = DAV_9201\|\|DAV_9202、unsorted_segment_sum 注释"ascend960dt/ascend960pr(DAV_9201/DAV_9202) 平台判定，用于 960 专属特性(ScatterDataCopy 等)的运行时开关"） ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/7300 <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试已通过冒烟、UT、ST测试。 <!--描述进行了哪些测试来验证你的改动。--> - CANN 9.3.0 工具链 `--soc=ascend960pr` 构建 19 个抽样算子（覆盖全部修改类型）：宿主侧（def/tiling/infershape/aclnn）100% 编译通过，0 错误 - 构建日志确认正确消费新增的 `config/ascend960pr/*_binary.json` - `--soc=ascend960dt` 同算子集构建行为一致，无回归 - 一致性审计：范围内 960dt-without-960pr 注册缺口 0；修改过的 CMakeLists SUPPORT_COMPUTE_UNIT/TILING_DIR 位置对齐 0 问题；ascendc_config.json 语法有效 - 注：opc 二进制生成阶段因当前工具链缺 Ascend960PR_969A1 平台数据无法本地执行，需在 CI（含 960PR 平台数据的工具链）完成二进制编译与上板验证 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-transformer!14537	5 days ago
compile_scope_whitelist.yaml	ci(compile): 编译范围推导支持暂缓编译条目（impact空=自身与闭包均不编），common/3rd 暂不触发下游 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !13631 merge moonep_4 into master ci(compile): 编译范围推导支持暂缓编译条目（impact空=自身与闭包均不编），common/3rd 暂不触发下游 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: 关联Issue https://gitcode.com/cann/ops-transformer/issues/5732（编译范围推导机制，前置 PR https://gitcode.com/cann/ops-transformer/pull/13100） ## 描述 `--PR_COMPILE` 编译范围推导（cmake/scripts/parse_compile_scope.py）机制扩展，并在 tests/compile_scope_whitelist.yaml 登记 3 条暂缓编译条目。 ### 1. 暂缓编译条目（impact 为空）白名单条目 `impact: []` 语义为"暂缓编译"： - 直接改动该算子：不进入编译清单； - 其他算子变更：depends 反向闭包同样不附带该算子（新增 suppressed 集合，从闭包结果中剔除）。本次登记 3 条（owner 要求暂缓编译，恢复时删除对应条目即可）： - attention/fused_infer_attention_score（soc: ascend910b/910_93/mc62/950/960dt） - mc2/mega_moe（soc: ascend950/910_93/910b） - mc2/matmul_all_reduce（soc: ascend950/910b/310p） ### 2. common/3rd 暂不触发下游域内 common/3rd 共享键变更暂不触发下游编译（当前仅验证算子间互相触发，后续恢复）。 ### 3. 边界 - 暂缓条目仅影响 kernel 编译范围，UT 不受影响； - experimental 变体与主线同 key，同样被暂缓条目覆盖。 ## 测试 - pre-commit 全绿（含 compile-scope-whitelist-check，21 entries）； - 推导用例：3 个暂缓算子直接变更 @950/@910b → 空清单（build.sh exit 200 跳过）；mc2/common 变更 → 空清单；attention/prompt_flash_attention 变更 @910b → 闭包含 incre_flash_attention、不含 fused_infer_attention_score（暂缓生效）；flash_attn 白名单条目不受影响（@950 → flash_attn）。 See merge request: cann/ops-transformer!13631	26 days ago
file_cov_exempt.yaml	feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Co-authored-by: mutex_lock<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !14317 merge ut_cov into master feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Created-by: mutex_lock Commit-by: mutex_lock Merged-by: cann-robot Description: ## 描述补齐 mc2 算子看板责任田与 UT SOC 看护，并新增文件覆盖率豁免名单，支撑看板文件覆盖率统计与 CI 按变更触发正确芯片 UT。 ### 1. 责任田（classify_rule.yaml）本次补齐相对补齐前，以下算子新写入责任田（✓ 表示本次写入该组）： \| 算子 \| mc2_training \| mc2_moe \| mc2_moe_advanced \| mc2_inference \| \|------\|:------------:\|:-------:\|:----------------:\|:-------------:\| \| allto_all_matmul_v2 \| ✓ \| \| \| \| \| all_gather_matmul_v3 \| ✓ \| \| \| ✓ \| \| matmul_all_reduce_add_rms_norm \| ✓ \| \| \| ✓ \| \| inplace_matmul_all_reduce_add_rms_norm \| ✓ \| \| \| ✓ \| \| attention_to_ffn_v2 \| \| \| \| ✓ \| \| ffn_to_attention_v2 \| \| \| \| ✓ \| 补齐后：磁盘全部 47 个 mc2 算子均已在责任田中（含 `tools` / `moe_ep_` / `engram_` 等既有条目）。 ### 2. UT SOC（test_soc_config.yaml）本次补齐 / 重铺划分规则（参考 `quant_grouped_mat_mul_allto_allv`）： 1. 优先 `op_host/op_tiling`：`arch35`→`ascend950`，`arch22`→`ascend910b`，两边都有→两边都挂 2. 无 tiling arch：回退 `op_kernel/arch22\|arch35` 3. 仍无：回退 `op_host/config/<soc>/`（`ascend910_93` 折叠进 `ascend910b`） 4. 写 `mc2/<op>/op_host`，若存在再写 `tests/ut/op_host` 本次新进入 SOC 的算子及对应芯片： \| 算子 \| ascend310p \| ascend910b \| ascend950 \| 判定依据（摘要） \| \|------\|:----------:\|:----------:\|:---------:\|------------------\| \| all_gather_matmul_v3 \| \| \| ✓ \| tiling arch35 \| \| allto_all_matmul_v2 \| \| \| ✓ \| tiling arch35 \| \| quant_grouped_mat_mul_allto_allv \| \| \| ✓ \| tiling arch35 \| \| distribute_barrier_extend \| \| \| ✓ \| kernel arch35 \| \| engram_fetch \| \| \| ✓ \| tiling arch35 \| \| engram_fetch_grad \| \| \| ✓ \| tiling arch35 \| \| engram_fetch_wait \| \| \| ✓ \| tiling arch35（暂无 UT） \| \| moe_distribute_combine_v3 \| \| ✓ \| ✓ \| tiling arch22+arch35 \| \| moe_distribute_dispatch_v3 \| \| ✓ \| ✓ \| tiling arch22+arch35 \| \| attention_to_ffn_v2 \| \| \| ✓ \| kernel arch35 \| \| ffn_to_attention_v2 \| \| \| ✓ \| kernel arch35 \| 责任田本次补齐、但 SOC 此前已有映射的算子： \| 算子 \| 责任田 \| 当前 SOC \| \|------\|--------\|----------\| \| matmul_all_reduce_add_rms_norm \| training + inference \| ascend910b \| \| inplace_matmul_all_reduce_add_rms_norm \| training + inference \| ascend910b \| 按规则重铺后，SOC 归属调整的既有算子： \| 算子 \| 调整前 \| 调整后 \| \|------\|--------\|--------\| \| all_gather_matmul \| 910b \| 910b + 950 \| \| distribute_barrier \| 910b \| 910b + 950 \| \| matmul_reduce_scatter \| 910b \| 910b + 950 \| \| moe_distribute_combine_setup / teardown \| 950 \| 910b + 950 \| \| moe_distribute_dispatch_setup / teardown \| 950 \| 910b + 950 \| \| quant_all_reduce \| 910b + 950 \| 950 \| \| quant_reduce_scatter \| 910b + 950 \| 950 \| 未挂 SOC（无 UT，且无 arch/config 可判定）：`moe_ep_combine` / `_epilogue`、`moe_ep_dispatch` / `_epilogue`、`tools`。覆盖汇总：ascend310p 1、ascend910b 30、ascend950 35；有 UT 的 mc2 算子均已进 SOC。 ### 3. 文件覆盖率豁免（tests/file_cov_exempt.yaml 新增）按组件配置：`dirs` 豁免 `op_kernel` / `op_graph`，`files` 豁免纯声明/数据类型头。仅影响看板文件覆盖率分母；未命中才豁免，命中优先并 WARN。组件：`mc2_training` / `mc2_moe` / `mc2_moe_advanced`。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/6725 ## 测试 - 对照磁盘算子清单：`classify_rule` 47/47；有 UT 算子均在 `test_soc_config` 中。 - 本地验证文件覆盖率豁免（`coverage.info` + tianti）： - `mc2_training`：138/146 ≈ 94.52%（语句 88.47%） - `mc2_moe`：4/4 = 100%（语句 90.72%） - `mc2_moe_advanced`：82/106 ≈ 77.36%（语句 84.22%） - `files` 静态检查：无实质函数定义；含构造函数体的头已移出白名单。 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14317	20 days ago
requirements.txt	添加pybind11依赖声明 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !9952 merge add_module into master 添加pybind11依赖声明 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 - requirements.txt中增加pybind11依赖声明 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4283 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!9952	3 months ago
test_config.yaml	feature/text_gated_residual_grad_pipeline_v2 Co-authored-by: azyuli<zhengyuli1@huawei.com> # message auto-generated for no-merge-commit merge: !15084 merge feature/text_gated_residual_grad_pipeline_v2 into master feature/text_gated_residual_grad_pipeline_v2 Created-by: azyuli Commit-by: azyuli Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 新增text_gated_residual_grad算子 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> 关联Issue [#7267](https://gitcode.com/cann/ops-transformer/issues/7267) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!15084	6 days ago
test_soc_config.yaml	feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Co-authored-by: mutex_lock<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !14317 merge ut_cov into master feat(mc2): 补齐责任田/UT SOC配置并新增文件覆盖率豁免名单 Created-by: mutex_lock Commit-by: mutex_lock Merged-by: cann-robot Description: ## 描述补齐 mc2 算子看板责任田与 UT SOC 看护，并新增文件覆盖率豁免名单，支撑看板文件覆盖率统计与 CI 按变更触发正确芯片 UT。 ### 1. 责任田（classify_rule.yaml）本次补齐相对补齐前，以下算子新写入责任田（✓ 表示本次写入该组）： \| 算子 \| mc2_training \| mc2_moe \| mc2_moe_advanced \| mc2_inference \| \|------\|:------------:\|:-------:\|:----------------:\|:-------------:\| \| allto_all_matmul_v2 \| ✓ \| \| \| \| \| all_gather_matmul_v3 \| ✓ \| \| \| ✓ \| \| matmul_all_reduce_add_rms_norm \| ✓ \| \| \| ✓ \| \| inplace_matmul_all_reduce_add_rms_norm \| ✓ \| \| \| ✓ \| \| attention_to_ffn_v2 \| \| \| \| ✓ \| \| ffn_to_attention_v2 \| \| \| \| ✓ \| 补齐后：磁盘全部 47 个 mc2 算子均已在责任田中（含 `tools` / `moe_ep_` / `engram_` 等既有条目）。 ### 2. UT SOC（test_soc_config.yaml）本次补齐 / 重铺划分规则（参考 `quant_grouped_mat_mul_allto_allv`）： 1. 优先 `op_host/op_tiling`：`arch35`→`ascend950`，`arch22`→`ascend910b`，两边都有→两边都挂 2. 无 tiling arch：回退 `op_kernel/arch22\|arch35` 3. 仍无：回退 `op_host/config/<soc>/`（`ascend910_93` 折叠进 `ascend910b`） 4. 写 `mc2/<op>/op_host`，若存在再写 `tests/ut/op_host` 本次新进入 SOC 的算子及对应芯片： \| 算子 \| ascend310p \| ascend910b \| ascend950 \| 判定依据（摘要） \| \|------\|:----------:\|:----------:\|:---------:\|------------------\| \| all_gather_matmul_v3 \| \| \| ✓ \| tiling arch35 \| \| allto_all_matmul_v2 \| \| \| ✓ \| tiling arch35 \| \| quant_grouped_mat_mul_allto_allv \| \| \| ✓ \| tiling arch35 \| \| distribute_barrier_extend \| \| \| ✓ \| kernel arch35 \| \| engram_fetch \| \| \| ✓ \| tiling arch35 \| \| engram_fetch_grad \| \| \| ✓ \| tiling arch35 \| \| engram_fetch_wait \| \| \| ✓ \| tiling arch35（暂无 UT） \| \| moe_distribute_combine_v3 \| \| ✓ \| ✓ \| tiling arch22+arch35 \| \| moe_distribute_dispatch_v3 \| \| ✓ \| ✓ \| tiling arch22+arch35 \| \| attention_to_ffn_v2 \| \| \| ✓ \| kernel arch35 \| \| ffn_to_attention_v2 \| \| \| ✓ \| kernel arch35 \| 责任田本次补齐、但 SOC 此前已有映射的算子： \| 算子 \| 责任田 \| 当前 SOC \| \|------\|--------\|----------\| \| matmul_all_reduce_add_rms_norm \| training + inference \| ascend910b \| \| inplace_matmul_all_reduce_add_rms_norm \| training + inference \| ascend910b \| 按规则重铺后，SOC 归属调整的既有算子： \| 算子 \| 调整前 \| 调整后 \| \|------\|--------\|--------\| \| all_gather_matmul \| 910b \| 910b + 950 \| \| distribute_barrier \| 910b \| 910b + 950 \| \| matmul_reduce_scatter \| 910b \| 910b + 950 \| \| moe_distribute_combine_setup / teardown \| 950 \| 910b + 950 \| \| moe_distribute_dispatch_setup / teardown \| 950 \| 910b + 950 \| \| quant_all_reduce \| 910b + 950 \| 950 \| \| quant_reduce_scatter \| 910b + 950 \| 950 \| 未挂 SOC（无 UT，且无 arch/config 可判定）：`moe_ep_combine` / `_epilogue`、`moe_ep_dispatch` / `_epilogue`、`tools`。覆盖汇总：ascend310p 1、ascend910b 30、ascend950 35；有 UT 的 mc2 算子均已进 SOC。 ### 3. 文件覆盖率豁免（tests/file_cov_exempt.yaml 新增）按组件配置：`dirs` 豁免 `op_kernel` / `op_graph`，`files` 豁免纯声明/数据类型头。仅影响看板文件覆盖率分母；未命中才豁免，命中优先并 WARN。组件：`mc2_training` / `mc2_moe` / `mc2_moe_advanced`。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/6725 ## 测试 - 对照磁盘算子清单：`classify_rule` 47/47；有 UT 算子均在 `test_soc_config` 中。 - 本地验证文件覆盖率豁免（`coverage.info` + tianti）： - `mc2_training`：138/146 ≈ 94.52%（语句 88.47%） - `mc2_moe`：4/4 = 100%（语句 90.72%） - `mc2_moe_advanced`：82/106 ≈ 77.36%（语句 84.22%） - `files` 静态检查：无实质函数定义；含构造函数体的头已移出白名单。 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!14317	20 days ago