本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
| Files | Last commit | Last update |
|---|---|---|
aciton增加增量逻辑 Co-authored-by: cui_jiahao<cuijiahao5@h-partners.com> # message auto-generated for no-merge-commit merge: !10199 merge master into master aciton增加增量逻辑 Created-by: cui_jiahao Commit-by: cui_jiahao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10199 | 2 months ago | |
通过gitmodules引入third_party/catlass Co-authored-by: longjihui<longjihui@huawei.com> # message auto-generated for no-merge-commit merge: !1765 merge master into master 通过gitmodules引入third_party/catlass Created-by: longjihui Commit-by: longjihui Merged-by: cann-robot Description: ## 描述 新增.gitmodules文件,引入第三方库catlass,分支为v1.3.1-notla ## 关联的Issue 不涉及 ## 测试 仅引入三方仓,使用方式暂不确定,无需测试 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:新引入三方仓catlass See merge request: cann/ops-transformer!1765 | 7 months ago | |
[SectionStreamK] 支持S1G不合轴和KV不同Dim Co-authored-by: ChengjiaWu<wuchengjia1@h-partners.com> # message auto-generated for no-merge-commit merge: !10563 merge master into master [SectionStreamK] 支持S1G不合轴和KV不同Dim Created-by: ChengjiaWu Commit-by: ChengjiaWu Merged-by: cann-robot Description: ## 描述 1. Param添加参数OutputLayout表示S1G是否合轴,默认合轴BN2_S1G。 修改输出参数名BN2为BN,S1G为M,修改涉及使用到SectionStreamK的METADATA算子。 METADATA算子显式设置分核OutputLayout 2. BaseInfo修改原参数headDim为headDimQk,添加参数headDimV。 headDim_设置到headDimQk核headDimV上。修改涉及使用到SectionStreamK的METADATA算子。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> Issue [#4559](https://gitcode.com/cann/ops-transformer/issues/4559) Issue [#4559](https://gitcode.com/cann/ops-transformer/issues/4560) Issue [#4418](https://gitcode.com/cann/ops-transformer/issues/4418) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10563 | 2 months ago | |
fix: 修复cmake升级后tikicpulib ALIAS target重复创建导致ophost_test编译失败 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !10482 merge fix-issue-4487 into master fix: 修复cmake升级后tikicpulib ALIAS target重复创建导致ophost_test编译失败 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 fix: 修复cmake升级后tikicpulib ALIAS target重复创建导致ophost_test编译失败 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4487 ## 测试 本地验证编译正常 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10482 | 2 months ago | |
add proto extend Co-authored-by: wang-minbo<wangminbo1@hisilicon.com> # message auto-generated for no-merge-commit merge: !10315 merge master into master add proto extend Created-by: wang-minbo Commit-by: wang-minbo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000-->https://gitcode.com/cann/ops-transformer/issues/4459 <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10315 | 2 months ago | |
docs: 精简quick_install快速安装文档中master版本安装步骤 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !10637 merge fix_2 into master docs: 精简quick_install快速安装文档中master版本安装步骤 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: https://gitcode.com/cann/ops-transformer/issues/4592 # quick_install 快速安装文档精简改动总结 > 提交: 73381f865 docs: 精简quick_install下载安装步骤 > 变更文件:ops-transformer docs/zh/install/quick_install.md(+18 / -44) ## 1. 背景 原快速安装文档中"手动安装"的**场景1(体验master版本能力或开发)**包含大量冗长细节:驱动安装三步骤(在线 Yum 安装)、toolkit/ops 包的下载链接、安装命令及变量含义说明,步骤多、维护成本高,且与官方安装页面内容重复。 本次精简的目标: - 移除 master 场景下所有重复的安装细节,统一引导用户参考《CANN快速安装》官方页面; - 消除"场景2"中版本选择的措辞歧义。 ## 2. 具体改动 ### 2.1 场景1:master 版本安装(删除 33 行) - **删除**:驱动安装三步骤(产品选择 → 配置用户属组/安装依赖&配源/安装 NPU 驱动 → npu-smi info 验证); - **删除**:CANN 包下载链接(master artifactory 镜像)、toolkit/ops 包安装命令、${cann_version}/${arch}/${soc_name}/${install_path} 四个变量含义说明; - **替换为一句指引**: > 请参考《CANN快速安装》,选择Weekly版本,并根据产品系列、CPU架构、操作系统等下载对应包,最后参考页面提供的命令完成安装。 - 场景名由"体验master版本能力或基于master版本进行开发"改为"**基于CANN weekly版本体验最新master能力或开发**"。 ### 2.2 场景2:稳定版本(措辞澄清) - 场景名由"体验已发布版本能力或基于已发布版本进行开发"改为"**基于CANN 稳定版本体验分支能力或开发**"; - "选择版本"明确为"选择**稳定版本**",标题与正文保持一致,避免歧义。 ### 2.3 顺带修正的格式问题 | 位置 | 修正 | |---|---| | Docker 参数表镜像行 | |请确保 补空格;"**与你**" → "**与您**" | | 下载源码 | \$\{tag\_version\} → ` ${tag_version} | | 安装依赖 | install\_deps.sh → install_deps.sh ;"安装完后,再" → "再";requirements.txt 加反引号 | | 环境验证 | 原行尾注释改为注释行 + 命令行分行方式(toolkit/ops 各两种场景更清晰) | | 环境验证说明 | \$\{arch\} → ${arch} ` | ## 3. 改动效果 - 手动安装章节更聚焦:安装软件部分每个场景各只有一句官方页面指引,后续的"安装基础依赖"、"环境验证"、"环境变量配置"仍然保留,逻辑更清晰; - 安装细节的唯一事实源收敛到《CANN快速安装》官方页面,避免文档与页面不同步。 ## 4. 验证 纯文档变更,无代码逻辑改动,无需测试。已通过 OAT 合规检查。 ## 5. 后续注意 - CANN weekly 版本与 master 分支代码配套,下载源码时需与所选版本对应(README 已有版本配套说明); - 若官方《CANN快速安装》页面结构调整,本指引中的链接与措辞需同步更新。 See merge request: cann/ops-transformer!10637 | 2 months ago | |
安装重名头文件整改:common.h Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10537 merge clear_repeat_h_comm into master 安装重名头文件整改:common.h Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 ** common.h / moe_common.h / moe_v2_common.h 跨算子同名整改**,消除安装包内跨算子同名头冲突。 **原因**: **common.h(13 份)**、**moe_common.h(5 份)**、**moe_v2_common.h(7 份)** 属安装规则 **3.9**(仓内非对外、不同算子/组件目录拷贝同名头),且口径为「同名不同实现亦改名」。权威 common/include/op_kernel/common.h 与 mc2/common/op_kernel/moe_distribute_base.h **保留原名**。 **方法**:低风险只改次要副本——各算子/组件侧 common.h / moe_common.h / moe_v2_common.h / setup 侧 moe_distribute_base.h 加算子或组件前缀(如 agm_v2_、matmul_all_reduce_、moe_init_routing_、mega_moe_、setup_ 等);同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则 | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 | | 权威 common | common/include/op_kernel/common.h | 否 | 保留原名 | | 权威 mc2 base | mc2/common/op_kernel/moe_distribute_base.h | 否 | 保留原名(v2/combine 等仍 #include 此路径) | ### 范围与结果 | 项 | 说明 | |----|------| | 重命名组数 | **26** | | 涉及域 | attention(scatter_pa / sfag / sfmg)、examples fkle、mc2(agm_v2 / matmul_all_reduce / mega_moe / dispatch setup/teardown/v2、mhc tiling)、moe(gating / init_routing / token_permute 系列) | | 附带修复 | dispatch setup base/common 映射;teardown 跨组件引用;v2 arch35 a5_ccu 裸 include;v3/combine_v3 apt 依赖 v2/v2_combine 的 __has_include 多布局路径 | | 变更文件数 | **166** | | 行变更 | +253 / -238 | ### 26 组重命名(旧 → 新) | # | 旧路径 | 新路径 | |--:|--------|--------| | 1 | attention/scatter_pa_kv_cache/op_kernel/arch35/common.h | attention/scatter_pa_kv_cache/op_kernel/arch35/scatter_pa_kv_cache_arch35_common.h | | 2 | attention/sparse_flash_attention_grad/op_kernel/arch35/common.h | attention/sparse_flash_attention_grad/op_kernel/arch35/sparse_flash_attention_grad_arch35_common.h | | 3 | attention/sparse_flash_mla_grad/op_kernel/arch35/common.h | attention/sparse_flash_mla_grad/op_kernel/arch35/sparse_flash_mla_grad_arch35_common.h | | 4 | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/common.h | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/fkle_mdd_v2_common.h | | 5 | mc2/all_gather_matmul_v2/op_kernel/common.h | mc2/all_gather_matmul_v2/op_kernel/agm_v2_common.h | | 6 | mc2/matmul_all_reduce/op_kernel/common.h | mc2/matmul_all_reduce/op_kernel/matmul_all_reduce_common.h | | 7 | mc2/moe_distribute_dispatch_setup/op_kernel/common.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_common.h | | 8 | mc2/moe_distribute_dispatch_v2/op_kernel/common.h | mc2/moe_distribute_dispatch_v2/op_kernel/moe_distribute_dispatch_v2_common.h | | 9 | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/common.h | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/mhc_pre_sinkhorn_backward_common.h | | 10 | moe/moe_gating_top_k/op_kernel/arch35/common.h | moe/moe_gating_top_k/op_kernel/arch35/moe_gating_top_k_arch35_common.h | | 11 | moe/moe_gating_top_k/op_kernel/common.h | moe/moe_gating_top_k/op_kernel/moe_gating_top_k_common.h | | 12 | moe/moe_gating_top_k_backward/op_kernel/arch35/common.h | moe/moe_gating_top_k_backward/op_kernel/arch35/moe_gating_top_k_backward_arch35_common.h | | 13 | moe/moe_gating_top_k_backward/op_kernel/common.h | moe/moe_gating_top_k_backward/op_kernel/moe_gating_top_k_backward_common.h | | 14 | moe/moe_init_routing/op_kernel/moe_common.h | moe/moe_init_routing/op_kernel/moe_init_routing_common.h | | 15 | moe/moe_init_routing/op_kernel/arch35/moe_common.h | moe/moe_init_routing/op_kernel/arch35/moe_init_routing_arch35_common.h | | 16 | moe/moe_token_permute/op_kernel/moe_common.h | moe/moe_token_permute/op_kernel/moe_token_permute_common.h | | 17 | moe/moe_token_permute_with_ep/op_kernel/moe_common.h | moe/moe_token_permute_with_ep/op_kernel/moe_token_permute_with_ep_common.h | | 18 | moe/moe_token_permute_with_routing_map/op_kernel/moe_common.h | moe/moe_token_permute_with_routing_map/op_kernel/moe_token_permute_with_routing_map_common.h | | 19 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/mega_moe_moe_v2_common.h | | 20 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/mega_moe_quant_moe_v2_common.h | | 21 | moe/moe_init_routing_v2/op_kernel/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/moe_init_routing_v2_common.h | | 22 | moe/moe_init_routing_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/arch35/moe_init_routing_v2_arch35_common.h | | 23 | moe/moe_init_routing_quant_v2/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/inner/moe_init_routing_quant_v2_pkg_inner_common.h | | 24 | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_init_routing_quant_v2_arch35_common.h | | 25 | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_init_routing_quant_v2_inner_common.h | | 26 | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_base.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_base.h | ### 命名约定 | 场景 | 约定 | |------|------| | all_gather_matmul_v2 | agm_v2_* | | matmul_all_reduce | matmul_all_reduce_common.h | | mega_moe 内 moe_v2 | mega_moe_* / mega_moe_quant_* | | moe 算子 | moe_<op>_common.h、arch35 加 _arch35_common | | dispatch setup | setup_base.h / setup_common.h(与 mc2/common 权威 base 区分) | | include guard | 与文件名一致(如 MOE_DISTRIBUTE_DISPATCH_V2_COMMON_H) | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10537 | 2 months ago | |
[SectionStreamK] 支持S1G不合轴和KV不同Dim Co-authored-by: ChengjiaWu<wuchengjia1@h-partners.com> # message auto-generated for no-merge-commit merge: !10563 merge master into master [SectionStreamK] 支持S1G不合轴和KV不同Dim Created-by: ChengjiaWu Commit-by: ChengjiaWu Merged-by: cann-robot Description: ## 描述 1. Param添加参数OutputLayout表示S1G是否合轴,默认合轴BN2_S1G。 修改输出参数名BN2为BN,S1G为M,修改涉及使用到SectionStreamK的METADATA算子。 METADATA算子显式设置分核OutputLayout 2. BaseInfo修改原参数headDim为headDimQk,添加参数headDimV。 headDim_设置到headDimQk核headDimV上。修改涉及使用到SectionStreamK的METADATA算子。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> Issue [#4559](https://gitcode.com/cann/ops-transformer/issues/4559) Issue [#4559](https://gitcode.com/cann/ops-transformer/issues/4560) Issue [#4418](https://gitcode.com/cann/ops-transformer/issues/4418) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10563 | 2 months ago | |
迁移 AttentionWorkerScheduler/FfnWorkerScheduler 的 rt2 infershape 并补充 UT Co-authored-by: ayuemoon<15802951036@163.com> # message auto-generated for no-merge-commit merge: !10168 merge feat/worker-scheduler-infershape into master 迁移 AttentionWorkerScheduler/FfnWorkerScheduler 的 rt2 infershape 并补充 UT Created-by: ayuemoon Commit-by: ayuemoon Merged-by: cann-robot Description: ## 描述 将 canndev 内置算子包 ops/built-in/op_proto/runtime/ 下的 AttentionWorkerScheduler 与 FfnWorkerScheduler rt2 infershape 实现迁移到本仓库,补齐两个算子在图模式(rt2/gert)下的 shape 和 dtype 推导能力。 两个算子均为单输入、单输出的 in-place 调度算子,输入/输出 schedule_context 为 INT8、ND、1 维 shape {1024}。本次实现: - 新增 attention_worker_scheduler_infershape.cpp 和 ffn_worker_scheduler_infershape.cpp - shape 推导复用 Ops::Base::InferShape4Elewise,使输出 shape 与输入一致 - dtype 推导读取输入 dtype 并设置到输出,通过 IMPL_OP_INFERSHAPE 完成注册 - 新增 AttentionWorkerScheduler、FfnWorkerScheduler 的 shape/dtype UT - 补充两算子的 UT CMake 入口,在测试模式下纳入 tests 子目录并注册 infershape 测试源 - 调整 op_host UT 注册,避免为没有 tiling 用例的目录创建空 tiling target - 使用 ${CMAKE_CURRENT_SOURCE_DIR} 统一 FFN UT 目录基准,确保 op_host/op_api 子目录和测试源能够正确识别 ## 关联的Issue #4404 ## 测试 在 DevEnv(aarch64,CANN 8.5.2)执行 op_host UT: bash bash build.sh -u --ophost --ops=attention_worker_scheduler BUILD_PATH="$(pwd)/build" cmake --build build --target transformer_op_host_ut -j"$(nproc)" - AttentionWorkerScheduler infershape:shape 推导用例通过({1024} -> {1024}) - AttentionWorkerScheduler inferdtype:INT8 输入到 INT8 输出用例通过 - 结果:2 tests from 1 test suite,[ PASSED ] 2 tests. bash bash build.sh -u --ophost --ops=ffn_worker_scheduler BUILD_PATH="$(pwd)/build" cmake --build build --target transformer_op_host_ut -j"$(nproc)" - FfnWorkerScheduler infershape:shape 推导用例通过({1024} -> {1024}) - FfnWorkerScheduler inferdtype:INT8 输入到 INT8 输出用例通过 - 结果:2 tests from 1 test suite,[ PASSED ] 2 tests. ## 文档更新 无。未修改算子对外接口或使用方式。 ## 类型标签 - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [x] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10168 | 2 months ago | |
Gmm Code CleanUp Co-authored-by: lijiamin2025<lijiamin24@huawei.com> # message auto-generated for no-merge-commit merge: !10455 merge CleanCode into master Gmm Code CleanUp Created-by: lijiamin2025 Commit-by: lijiamin2025 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1.修改codeCheck相关问题 2.门禁触发的pre-Commit修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4508 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10455 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
恢复A5 FullMeshV2 原分核公式 Co-authored-by: zhong-zixin<zhongzixin@huawei.com> # message auto-generated for no-merge-commit merge: !10552 merge no_all_core_cnt into master 恢复A5 FullMeshV2 原分核公式 Created-by: zhong-zixin Commit-by: zhong-zixin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 恢复原 A5 FullmeshV2 的分核方式 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> 关联Issue #4595 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 本地验证,二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [x] ❓ 其他,请描述:存在某些多p场景性能劣化 # PR #10552 代码检视报告 ## PR 概述 | 项目 | 内容 | |------|------| | 标题 | 恢复A5 FullMeshV2 原分核公式 | | 作者 | zhong-zixin | | 分支 | no_all_core_cnt → master | | 变更量 | 2 files changed, +23 / -52 | | 类型 | 性能回退(撤销优化 commit 2dcd311ea) | ### 变更意图 撤销 commit 2dcd311ea("A5 FullMeshV2全核分摊专家计数并减少CumSum控制核")引入的 useAllCoreCount_ 小 BS 优化路径。该优化在 axisBS < 128 时让全部 AIV 核参与专家计数,但在某些多 P 场景下导致性能劣化。本 PR 恢复为仅由 CumSum 核(最多 8 核)负责专家计数的原始策略。 ### 涉及文件 1. mc2/moe_distribute_dispatch_v2/op_host/op_tiling/moe_distribute_dispatch_v2_tiling.cpp (+11 / -11) 2. mc2/moe_distribute_dispatch_v2/op_kernel/arch35/moe_distribute_dispatch_v2_a5_full_mesh.h (+12 / -41) --- ## 变更分析 ### 1. Kernel 侧 (moe_distribute_dispatch_v2_a5_full_mesh.h) **移除的内容:** - useAllCoreCount_ 成员变量及 ALL_CORE_COUNT_BS_THRESHOLD、CUMSUM_STATUS_PER_CORE 常量 - CalAndSendCnt() 分发函数(内联到 CalCumSum() 中) - 发送路径中 if (useAllCoreCount_) 块(初始化 statusBuf_ 并调用计数) **恢复的内容:** - aivUsedCumSum_ = totalExpertNum_ / 16 始终使用该公式(不再分小 BS / 大 BS 两条路径) - CalAndSendCntByRankAndExpert 和 SendExpertCntRange 恢复为**绝对索引** expertId * UB_ALIGN_DATA_COUNT(与原始 CalAndSendCntByRank 一致) - CalAndSendCntByExp 保持**相对索引** (curExpertId - startExpertId) * 8(与原始一致) **验证结论:索引变更正确。** 通过对比 commit 2dcd311ea 之前的原始代码确认: - 原始 CalAndSendCntByExp 使用相对索引 → PR 保持相对索引 ✓ - 原始 CalAndSendCntByRank 使用绝对索引 → PR 的 CalAndSendCntByRankAndExpert + SendExpertCntRange 恢复为绝对索引 ✓ - 两个函数的写/读索引各自内部一致,无越界风险 - statusBuf_ 在 CalCumSum()(line 1201)中初始化后再使用,无 use-before-init ### 2. Tiling 侧 (moe_distribute_dispatch_v2_tiling.cpp) **变更:** - aivUsedCumSum 从硬编码 A5_CUMSUM_MAX_CORE_NUM(8)改为完整公式,与 kernel 侧对齐 - 新增 moeExpertRankNum、moeExpertNumPerRank、rscvStatusNum 计算 - 移除 bs < A5_ALL_CORE_COUNT_BS_THRESHOLD 时的 statusBuf_ UB 预估块(发送路径不再使用 statusBuf_) **验证结论:tiling 与 kernel 公式一致。** 新增的 clamp 逻辑(A5_CUMSUM_MAX_CORE_NUM、rscvStatusNum)与 kernel 侧完全对应,UB 预估与实际 kernel 行为一致。 --- ## 未发现问题的方面 | 检查项 | 结论 | |--------|------| | 索引变更(相对→绝对) | 正确,与原始 CalAndSendCntByRank 一致,写/读位置匹配 | | statusBuf_ 初始化时序 | 正确,在 CalCumSum() 中先 InitBuffer 再使用 | | Buffer 大小与索引匹配 | statusCntAlign_ = Ceil(totalExpertNum_, 8) * 8 足以容纳绝对索引 | | 发送路径 statusBuf_ 移除 | 正确,发送核不再做专家计数,UB 预估同步移除 | | Tiling-kernel 公式一致性 | aivUsedCumSum 计算、clamp 逻辑均一致 | | SplitToCore 的 isFront 参数 | 始终传 false,正确对应"仅 CumSum 核计数" | | CalExpertCnt 逻辑 | 与原始内联逻辑完全一致,仅做了函数提取 | | moeExpertNum / moeExpertRankNum 除法 | 安全,API 文档约束 sharedExpertRankNum ∈ [0, epWorldSize),moeExpertRankNum 恒 ≥ 1 | --- ## 总结 本 PR 是对 commit 2dcd311ea 的干净回退,正确恢复了原始的分核策略和索引方式。核心变更(索引从相对恢复为绝对、移除全核计数路径)均与 commit 2dcd311ea 之前的原始代码一致,无功能性 Bug。 **判定:可通过,直接合并。** See merge request: cann/ops-transformer!10552 | 2 months ago | |
MhcPreSinkhorn ascend950支持tnd格式 Co-authored-by: taochangmin<taochangmin@huawei.com> # message auto-generated for no-merge-commit merge: !10272 merge mhc_tnd into master MhcPreSinkhorn ascend950支持tnd格式 Created-by: taochangmin Commit-by: taochangmin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> MhcPreSinkhorn支持tnd格式,原来输入为(b,s,n,d)格式,新增支持(t,n,d) ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4593 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 泛化测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10272 | 2 months ago | |
添加moe_init_routing_v4和moe_re_routing_v2算子的st&标杆 Co-authored-by: cpy_123456<chenpengyi@huawei.com> # message auto-generated for no-merge-commit merge: !10530 merge ut into master 添加moe_init_routing_v4和moe_re_routing_v2算子的st&标杆 Created-by: cpy_123456 Commit-by: cpy_123456 Merged-by: cann-robot Description: ## 描述 添加moe_init_routing_v4和moe_re_routing_v2算子的st&标杆 ## 一、moe_init_routing_v4(25 个用例,全部 PASS) ### 1.1 场景覆盖矩阵 | 维度 | 覆盖值 | 用例数 | |---|---|---| | **输入数据类型 (x)** | int8 | 2 | | | float16 | 7 | | | bfloat16 | 8 | | | float32 | 8 | | **quant_mode** | -1(非量化,DropLess) | 13 | | | 1(动态量化) | 12 | | **expert_tokens_num_type (etnt)** | 1(直方图统计) | 13 | | | 2(key-value 对) | 12 | | **drop_pad_mode** | 0(DropLess 模式) | 25 | | **expert_tokens_num_flag** | True | 25 | | **row_idx_type** | 0(gather) | 7 | | | 1(scatter) | 18 | | **scale 输入** | 有 | 10 | | | 无 | 15 | | **topk_weight 输入** | 有 | 25 | | **expert_num 范围** | 256 ~ 2930 | — | | **active_expert_range 跨度** | 6 ~ 580 | — | ## 二、moe_re_routing_v2(25 个用例,全部 PASS) ### 2.1 场景覆盖矩阵 | 维度 | 覆盖值 | 用例数 | |---|---|---| | **tokens 数据类型** | int8 | 8 | | | float16 | 8 | | | bfloat16 | 9 | | **idx_type** | 0(正向索引,permute_token_idx=src_offset) | 12 | | | 1(反向索引,permute_token_idx=dst_offset) | 13 | | **per_token_scales 输入** | 有 | 12 | | | 无 | 13 | | **expert_topk_weight 输入** | 有 | 25 | | **rank_num(专家并行数)** | 1 | 17 | | | 2 | 3 | | | 3 | 1 | | | 4~5 | 2 | | | 7~52 | 2 | | **expert_num(每 rank 专家数)** | 1 | 17 | | | 2 | 5 | | | 3 | 1 | | | 5~6 | 2 | | **tokens 第二维 (hidden_size)** | 9 ~ 15267 | — | ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 st&标杆通过 ## 文档更新 https://gitcode.com/cann/ops-transformer/issues/4543 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10530 | 2 months ago | |
fix(und_gen_qkv): 补齐 torch schema 默认值与 * 分隔,修正 aclnn/l0op 错误码 Co-authored-by: qianzehong<qianzehong@huawei.com> # message auto-generated for no-merge-commit merge: !10417 merge refactor/und-gen-qkv-golden-testspec into master fix(und_gen_qkv): 补齐 torch schema 默认值与 * 分隔,修正 aclnn/l0op 错误码 Created-by: qianzehong Commit-by: qianzehong Merged-by: cann-robot Description: ## 描述 修 posembedding/und_gen_qkv_rms_norm_rope_cache 的两个存量缺陷。 两个缺陷都是在把该算子的 TTK 测试资产改写成 TestSpec、补齐 E2E(torch) 通路的过程中暴露出来的——E2E 通路一接上,torch 接口的问题当场就崩了;aclnn 那条则是测试检视提出的。测试资产的改写也在本 PR 里,见第三节。 ### 一、torch 接口:schema 未声明默认值,照文档原型省参数直接报错(#4569) 文档原型把 5 个属性写成带默认值的可选参数,schema 里却没声明,用户照着写会崩: RuntimeError: und_gen_qkv_rms_norm_rope_cache() is missing value for argument 'num_heads_q'. 根因:顶层 cann_ops_transformer.<op> 拿到的是 torch.ops 的 OpOverloadPacket(__init__.py 里 hasattr(_op_namespace, _name): continue 会跳过 wrapper 的 re-export),**wrapper def 上的默认值在这条路径上不生效,默认值必须写进 schema**。 按 torch_extension_guidelines.md 修:schema 补默认值(第 127 行)、补 * 分隔(第 126 行,改前 GE converter 已按 keyword-only 写、与 schema 不一致,违反第 245 行),并同步 schema / Meta / dispatcher / 对外函数 / 文档原型的七处一致性(第 237、286 行)。对外函数补类型标注与完整 docstring,converter_<op> 按第 68 行改名 convert_<op>。 ### 二、aclnn / l0op:错误路径的错误码与失败原因不符(#4570) | 位置 | 改前 | 改后 | |---|---|---| | l0op::Contiguous 判空 ×10 | ACLNN_ERR_INNER_CREATE_EXECUTOR(561101) | ACLNN_ERR_INNER_NULLPTR(561103) | | INFER_SHAPE 失败 | OP_LOGE(ACLNN_ERR_PARAM_INVALID)(161002) | OP_CHECK_INFERSHAPE 宏(561001) | | ADD_TO_LAUNCHER_LIST_AICORE 失败 | 同上 | OP_CHECK_ADD_TO_LAUNCHER_LIST_AICORE 宏(561118) | 561101 语义是「创建 executor 失败」,只有 CREATE_EXECUTOR() 那一处该用,已保留不动;161xxx 是用户参数错误段,而 infershape / launcher 失败属内部错误。第 2、3 行换成 CANN 自带的宏而非就地改常量,让码由宏保证。**只改日志码,return ret 一直返回真实 status,aclnn 对外返回值零变化。** 附带:.clang-format 于上游 bc1cd7f5a 改为 PointerAlignment: Right,pre-commit 钩子会重排被改动的整个文件,故这两个 cpp 带指针对齐的格式变更,非逻辑改动。 ### 三、测试资产改写(本 PR 的主体 diff) tests/assets/golden.py 从 __input__ / __golden__ 两张 dict 注册表改成 TTK TestSpec,kernel / aclnn / **E2E(torch)** 三条通路各一个 spec 类;判据(cross_check + L1)从命令行 --compare close 搬进 spec,两份 ST CSV 里已失效的容差列删掉;用例集与 build_case 搬到 examples/。 判据换 cross_check 是必需的:本算子输出里有 RoPE 两项相消到 0、NPU 给 2^-23 的元素,TTK 默认的 stat_rel_err(FLOOR 固定 1e-7,与 dtype/量级无关)在这种输出上实测零区分力。 ## 关联的Issue - #4569 —— torch schema 未声明可选参数默认值 - #4570 —— aclnn/l0op 错误路径错误码 ## 测试 环境:Ascend950PR_9579 / CANN 9.2.0 / aarch64,算子包本仓现编现装,torch 扩展 bash build.sh --torch_extension 出 wheel 后安装(已核对 wheel 内接口文件与仓内源码 md5 一致)。 | 项 | 结果 | |---|---| | ttk kernel / ttk aclnn / ttk e2e(均不带 --compare) | 各 **33/33 PASS**,合计 396 条 cross_check 判定,mare 余量 2.5x | | examples/test_torch_*.py 上板 | 接口连通性 **15/15 PASS**、数值精度 **15/15 PASS** | | 文档示例段逐字提取(顶层写法) | **PASS** torch.Size([8, 8, 128]) | | 按修后的原型省掉 5 个属性 | **PASS**,k_cache 已写入(改前此处报错,即 #4569) | | Meta / FakeTensorMode(kwargs / 省属性两种) | 均 **PASS** | | 负向:属性按位置传 | 被 schema 拒 —— takes 12 positional argument(s) but 17 was/were given | | --opapi_test --ops=und_gen_qkv_rms_norm_rope_cache --soc=ascend950 | **4/4 PASSED** | | pre-commit(clang-format / codespell / OAT) | 全 **Passed** | **重构等价性**:用 upstream/master 旧实现与新实现喂同一份输入,kernel 5 例 + aclnn 6 例的输入与三个输出**全部逐 bit 相同**。 **区分力自检**:注入「cache 写反 / 尾块漏算 / 整 head 未写 / 单元素错 5%」四类缺陷,mare 分别为 100231 / 59420 / 256 / 13.3,全部判挂。 **兼容性**:本 PR 删掉 __input__ / __golden__,需要 ops-test-kit ≥ 71aefb5(2026-06-23)。 ## 文档更新 docs/zh/und_gen_qkv_rms_norm_rope_cache.md 只改一行:函数原型插入 * 分隔。参数说明表不动——那 5 个属性本就标着「可选 + 默认值」,语义没变;补上 schema 默认值后,原型承诺的可选入参语义才真正成立。 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10417 | 2 months ago | |
feat(graph): op_graph proto 聚合支持 guard 宏捕获 Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !10286 merge feat/merge-proto-guard into master feat(graph): op_graph proto 聚合支持 guard 宏捕获 Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 ops_proto_transformer.h 聚合头生成脚本 merge_proto.py 旧正则只提取 REG_OP(...) ... OP_END_FACTORY_REG(...) 块,丢弃外层 #ifndef/#define/#endif 宏守卫,导致带 OPS_PROTO_DEF_ 宏的 proto.h 在聚合后宏丢失。同步 ops-nn 的正则逻辑修复该问题。 ## 改动 - 新增 attention/recurrent_gated_delta_rule/op_graph/ 目录(recurrent_gated_delta_rule_proto.h + CMakeLists.txt),定义图模式算子注册 - scripts/util/merge_proto.py 升级正则为 OP_DEF_PATTERN:用 guard 命名组捕获 REG_OP 前紧跟的 #ifndef/#define,用条件组 (?(guard)...#endif) 匹配配对 #endif,连同注释整段提取 - 新增 match_op_proto_extend 处理 *_proto_extend.h(一个文件含多个 REG_OP,去重) - merge_op_proto 分支处理 _proto.h 与 _proto_extend.h - 入参去重 list(dict.fromkeys(...)),避免重复 proto 导致聚合头重复定义 ## 关联的Issue #4430 ## 测试 - bash build.sh --pkg --jit 编译出包成功(ascend910b) - 解压 run 包验证 ops_proto_transformer.h:OPS_PROTO_DEF_RECURRENTGATEDDELTARULE 宏已完整进入聚合头(#ifndef → #define → REG_OP → #endif) - 回归验证:无 guard 的 proto.h(chunk_gated_delta_rule、flash_attention_score 等)仍只提取 REG_OP 块,向后兼容 - ruff format / ruff check / py_compile 通过,行宽 ≤120 ## 类型标签 - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10286 | 2 months ago | |
新增 MsaIndexScore 算子 (A2/A3) Co-authored-by: c00943476<chenlyucheng@huawei.com> # message auto-generated for no-merge-commit merge: !9503 merge master into master 新增 MsaIndexScore 算子 (A2/A3) Created-by: oscillated Commit-by: c00943476 Merged-by: cann-robot Description: ## 描述 新增 MsaIndexScore 算子及其接口(A2/A3),改进M3模型中MSA模块的性能。 ## 关联的Issue 关联Issue [#4117](https://gitcode.com/cann/ops-transformer/issues/4117) ## 测试 ### example、torch_extension接口功能自验  ### 输出精度比对 v.s. triton小算子实现  ### 输出性能批跑  ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9503 | 2 months ago | |
fix(und_gen_qkv): 补齐 torch schema 默认值与 * 分隔,修正 aclnn/l0op 错误码 Co-authored-by: qianzehong<qianzehong@huawei.com> # message auto-generated for no-merge-commit merge: !10417 merge refactor/und-gen-qkv-golden-testspec into master fix(und_gen_qkv): 补齐 torch schema 默认值与 * 分隔,修正 aclnn/l0op 错误码 Created-by: qianzehong Commit-by: qianzehong Merged-by: cann-robot Description: ## 描述 修 posembedding/und_gen_qkv_rms_norm_rope_cache 的两个存量缺陷。 两个缺陷都是在把该算子的 TTK 测试资产改写成 TestSpec、补齐 E2E(torch) 通路的过程中暴露出来的——E2E 通路一接上,torch 接口的问题当场就崩了;aclnn 那条则是测试检视提出的。测试资产的改写也在本 PR 里,见第三节。 ### 一、torch 接口:schema 未声明默认值,照文档原型省参数直接报错(#4569) 文档原型把 5 个属性写成带默认值的可选参数,schema 里却没声明,用户照着写会崩: RuntimeError: und_gen_qkv_rms_norm_rope_cache() is missing value for argument 'num_heads_q'. 根因:顶层 cann_ops_transformer.<op> 拿到的是 torch.ops 的 OpOverloadPacket(__init__.py 里 hasattr(_op_namespace, _name): continue 会跳过 wrapper 的 re-export),**wrapper def 上的默认值在这条路径上不生效,默认值必须写进 schema**。 按 torch_extension_guidelines.md 修:schema 补默认值(第 127 行)、补 * 分隔(第 126 行,改前 GE converter 已按 keyword-only 写、与 schema 不一致,违反第 245 行),并同步 schema / Meta / dispatcher / 对外函数 / 文档原型的七处一致性(第 237、286 行)。对外函数补类型标注与完整 docstring,converter_<op> 按第 68 行改名 convert_<op>。 ### 二、aclnn / l0op:错误路径的错误码与失败原因不符(#4570) | 位置 | 改前 | 改后 | |---|---|---| | l0op::Contiguous 判空 ×10 | ACLNN_ERR_INNER_CREATE_EXECUTOR(561101) | ACLNN_ERR_INNER_NULLPTR(561103) | | INFER_SHAPE 失败 | OP_LOGE(ACLNN_ERR_PARAM_INVALID)(161002) | OP_CHECK_INFERSHAPE 宏(561001) | | ADD_TO_LAUNCHER_LIST_AICORE 失败 | 同上 | OP_CHECK_ADD_TO_LAUNCHER_LIST_AICORE 宏(561118) | 561101 语义是「创建 executor 失败」,只有 CREATE_EXECUTOR() 那一处该用,已保留不动;161xxx 是用户参数错误段,而 infershape / launcher 失败属内部错误。第 2、3 行换成 CANN 自带的宏而非就地改常量,让码由宏保证。**只改日志码,return ret 一直返回真实 status,aclnn 对外返回值零变化。** 附带:.clang-format 于上游 bc1cd7f5a 改为 PointerAlignment: Right,pre-commit 钩子会重排被改动的整个文件,故这两个 cpp 带指针对齐的格式变更,非逻辑改动。 ### 三、测试资产改写(本 PR 的主体 diff) tests/assets/golden.py 从 __input__ / __golden__ 两张 dict 注册表改成 TTK TestSpec,kernel / aclnn / **E2E(torch)** 三条通路各一个 spec 类;判据(cross_check + L1)从命令行 --compare close 搬进 spec,两份 ST CSV 里已失效的容差列删掉;用例集与 build_case 搬到 examples/。 判据换 cross_check 是必需的:本算子输出里有 RoPE 两项相消到 0、NPU 给 2^-23 的元素,TTK 默认的 stat_rel_err(FLOOR 固定 1e-7,与 dtype/量级无关)在这种输出上实测零区分力。 ## 关联的Issue - #4569 —— torch schema 未声明可选参数默认值 - #4570 —— aclnn/l0op 错误路径错误码 ## 测试 环境:Ascend950PR_9579 / CANN 9.2.0 / aarch64,算子包本仓现编现装,torch 扩展 bash build.sh --torch_extension 出 wheel 后安装(已核对 wheel 内接口文件与仓内源码 md5 一致)。 | 项 | 结果 | |---|---| | ttk kernel / ttk aclnn / ttk e2e(均不带 --compare) | 各 **33/33 PASS**,合计 396 条 cross_check 判定,mare 余量 2.5x | | examples/test_torch_*.py 上板 | 接口连通性 **15/15 PASS**、数值精度 **15/15 PASS** | | 文档示例段逐字提取(顶层写法) | **PASS** torch.Size([8, 8, 128]) | | 按修后的原型省掉 5 个属性 | **PASS**,k_cache 已写入(改前此处报错,即 #4569) | | Meta / FakeTensorMode(kwargs / 省属性两种) | 均 **PASS** | | 负向:属性按位置传 | 被 schema 拒 —— takes 12 positional argument(s) but 17 was/were given | | --opapi_test --ops=und_gen_qkv_rms_norm_rope_cache --soc=ascend950 | **4/4 PASSED** | | pre-commit(clang-format / codespell / OAT) | 全 **Passed** | **重构等价性**:用 upstream/master 旧实现与新实现喂同一份输入,kernel 5 例 + aclnn 6 例的输入与三个输出**全部逐 bit 相同**。 **区分力自检**:注入「cache 写反 / 尾块漏算 / 整 head 未写 / 单元素错 5%」四类缺陷,mare 分别为 100231 / 59420 / 256 / 13.3,全部判挂。 **兼容性**:本 PR 删掉 __input__ / __golden__,需要 ops-test-kit ≥ 71aefb5(2026-06-23)。 ## 文档更新 docs/zh/und_gen_qkv_rms_norm_rope_cache.md 只改一行:函数原型插入 * 分隔。参数说明表不动——那 5 个属性本就标着「可选 + 默认值」,语义没变;补上 schema 默认值后,原型承诺的可选入参语义才真正成立。 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10417 | 2 months ago | |
pre-commit: set AllowShortFunctionsOnASingleLine to Empty Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !10461 merge fix_2 into master pre-commit: set AllowShortFunctionsOnASingleLine to Empty Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10461 | 2 months ago | |
产品文档png文件名改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9654 merge master into master 产品文档png文件名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9654 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
通过gitmodules引入third_party/catlass Co-authored-by: longjihui<longjihui@huawei.com> # message auto-generated for no-merge-commit merge: !1765 merge master into master 通过gitmodules引入third_party/catlass Created-by: longjihui Commit-by: longjihui Merged-by: cann-robot Description: ## 描述 新增.gitmodules文件,引入第三方库catlass,分支为v1.3.1-notla ## 关联的Issue 不涉及 ## 测试 仅引入三方仓,使用方式暂不确定,无需测试 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:新引入三方仓catlass See merge request: cann/ops-transformer!1765 | 7 months ago | |
aclnnGroupedMatmulWeightNz补充WeightQuantPreProcess接口aclnn资料 Co-authored-by: renzetao<renzetao2@huawei.com> # message auto-generated for no-merge-commit merge: !10251 merge aclnn_example into master aclnnGroupedMatmulWeightNz补充WeightQuantPreProcess接口aclnn资料 Created-by: renzetao Commit-by: renzetao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> aclnnGroupedMatmulWeightNz补充WeightQuantPreProcess接口aclnn资料 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#4412](https://gitcode.com/cann/ops-transformer/issues/4412) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh --run_example 测试通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> gmm/grouped_matmul/docs/aclnnGroupedMatmulWeightNz.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10251 | 2 months ago | |
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !9326 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修改AIDD扫描的核心资料问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3995](https://gitcode.com/cann/ops-transformer/issues/3995) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> torch_api_list.md op_list.md ascend950_op_list.md aclnn返回码.md 互推导关系.md ... ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9326 | 3 months ago | |
算子编译支持指定soc版本和最低cann版本 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !10138 merge compile_check_soc_version into master 算子编译支持指定soc版本和最低cann版本 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 新增require_cann_version可以指定算子编译支持的最低cann版本 指定算子在指定 soc 下的最低版本: require_cann_version(SOC ascend910b MIN_VERSION "9.0.0") 不同 soc 不同版本要求: require_cann_version(SOC ascend950 MIN_VERSION "9.2.0") require_cann_version(SOC ascend910b MIN_VERSION "9.0.0") ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4500 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10138 | 2 months ago | |
产品文档png文件名改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9654 merge master into master 产品文档png文件名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9654 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
pre-commit: 豁免 *.png 文件,支持文档图片上传 Co-authored-by: youzhen5418<664699733@qq.com> # message auto-generated for no-merge-commit merge: !10197 merge png into master pre-commit: 豁免 *.png 文件,支持文档图片上传 Created-by: youzhen5418 Commit-by: youzhen5418 Merged-by: cann-robot Description: ## 描述 在 OAT.xml 的 binaryFileTypePolicyFilter 中新增 *.png 文件豁免,解决提交包含 png 文档配图时被 OAT 判定为"Invalid File Type: binary"而拦截的问题。 改动原因:OAT 合规检查将 png 文件识别为违规二进制文件,导致 pre-commit 失败,无法上传文档配图。png 作为文档图片(非可执行二进制),应在二进制文件检查中豁免。 改动内容:仅 OAT.xml 一个文件,新增一行: <filteritem type="filename" name="*.png" desc="PNG image files for documentation"/> 位于 binaryFileTypePolicyFilter(第 59 行)。 验证:本地用 oat-py 直接扫描 png 文件验证——豁免前 Issues found: 1(Invalid File Type: binary),豁免后 Issues found: 0。许可证头/版权头检查对二进制文件自动跳过,无需额外豁免。 ## 关联的Issue 关联Issue #4382 ## 测试 验证:豁免前报 Invalid File Type: binary,豁免后 Issues found: 0 pre-commit 全部 hook 通过(trailing-whitespace / end-of-file / clang-format / ruff / codespell / OAT) ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10197 | 2 months ago | |
cannsim改名为npusim Co-authored-by: liangbinglong<liangbinglong@huawei.com> # message auto-generated for no-merge-commit merge: !9686 merge master into master cannsim改名为npusim Created-by: liangbinglong Commit-by: liangbinglong Merged-by: cann-robot Description: ## 描述 经TSC评审,cannsim工具正式更名为npusim,相关命令行、资料同步刷新,cannsim作为别名兼容一段时间,需要尽快切换 ## 关联的Issue NA ## 测试 使用最新链接版本测试,相关命令行已经全部更名为npusim ## 文档更新 更新doc下面的调优部分文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9686 | 3 months ago | |
修复文档链接跳转失效问题 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !8061 merge fix_security_md into master 修复文档链接跳转失效问题 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 修复SECURITY.md文档 [A-文件(夹)各场景权限管控推荐最大值] 链接跳转失效问题 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/3373 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!8061 | 4 months ago | |
支持按模板参数编译算子kernel、支持编译入参调试异常与调优参数 Co-authored-by: lidongsheng<lidongsheng43@huawei.com> Co-authored-by: 吴剑飞<wujianfei15@huawei.com> # message auto-generated for no-merge-commit merge: !2170 merge 910_lds into master 支持按模板参数编译算子kernel、支持编译入参调试异常与调优参数 Created-by: qq_46353993 Commit-by: 吴剑飞;lidongsheng Merged-by: cann-robot Description: ## 描述 本次修改支持用户通过build.sh的编译入口传入模板参数--kernel_template_input后按tilingkey编译、传入--bisheng_flags进行调试异常 ## 关联的Issue [支持按模板参数指定编译kernel](https://gitcode.com/cann/ops-transformer/issues/1036) [支持编译入参新增调试异常和调优参数](https://gitcode.com/cann/ops-transformer/issues/1044) ## 测试 二级冒烟、指定模板参数编译并执行测试用例 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-transformer!2170 | 8 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
fix: CI smoke 排除 experimental 目录避免 built-in 算子修改误触发 experimental example Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !10478 merge fix-issue-4484 into master fix: CI smoke 排除 experimental 目录避免 built-in 算子修改误触发 experimental example Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 fix: CI smoke 排除 experimental 目录避免 built-in 算子修改误触发 experimental example ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4484 ## 测试 本地已验证,只修改built-in不会触发 experimental的 example ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10478 | 2 months ago | |
feat(moe_ep_combine): 拆分combine为moe_ep_combine和moe_ep_combine_epilogue Co-authored-by: Shawn Lee<lixi8@huawei.com> # message auto-generated for no-merge-commit merge: !10249 merge master_combine_epilogue_0818 into master feat(moe_ep_combine): 拆分combine为moe_ep_combine和moe_ep_combine_epilogue Created-by: l00858142 Commit-by: l00858142;Shawn Lee Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> moe_ep_combine(发送阶段): - 只保留SendPhaseExpertToToken,发送expert输出到远端rank的HCCL Window - 移除combined_x/combined_topk_weights输出,改为无输出 - kernel entry移除输出GM_ADDR参数 moe_ep_combine_epilogue(接收+归约阶段,新增): - 从原始combine kernel提取RecvPhaseReduce/ProcessTopKToken/WaitDispatch/BuffInit - 输入: context, topk_idx; 输出: combined_x, combined_topk_weights(optional) - 新建op_def/op_api/op_tiling/op_kernel完整工程 - tiling计算combineStateWinOffset/combineDataWinOffset与combine保持一致 elastic_buffer.cpp: - MoeEpCombine改为void(仅发送),MoeEpCombineEpilogue返回tuple(接收+归约) - pybind11注册moe_ep_combine_epilogue elastic_buffer.py: - combine()预分配输出后依次调用moe_ep_combine和moe_ep_combine_epilogue ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10249 | 2 months ago | |
update cmake minimum required to 3.18.4 Co-authored-by: poorwill<wangbing110@huawei.com> # message auto-generated for no-merge-commit merge: !9634 merge master into master update cmake minimum required to 3.18.4 Created-by: wangbing110 Commit-by: poorwill Merged-by: cann-robot Description: update cmake minimum required to 3.18.4 See merge request: cann/ops-transformer!9634 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
check_compile_version Co-authored-by: 吴剑飞<wujianfei15@huawei.com> # message auto-generated for no-merge-commit merge: !2085 merge check_version into master check_compile_version Created-by: hid81635372 Commit-by: 吴剑飞 Merged-by: cann-robot Description: ## 描述 工程上支持在编译时对子包版本进行校验 ## 关联的Issue https://gitcode.com/cann/ops-transformer/pull/2085 ## 测试 功能上可以在子包版本低于构建依赖时进行告警,RDV已通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述: 工程能力增加编译时版本校验功能 See merge request: cann/ops-transformer!2085 | 8 months ago |
ops-transformer
🔥Latest News
- [2026/07] A5上新支持算子quant_flash_attn,Dense Attention全量化场景专用,以及experimental目录新增同名算子支持A5的MxFP4全量化;chunk_gated_delta_rule算子支持A5;A5新增DSV4 dense训练阶段TopK筛选反向算子dense_lightning_indexer_grad_kl_loss、dense_lightning_indexer_softmax_lse;mc2新支持算子engram_fetch_grad。
- [2026/06] A5上新增支持sparse_flash_mla、mixed_quant_sparse_flash_mla以及对应的metadata算子,用于DSV4场景稀疏Attention计算。新增lightning_indexer_v2、quant_lightning_indexer_v2以及对应的metadata算子,用于DSV4场景TopK筛选。A5新增DSV4 sparse训练阶段Attention反向算子sparse_flash_mla_grad、sparse_lightning_indexer_kl_loss_grad;mc2新支持算子engram_fetch、engram_fetch_wait。
- [2026/05] fused_infer_attention_score算子A5上支持MxFP8全量化;A5上新支持算子flash_attn,Dense Attention非量化场景专用。
- [2026/04] mc2新支持算子mega_moe。
- [2026/03] recurrent_gated_delta_rule算子支持A5。
- [2026/02] 新支持算子mhc_post、mhc_pre、mhc_res。
- [2026/01] 新支持算子grouped_matmul<<<>>>调用示例,方便用户自定义使用。
- [2026/01] 新支持算子fused_floyd_attention、fused_floyd_attention_grad、matmul_allto_all。
- [2025/12] 新增QuickStart,指导新手零基础入门算子项目部署(支持Docker环境)、算子开发和贡献流程。
- [2025/12] 优化指南类文档,聚焦算子开发指南,明确最小交付件和关键示例代码,针对Ascend/samples仓算子提供迁移本项目的指导。
- [2025/12] 支持transformer类onnx算子插件,包括NPUFlashAttention、NPUMultiHeadAttention、NPUMoeComputeExpertTokens等。
- [2025/12] 新支持算子kv_rms_norm_rope_cache、attention_update、attention_worker_scheduler、gather_pa_kv_cache、kv_quant_sparse_flash_attention、lightning_indexer_grad、mla_preprocess、mla_preprocess_v2、grouped_matmul_swiglu_quant_v2、attention_to_ffn、ffn_to_attention。
- [2025/12] 开源算子支持NPU Simulator仿真工具开发调试。
- [2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90系列产品。
- [2025/11] 新支持算子kv_quant_sparse_flash_attention、lightning_indexer、quant_lightning_indexer、sparse_flash_attention。
- [2025/11] 新支持示例算子rope_matrix和all_gather_add。
- [2025/11] 新增算子开发工程模板NpuOpsTransformerExt,无缝集成PyTorch张量操作,支持自动微分和GPU/NPU统一接口。
- [2025/10] 新增experimental目录,完善贡献指南,支持开发者调试并贡献自定义算子。
- [2025/09] ops-transformer项目首次上线,开源算子支持Atlas A2/A3系列产品。
🚀概述
ops-transformer是CANN(Compute Architecture for Neural Networks)算子库中提供transformer类大模型计算的进阶算子库,包括attention类、moe类、mc2类等,覆盖各类attention、MoE计算、通算融合等场景,算子库在架构图中的位置如下。

📌版本配套
本项目源码会跟随CANN软件版本发布,关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。 请注意,为确保您的源码定制开发顺利进行,请选择配套的CANN版本与Gitcode标签源码,使用master分支可能存在版本不匹配的风险。
🛠️环境准备
环境部署是体验本项目能力的前提,请先完成NPU驱动、CANN包安装等,确保环境正常。
⬇️源码下载
环境准备好后,下载与CANN版本配套的分支源码,通用命令如下,${tag_version}替换为分支标签名。以9.0.0分支源码下载为例:
# 通用命令:git clone -b ${tag_version} https://gitcode.com/cann/ops-transformer.git
git clone -b 9.0.0 https://gitcode.com/cann/ops-transformer.git
说明:若环境中已存在配套分支源码,可跳过本步骤,例如CANNLab默认已提供最新版本CANN对应的源码。
📖学习教程
💬相关信息
PS:本项目功能和文档正在持续更新和完善中,欢迎您关注最新版本。