本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
| Files | Last commit | Last update |
|---|---|---|
aciton增加增量逻辑 Co-authored-by: cui_jiahao<cuijiahao5@h-partners.com> # message auto-generated for no-merge-commit merge: !10199 merge master into master aciton增加增量逻辑 Created-by: cui_jiahao Commit-by: cui_jiahao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10199 | 2 months ago | |
通过gitmodules引入third_party/catlass Co-authored-by: longjihui<longjihui@huawei.com> # message auto-generated for no-merge-commit merge: !1765 merge master into master 通过gitmodules引入third_party/catlass Created-by: longjihui Commit-by: longjihui Merged-by: cann-robot Description: ## 描述 新增.gitmodules文件,引入第三方库catlass,分支为v1.3.1-notla ## 关联的Issue 不涉及 ## 测试 仅引入三方仓,使用方式暂不确定,无需测试 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:新引入三方仓catlass See merge request: cann/ops-transformer!1765 | 7 months ago | |
fix scatterPaKvCacheWithKScale golden Co-authored-by: yu_qinfei<yuqinfei1@h-partners.com> # message auto-generated for no-merge-commit merge: !10589 merge fix_k_scale_golden into master fix scatterPaKvCacheWithKScale golden Created-by: yu_qinfei Commit-by: yu_qinfei Merged-by: cann-robot Description: ## 描述 修复scatterPaKvCacheWithKScale golden ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4550 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10589 | 2 months ago | |
fix: 修复cmake升级后tikicpulib ALIAS target重复创建导致ophost_test编译失败 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !10482 merge fix-issue-4487 into master fix: 修复cmake升级后tikicpulib ALIAS target重复创建导致ophost_test编译失败 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 fix: 修复cmake升级后tikicpulib ALIAS target重复创建导致ophost_test编译失败 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4487 ## 测试 本地验证编译正常 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10482 | 2 months ago | |
add proto extend Co-authored-by: wang-minbo<wangminbo1@hisilicon.com> # message auto-generated for no-merge-commit merge: !10315 merge master into master add proto extend Created-by: wang-minbo Commit-by: wang-minbo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000-->https://gitcode.com/cann/ops-transformer/issues/4459 <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10315 | 2 months ago | |
DequantRopeQuantKvcache 文档支持a5 | 2 months ago | |
安装重名头文件整改:common.h Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10537 merge clear_repeat_h_comm into master 安装重名头文件整改:common.h Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 ** common.h / moe_common.h / moe_v2_common.h 跨算子同名整改**,消除安装包内跨算子同名头冲突。 **原因**: **common.h(13 份)**、**moe_common.h(5 份)**、**moe_v2_common.h(7 份)** 属安装规则 **3.9**(仓内非对外、不同算子/组件目录拷贝同名头),且口径为「同名不同实现亦改名」。权威 common/include/op_kernel/common.h 与 mc2/common/op_kernel/moe_distribute_base.h **保留原名**。 **方法**:低风险只改次要副本——各算子/组件侧 common.h / moe_common.h / moe_v2_common.h / setup 侧 moe_distribute_base.h 加算子或组件前缀(如 agm_v2_、matmul_all_reduce_、moe_init_routing_、mega_moe_、setup_ 等);同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则 | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 | | 权威 common | common/include/op_kernel/common.h | 否 | 保留原名 | | 权威 mc2 base | mc2/common/op_kernel/moe_distribute_base.h | 否 | 保留原名(v2/combine 等仍 #include 此路径) | ### 范围与结果 | 项 | 说明 | |----|------| | 重命名组数 | **26** | | 涉及域 | attention(scatter_pa / sfag / sfmg)、examples fkle、mc2(agm_v2 / matmul_all_reduce / mega_moe / dispatch setup/teardown/v2、mhc tiling)、moe(gating / init_routing / token_permute 系列) | | 附带修复 | dispatch setup base/common 映射;teardown 跨组件引用;v2 arch35 a5_ccu 裸 include;v3/combine_v3 apt 依赖 v2/v2_combine 的 __has_include 多布局路径 | | 变更文件数 | **166** | | 行变更 | +253 / -238 | ### 26 组重命名(旧 → 新) | # | 旧路径 | 新路径 | |--:|--------|--------| | 1 | attention/scatter_pa_kv_cache/op_kernel/arch35/common.h | attention/scatter_pa_kv_cache/op_kernel/arch35/scatter_pa_kv_cache_arch35_common.h | | 2 | attention/sparse_flash_attention_grad/op_kernel/arch35/common.h | attention/sparse_flash_attention_grad/op_kernel/arch35/sparse_flash_attention_grad_arch35_common.h | | 3 | attention/sparse_flash_mla_grad/op_kernel/arch35/common.h | attention/sparse_flash_mla_grad/op_kernel/arch35/sparse_flash_mla_grad_arch35_common.h | | 4 | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/common.h | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/fkle_mdd_v2_common.h | | 5 | mc2/all_gather_matmul_v2/op_kernel/common.h | mc2/all_gather_matmul_v2/op_kernel/agm_v2_common.h | | 6 | mc2/matmul_all_reduce/op_kernel/common.h | mc2/matmul_all_reduce/op_kernel/matmul_all_reduce_common.h | | 7 | mc2/moe_distribute_dispatch_setup/op_kernel/common.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_common.h | | 8 | mc2/moe_distribute_dispatch_v2/op_kernel/common.h | mc2/moe_distribute_dispatch_v2/op_kernel/moe_distribute_dispatch_v2_common.h | | 9 | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/common.h | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/mhc_pre_sinkhorn_backward_common.h | | 10 | moe/moe_gating_top_k/op_kernel/arch35/common.h | moe/moe_gating_top_k/op_kernel/arch35/moe_gating_top_k_arch35_common.h | | 11 | moe/moe_gating_top_k/op_kernel/common.h | moe/moe_gating_top_k/op_kernel/moe_gating_top_k_common.h | | 12 | moe/moe_gating_top_k_backward/op_kernel/arch35/common.h | moe/moe_gating_top_k_backward/op_kernel/arch35/moe_gating_top_k_backward_arch35_common.h | | 13 | moe/moe_gating_top_k_backward/op_kernel/common.h | moe/moe_gating_top_k_backward/op_kernel/moe_gating_top_k_backward_common.h | | 14 | moe/moe_init_routing/op_kernel/moe_common.h | moe/moe_init_routing/op_kernel/moe_init_routing_common.h | | 15 | moe/moe_init_routing/op_kernel/arch35/moe_common.h | moe/moe_init_routing/op_kernel/arch35/moe_init_routing_arch35_common.h | | 16 | moe/moe_token_permute/op_kernel/moe_common.h | moe/moe_token_permute/op_kernel/moe_token_permute_common.h | | 17 | moe/moe_token_permute_with_ep/op_kernel/moe_common.h | moe/moe_token_permute_with_ep/op_kernel/moe_token_permute_with_ep_common.h | | 18 | moe/moe_token_permute_with_routing_map/op_kernel/moe_common.h | moe/moe_token_permute_with_routing_map/op_kernel/moe_token_permute_with_routing_map_common.h | | 19 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/mega_moe_moe_v2_common.h | | 20 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/mega_moe_quant_moe_v2_common.h | | 21 | moe/moe_init_routing_v2/op_kernel/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/moe_init_routing_v2_common.h | | 22 | moe/moe_init_routing_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/arch35/moe_init_routing_v2_arch35_common.h | | 23 | moe/moe_init_routing_quant_v2/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/inner/moe_init_routing_quant_v2_pkg_inner_common.h | | 24 | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_init_routing_quant_v2_arch35_common.h | | 25 | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_init_routing_quant_v2_inner_common.h | | 26 | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_base.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_base.h | ### 命名约定 | 场景 | 约定 | |------|------| | all_gather_matmul_v2 | agm_v2_* | | matmul_all_reduce | matmul_all_reduce_common.h | | mega_moe 内 moe_v2 | mega_moe_* / mega_moe_quant_* | | moe 算子 | moe_<op>_common.h、arch35 加 _arch35_common | | dispatch setup | setup_base.h / setup_common.h(与 mc2/common 权威 base 区分) | | include guard | 与文件名一致(如 MOE_DISTRIBUTE_DISPATCH_V2_COMMON_H) | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10537 | 2 months ago | |
quantmode拦截&日志打印修改 Co-authored-by: anfan<sunzhiang@huawei.com> # message auto-generated for no-merge-commit merge: !10646 merge master into master quantmode拦截&日志打印修改 Created-by: anfan Commit-by: anfan Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10646 | 2 months ago | |
fix(ffn_worker_batching): 修复原型未并入合并产物并补 OPS_PROTO_DEF 隔离宏 Co-authored-by: tangpingchuan<tangpingchuan@huawei.com> # message auto-generated for no-merge-commit merge: !10634 merge fix/proto-isolation-macro into master fix(ffn_worker_batching): 修复原型未并入合并产物并补 OPS_PROTO_DEF 隔离宏 Created-by: zl_hw Commit-by: tangpingchuan Merged-by: cann-robot Description: ## 描述 **改动原因** ffn/ffn_worker_batching/op_graph/ffn_worker_batching_proto.h 存在两个问题: 1. **REG_OP 未加隔离宏**。该原型会被 scripts/util/merge_proto.py 合并进 ops_proto_transformer.h/.cpp 再编成内置 op_proto 库;与 canndev 侧同名注册源同处一个编译单元时会重复定义。仓库既有范式是在 REG_OP 外层加 OPS_PROTO_DEF_<OPTYPE> 条件编译。 2. **REG_OP (FfnWorkerBatching) 多了一个空格,导致该原型根本没进合并产物**。merge_proto.py 的匹配式为 ^\s*REG_OP\((?P<opname>.+?)\),要求 REG_OP 后紧跟左括号。实测以 master 版本跑合并,产物中 REG_OP 数为 **0** —— FfnWorkerBatching 的 GE IR 一直没有被并入 ops_proto_transformer.h。这条不修的话,隔离宏加了也是空转。 **改动方法** - REG_OP (FfnWorkerBatching) → REG_OP(FfnWorkerBatching),去掉多余空格。 - REG_OP 外层补 #ifndef/#define OPS_PROTO_DEF_FFNWORKERBATCHING … #endif,位置严格贴在 REG_OP 前、OP_END_FACTORY_REG 后一行。 - 该文件原为 tab 缩进,整文件 clang-format 不通过。pre-commit 的 clang-format 钩子按**整文件**格式化(非仅改动行),一旦改动此文件即会被拦,故按 .clang-format 一并规整为 4 空格缩进。48/44 的差异绝大部分来自这次缩进归一。 **变更范围**:1 个文件,+48 −44。不改动 IR 的输入/输出/属性/dtype 定义,无功能与支持面变化。 ## 关联的Issue 关联 Issue #4590 ## 测试 1. **合并产物验证**(python3 scripts/util/merge_proto.py): | 版本 | 产物中 REG_OP 数 | 产物中隔离宏数 | |---|---|---| | master | 0 | 0 | | 本 PR | 1 | 1 | 修复后 FfnWorkerBatching 的原型与隔离宏都能正确带入 ops_proto_transformer.h。 2. **宏名配对验证**:与发布包 cann-9.2.0/opp/built-in/op_graph/inc/*.h 比对,未发现同名算子的既有隔离宏,无宏名冲突。 3. **格式与合规门禁**:按 .pre-commit-config.yaml 逐钩子本地复现 —— clang-format 18.1.8 --style=file --dry-run -Werror 整文件通过、OAT 许可头合规、trailing-whitespace / end-of-file-fixer / check-merge-conflict / detect-private-key / check-added-large-files 全部通过。 ## 文档更新 无。本 PR 不涉及文档变更。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: <!-- 关联 Issue: https://gitcode.com/cann/ops-transformer/issues/4590 --> See merge request: cann/ops-transformer!10634 | 2 months ago | |
Gmm Code CleanUp Co-authored-by: lijiamin2025<lijiamin24@huawei.com> # message auto-generated for no-merge-commit merge: !10455 merge CleanCode into master Gmm Code CleanUp Created-by: lijiamin2025 Commit-by: lijiamin2025 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1.修改codeCheck相关问题 2.门禁触发的pre-Commit修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4508 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10455 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
Batch moe ep combine token writes Co-authored-by: Shawn Lee<lixi8@huawei.com> Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !10118 merge moe_ep_combine_batch_writenbi into master Batch moe ep combine token writes Created-by: Yuyu-Li Commit-by: Yuyu-Li;Shawn Lee Merged-by: cann-robot Description: ## 描述 Batch moe ep combine token writes ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4574 ## 测试 二级冒烟 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10118 | 2 months ago | |
MhcPreSinkhorn ascend950支持tnd格式 Co-authored-by: taochangmin<taochangmin@huawei.com> # message auto-generated for no-merge-commit merge: !10272 merge mhc_tnd into master MhcPreSinkhorn ascend950支持tnd格式 Created-by: taochangmin Commit-by: taochangmin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> MhcPreSinkhorn支持tnd格式,原来输入为(b,s,n,d)格式,新增支持(t,n,d) ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4593 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 泛化测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10272 | 2 months ago | |
添加moe_init_routing_v4和moe_re_routing_v2算子的st&标杆 Co-authored-by: cpy_123456<chenpengyi@huawei.com> # message auto-generated for no-merge-commit merge: !10530 merge ut into master 添加moe_init_routing_v4和moe_re_routing_v2算子的st&标杆 Created-by: cpy_123456 Commit-by: cpy_123456 Merged-by: cann-robot Description: ## 描述 添加moe_init_routing_v4和moe_re_routing_v2算子的st&标杆 ## 一、moe_init_routing_v4(25 个用例,全部 PASS) ### 1.1 场景覆盖矩阵 | 维度 | 覆盖值 | 用例数 | |---|---|---| | **输入数据类型 (x)** | int8 | 2 | | | float16 | 7 | | | bfloat16 | 8 | | | float32 | 8 | | **quant_mode** | -1(非量化,DropLess) | 13 | | | 1(动态量化) | 12 | | **expert_tokens_num_type (etnt)** | 1(直方图统计) | 13 | | | 2(key-value 对) | 12 | | **drop_pad_mode** | 0(DropLess 模式) | 25 | | **expert_tokens_num_flag** | True | 25 | | **row_idx_type** | 0(gather) | 7 | | | 1(scatter) | 18 | | **scale 输入** | 有 | 10 | | | 无 | 15 | | **topk_weight 输入** | 有 | 25 | | **expert_num 范围** | 256 ~ 2930 | — | | **active_expert_range 跨度** | 6 ~ 580 | — | ## 二、moe_re_routing_v2(25 个用例,全部 PASS) ### 2.1 场景覆盖矩阵 | 维度 | 覆盖值 | 用例数 | |---|---|---| | **tokens 数据类型** | int8 | 8 | | | float16 | 8 | | | bfloat16 | 9 | | **idx_type** | 0(正向索引,permute_token_idx=src_offset) | 12 | | | 1(反向索引,permute_token_idx=dst_offset) | 13 | | **per_token_scales 输入** | 有 | 12 | | | 无 | 13 | | **expert_topk_weight 输入** | 有 | 25 | | **rank_num(专家并行数)** | 1 | 17 | | | 2 | 3 | | | 3 | 1 | | | 4~5 | 2 | | | 7~52 | 2 | | **expert_num(每 rank 专家数)** | 1 | 17 | | | 2 | 5 | | | 3 | 1 | | | 5~6 | 2 | | **tokens 第二维 (hidden_size)** | 9 ~ 15267 | — | ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 st&标杆通过 ## 文档更新 https://gitcode.com/cann/ops-transformer/issues/4543 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10530 | 2 months ago | |
DequantRopeQuantKvcache 文档支持a5 | 2 months ago | |
feat(graph): op_graph proto 聚合支持 guard 宏捕获 Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !10286 merge feat/merge-proto-guard into master feat(graph): op_graph proto 聚合支持 guard 宏捕获 Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 ops_proto_transformer.h 聚合头生成脚本 merge_proto.py 旧正则只提取 REG_OP(...) ... OP_END_FACTORY_REG(...) 块,丢弃外层 #ifndef/#define/#endif 宏守卫,导致带 OPS_PROTO_DEF_ 宏的 proto.h 在聚合后宏丢失。同步 ops-nn 的正则逻辑修复该问题。 ## 改动 - 新增 attention/recurrent_gated_delta_rule/op_graph/ 目录(recurrent_gated_delta_rule_proto.h + CMakeLists.txt),定义图模式算子注册 - scripts/util/merge_proto.py 升级正则为 OP_DEF_PATTERN:用 guard 命名组捕获 REG_OP 前紧跟的 #ifndef/#define,用条件组 (?(guard)...#endif) 匹配配对 #endif,连同注释整段提取 - 新增 match_op_proto_extend 处理 *_proto_extend.h(一个文件含多个 REG_OP,去重) - merge_op_proto 分支处理 _proto.h 与 _proto_extend.h - 入参去重 list(dict.fromkeys(...)),避免重复 proto 导致聚合头重复定义 ## 关联的Issue #4430 ## 测试 - bash build.sh --pkg --jit 编译出包成功(ascend910b) - 解压 run 包验证 ops_proto_transformer.h:OPS_PROTO_DEF_RECURRENTGATEDDELTARULE 宏已完整进入聚合头(#ifndef → #define → REG_OP → #endif) - 回归验证:无 guard 的 proto.h(chunk_gated_delta_rule、flash_attention_score 等)仍只提取 REG_OP 块,向后兼容 - ruff format / ruff check / py_compile 通过,行宽 ≤120 ## 类型标签 - [ ] 🐛 Bug 修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10286 | 2 months ago | |
新增 MsaIndexScore 算子 (A2/A3) Co-authored-by: c00943476<chenlyucheng@huawei.com> # message auto-generated for no-merge-commit merge: !9503 merge master into master 新增 MsaIndexScore 算子 (A2/A3) Created-by: oscillated Commit-by: c00943476 Merged-by: cann-robot Description: ## 描述 新增 MsaIndexScore 算子及其接口(A2/A3),改进M3模型中MSA模块的性能。 ## 关联的Issue 关联Issue [#4117](https://gitcode.com/cann/ops-transformer/issues/4117) ## 测试 ### example、torch_extension接口功能自验  ### 输出精度比对 v.s. triton小算子实现  ### 输出性能批跑  ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9503 | 2 months ago | |
fix(und_gen_qkv): 补齐 torch schema 默认值与 * 分隔,修正 aclnn/l0op 错误码 Co-authored-by: qianzehong<qianzehong@huawei.com> # message auto-generated for no-merge-commit merge: !10417 merge refactor/und-gen-qkv-golden-testspec into master fix(und_gen_qkv): 补齐 torch schema 默认值与 * 分隔,修正 aclnn/l0op 错误码 Created-by: qianzehong Commit-by: qianzehong Merged-by: cann-robot Description: ## 描述 修 posembedding/und_gen_qkv_rms_norm_rope_cache 的两个存量缺陷。 两个缺陷都是在把该算子的 TTK 测试资产改写成 TestSpec、补齐 E2E(torch) 通路的过程中暴露出来的——E2E 通路一接上,torch 接口的问题当场就崩了;aclnn 那条则是测试检视提出的。测试资产的改写也在本 PR 里,见第三节。 ### 一、torch 接口:schema 未声明默认值,照文档原型省参数直接报错(#4569) 文档原型把 5 个属性写成带默认值的可选参数,schema 里却没声明,用户照着写会崩: RuntimeError: und_gen_qkv_rms_norm_rope_cache() is missing value for argument 'num_heads_q'. 根因:顶层 cann_ops_transformer.<op> 拿到的是 torch.ops 的 OpOverloadPacket(__init__.py 里 hasattr(_op_namespace, _name): continue 会跳过 wrapper 的 re-export),**wrapper def 上的默认值在这条路径上不生效,默认值必须写进 schema**。 按 torch_extension_guidelines.md 修:schema 补默认值(第 127 行)、补 * 分隔(第 126 行,改前 GE converter 已按 keyword-only 写、与 schema 不一致,违反第 245 行),并同步 schema / Meta / dispatcher / 对外函数 / 文档原型的七处一致性(第 237、286 行)。对外函数补类型标注与完整 docstring,converter_<op> 按第 68 行改名 convert_<op>。 ### 二、aclnn / l0op:错误路径的错误码与失败原因不符(#4570) | 位置 | 改前 | 改后 | |---|---|---| | l0op::Contiguous 判空 ×10 | ACLNN_ERR_INNER_CREATE_EXECUTOR(561101) | ACLNN_ERR_INNER_NULLPTR(561103) | | INFER_SHAPE 失败 | OP_LOGE(ACLNN_ERR_PARAM_INVALID)(161002) | OP_CHECK_INFERSHAPE 宏(561001) | | ADD_TO_LAUNCHER_LIST_AICORE 失败 | 同上 | OP_CHECK_ADD_TO_LAUNCHER_LIST_AICORE 宏(561118) | 561101 语义是「创建 executor 失败」,只有 CREATE_EXECUTOR() 那一处该用,已保留不动;161xxx 是用户参数错误段,而 infershape / launcher 失败属内部错误。第 2、3 行换成 CANN 自带的宏而非就地改常量,让码由宏保证。**只改日志码,return ret 一直返回真实 status,aclnn 对外返回值零变化。** 附带:.clang-format 于上游 bc1cd7f5a 改为 PointerAlignment: Right,pre-commit 钩子会重排被改动的整个文件,故这两个 cpp 带指针对齐的格式变更,非逻辑改动。 ### 三、测试资产改写(本 PR 的主体 diff) tests/assets/golden.py 从 __input__ / __golden__ 两张 dict 注册表改成 TTK TestSpec,kernel / aclnn / **E2E(torch)** 三条通路各一个 spec 类;判据(cross_check + L1)从命令行 --compare close 搬进 spec,两份 ST CSV 里已失效的容差列删掉;用例集与 build_case 搬到 examples/。 判据换 cross_check 是必需的:本算子输出里有 RoPE 两项相消到 0、NPU 给 2^-23 的元素,TTK 默认的 stat_rel_err(FLOOR 固定 1e-7,与 dtype/量级无关)在这种输出上实测零区分力。 ## 关联的Issue - #4569 —— torch schema 未声明可选参数默认值 - #4570 —— aclnn/l0op 错误路径错误码 ## 测试 环境:Ascend950PR_9579 / CANN 9.2.0 / aarch64,算子包本仓现编现装,torch 扩展 bash build.sh --torch_extension 出 wheel 后安装(已核对 wheel 内接口文件与仓内源码 md5 一致)。 | 项 | 结果 | |---|---| | ttk kernel / ttk aclnn / ttk e2e(均不带 --compare) | 各 **33/33 PASS**,合计 396 条 cross_check 判定,mare 余量 2.5x | | examples/test_torch_*.py 上板 | 接口连通性 **15/15 PASS**、数值精度 **15/15 PASS** | | 文档示例段逐字提取(顶层写法) | **PASS** torch.Size([8, 8, 128]) | | 按修后的原型省掉 5 个属性 | **PASS**,k_cache 已写入(改前此处报错,即 #4569) | | Meta / FakeTensorMode(kwargs / 省属性两种) | 均 **PASS** | | 负向:属性按位置传 | 被 schema 拒 —— takes 12 positional argument(s) but 17 was/were given | | --opapi_test --ops=und_gen_qkv_rms_norm_rope_cache --soc=ascend950 | **4/4 PASSED** | | pre-commit(clang-format / codespell / OAT) | 全 **Passed** | **重构等价性**:用 upstream/master 旧实现与新实现喂同一份输入,kernel 5 例 + aclnn 6 例的输入与三个输出**全部逐 bit 相同**。 **区分力自检**:注入「cache 写反 / 尾块漏算 / 整 head 未写 / 单元素错 5%」四类缺陷,mare 分别为 100231 / 59420 / 256 / 13.3,全部判挂。 **兼容性**:本 PR 删掉 __input__ / __golden__,需要 ops-test-kit ≥ 71aefb5(2026-06-23)。 ## 文档更新 docs/zh/und_gen_qkv_rms_norm_rope_cache.md 只改一行:函数原型插入 * 分隔。参数说明表不动——那 5 个属性本就标着「可选 + 默认值」,语义没变;补上 schema 默认值后,原型承诺的可选入参语义才真正成立。 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10417 | 2 months ago | |
pre-commit: set AllowShortFunctionsOnASingleLine to Empty Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !10461 merge fix_2 into master pre-commit: set AllowShortFunctionsOnASingleLine to Empty Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10461 | 2 months ago | |
产品文档png文件名改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9654 merge master into master 产品文档png文件名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9654 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
通过gitmodules引入third_party/catlass Co-authored-by: longjihui<longjihui@huawei.com> # message auto-generated for no-merge-commit merge: !1765 merge master into master 通过gitmodules引入third_party/catlass Created-by: longjihui Commit-by: longjihui Merged-by: cann-robot Description: ## 描述 新增.gitmodules文件,引入第三方库catlass,分支为v1.3.1-notla ## 关联的Issue 不涉及 ## 测试 仅引入三方仓,使用方式暂不确定,无需测试 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:新引入三方仓catlass See merge request: cann/ops-transformer!1765 | 7 months ago | |
aclnnGroupedMatmulWeightNz补充WeightQuantPreProcess接口aclnn资料 Co-authored-by: renzetao<renzetao2@huawei.com> # message auto-generated for no-merge-commit merge: !10251 merge aclnn_example into master aclnnGroupedMatmulWeightNz补充WeightQuantPreProcess接口aclnn资料 Created-by: renzetao Commit-by: renzetao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> aclnnGroupedMatmulWeightNz补充WeightQuantPreProcess接口aclnn资料 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#4412](https://gitcode.com/cann/ops-transformer/issues/4412) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> bash build.sh --run_example 测试通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> gmm/grouped_matmul/docs/aclnnGroupedMatmulWeightNz.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10251 | 2 months ago | |
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !9326 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修改AIDD扫描的核心资料问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3995](https://gitcode.com/cann/ops-transformer/issues/3995) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> torch_api_list.md op_list.md ascend950_op_list.md aclnn返回码.md 互推导关系.md ... ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9326 | 3 months ago | |
算子编译支持指定soc版本和最低cann版本 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !10138 merge compile_check_soc_version into master 算子编译支持指定soc版本和最低cann版本 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 新增require_cann_version可以指定算子编译支持的最低cann版本 指定算子在指定 soc 下的最低版本: require_cann_version(SOC ascend910b MIN_VERSION "9.0.0") 不同 soc 不同版本要求: require_cann_version(SOC ascend950 MIN_VERSION "9.2.0") require_cann_version(SOC ascend910b MIN_VERSION "9.0.0") ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4500 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10138 | 2 months ago | |
产品文档png文件名改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9654 merge master into master 产品文档png文件名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9654 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
pre-commit: 豁免 *.png 文件,支持文档图片上传 Co-authored-by: youzhen5418<664699733@qq.com> # message auto-generated for no-merge-commit merge: !10197 merge png into master pre-commit: 豁免 *.png 文件,支持文档图片上传 Created-by: youzhen5418 Commit-by: youzhen5418 Merged-by: cann-robot Description: ## 描述 在 OAT.xml 的 binaryFileTypePolicyFilter 中新增 *.png 文件豁免,解决提交包含 png 文档配图时被 OAT 判定为"Invalid File Type: binary"而拦截的问题。 改动原因:OAT 合规检查将 png 文件识别为违规二进制文件,导致 pre-commit 失败,无法上传文档配图。png 作为文档图片(非可执行二进制),应在二进制文件检查中豁免。 改动内容:仅 OAT.xml 一个文件,新增一行: <filteritem type="filename" name="*.png" desc="PNG image files for documentation"/> 位于 binaryFileTypePolicyFilter(第 59 行)。 验证:本地用 oat-py 直接扫描 png 文件验证——豁免前 Issues found: 1(Invalid File Type: binary),豁免后 Issues found: 0。许可证头/版权头检查对二进制文件自动跳过,无需额外豁免。 ## 关联的Issue 关联Issue #4382 ## 测试 验证:豁免前报 Invalid File Type: binary,豁免后 Issues found: 0 pre-commit 全部 hook 通过(trailing-whitespace / end-of-file / clang-format / ruff / codespell / OAT) ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10197 | 2 months ago | |
cannsim改名为npusim Co-authored-by: liangbinglong<liangbinglong@huawei.com> # message auto-generated for no-merge-commit merge: !9686 merge master into master cannsim改名为npusim Created-by: liangbinglong Commit-by: liangbinglong Merged-by: cann-robot Description: ## 描述 经TSC评审,cannsim工具正式更名为npusim,相关命令行、资料同步刷新,cannsim作为别名兼容一段时间,需要尽快切换 ## 关联的Issue NA ## 测试 使用最新链接版本测试,相关命令行已经全部更名为npusim ## 文档更新 更新doc下面的调优部分文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9686 | 3 months ago | |
修复文档链接跳转失效问题 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !8061 merge fix_security_md into master 修复文档链接跳转失效问题 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 修复SECURITY.md文档 [A-文件(夹)各场景权限管控推荐最大值] 链接跳转失效问题 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/3373 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!8061 | 4 months ago | |
支持按模板参数编译算子kernel、支持编译入参调试异常与调优参数 Co-authored-by: lidongsheng<lidongsheng43@huawei.com> Co-authored-by: 吴剑飞<wujianfei15@huawei.com> # message auto-generated for no-merge-commit merge: !2170 merge 910_lds into master 支持按模板参数编译算子kernel、支持编译入参调试异常与调优参数 Created-by: qq_46353993 Commit-by: 吴剑飞;lidongsheng Merged-by: cann-robot Description: ## 描述 本次修改支持用户通过build.sh的编译入口传入模板参数--kernel_template_input后按tilingkey编译、传入--bisheng_flags进行调试异常 ## 关联的Issue [支持按模板参数指定编译kernel](https://gitcode.com/cann/ops-transformer/issues/1036) [支持编译入参新增调试异常和调优参数](https://gitcode.com/cann/ops-transformer/issues/1044) ## 测试 二级冒烟、指定模板参数编译并执行测试用例 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-transformer!2170 | 8 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
fix: CI smoke 排除 experimental 目录避免 built-in 算子修改误触发 experimental example Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !10478 merge fix-issue-4484 into master fix: CI smoke 排除 experimental 目录避免 built-in 算子修改误触发 experimental example Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 fix: CI smoke 排除 experimental 目录避免 built-in 算子修改误触发 experimental example ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4484 ## 测试 本地已验证,只修改built-in不会触发 experimental的 example ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10478 | 2 months ago | |
feat(moe_ep_combine): 拆分combine为moe_ep_combine和moe_ep_combine_epilogue Co-authored-by: Shawn Lee<lixi8@huawei.com> # message auto-generated for no-merge-commit merge: !10249 merge master_combine_epilogue_0818 into master feat(moe_ep_combine): 拆分combine为moe_ep_combine和moe_ep_combine_epilogue Created-by: l00858142 Commit-by: l00858142;Shawn Lee Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> moe_ep_combine(发送阶段): - 只保留SendPhaseExpertToToken,发送expert输出到远端rank的HCCL Window - 移除combined_x/combined_topk_weights输出,改为无输出 - kernel entry移除输出GM_ADDR参数 moe_ep_combine_epilogue(接收+归约阶段,新增): - 从原始combine kernel提取RecvPhaseReduce/ProcessTopKToken/WaitDispatch/BuffInit - 输入: context, topk_idx; 输出: combined_x, combined_topk_weights(optional) - 新建op_def/op_api/op_tiling/op_kernel完整工程 - tiling计算combineStateWinOffset/combineDataWinOffset与combine保持一致 elastic_buffer.cpp: - MoeEpCombine改为void(仅发送),MoeEpCombineEpilogue返回tuple(接收+归约) - pybind11注册moe_ep_combine_epilogue elastic_buffer.py: - combine()预分配输出后依次调用moe_ep_combine和moe_ep_combine_epilogue ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10249 | 2 months ago | |
update cmake minimum required to 3.18.4 Co-authored-by: poorwill<wangbing110@huawei.com> # message auto-generated for no-merge-commit merge: !9634 merge master into master update cmake minimum required to 3.18.4 Created-by: wangbing110 Commit-by: poorwill Merged-by: cann-robot Description: update cmake minimum required to 3.18.4 See merge request: cann/ops-transformer!9634 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
check_compile_version Co-authored-by: 吴剑飞<wujianfei15@huawei.com> # message auto-generated for no-merge-commit merge: !2085 merge check_version into master check_compile_version Created-by: hid81635372 Commit-by: 吴剑飞 Merged-by: cann-robot Description: ## 描述 工程上支持在编译时对子包版本进行校验 ## 关联的Issue https://gitcode.com/cann/ops-transformer/pull/2085 ## 测试 功能上可以在子包版本低于构建依赖时进行告警,RDV已通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述: 工程能力增加编译时版本校验功能 See merge request: cann/ops-transformer!2085 | 8 months ago |
ops-transformer
🔥Latest News
- [2026/07] A5上新支持算子quant_flash_attn,Dense Attention全量化场景专用,以及experimental目录新增同名算子支持A5的MxFP4全量化;chunk_gated_delta_rule算子支持A5;A5新增DSV4 dense训练阶段TopK筛选反向算子dense_lightning_indexer_grad_kl_loss、dense_lightning_indexer_softmax_lse;mc2新支持算子engram_fetch_grad。
- [2026/06] A5上新增支持sparse_flash_mla、mixed_quant_sparse_flash_mla以及对应的metadata算子,用于DSV4场景稀疏Attention计算。新增lightning_indexer_v2、quant_lightning_indexer_v2以及对应的metadata算子,用于DSV4场景TopK筛选。A5新增DSV4 sparse训练阶段Attention反向算子sparse_flash_mla_grad、sparse_lightning_indexer_kl_loss_grad;mc2新支持算子engram_fetch、engram_fetch_wait。
- [2026/05] fused_infer_attention_score算子A5上支持MxFP8全量化;A5上新支持算子flash_attn,Dense Attention非量化场景专用。
- [2026/04] mc2新支持算子mega_moe。
- [2026/03] recurrent_gated_delta_rule算子支持A5。
- [2026/02] 新支持算子mhc_post、mhc_pre、mhc_res。
- [2026/01] 新支持算子grouped_matmul<<<>>>调用示例,方便用户自定义使用。
- [2026/01] 新支持算子fused_floyd_attention、fused_floyd_attention_grad、matmul_allto_all。
- [2025/12] 新增QuickStart,指导新手零基础入门算子项目部署(支持Docker环境)、算子开发和贡献流程。
- [2025/12] 优化指南类文档,聚焦算子开发指南,明确最小交付件和关键示例代码,针对Ascend/samples仓算子提供迁移本项目的指导。
- [2025/12] 支持transformer类onnx算子插件,包括NPUFlashAttention、NPUMultiHeadAttention、NPUMoeComputeExpertTokens等。
- [2025/12] 新支持算子kv_rms_norm_rope_cache、attention_update、attention_worker_scheduler、gather_pa_kv_cache、kv_quant_sparse_flash_attention、lightning_indexer_grad、mla_preprocess、mla_preprocess_v2、grouped_matmul_swiglu_quant_v2、attention_to_ffn、ffn_to_attention。
- [2025/12] 开源算子支持NPU Simulator仿真工具开发调试。
- [2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90系列产品。
- [2025/11] 新支持算子kv_quant_sparse_flash_attention、lightning_indexer、quant_lightning_indexer、sparse_flash_attention。
- [2025/11] 新支持示例算子rope_matrix和all_gather_add。
- [2025/11] 新增算子开发工程模板NpuOpsTransformerExt,无缝集成PyTorch张量操作,支持自动微分和GPU/NPU统一接口。
- [2025/10] 新增experimental目录,完善贡献指南,支持开发者调试并贡献自定义算子。
- [2025/09] ops-transformer项目首次上线,开源算子支持Atlas A2/A3系列产品。
🚀概述
ops-transformer是CANN(Compute Architecture for Neural Networks)算子库中提供transformer类大模型计算的进阶算子库,包括attention类、moe类、mc2类等,覆盖各类attention、MoE计算、通算融合等场景,算子库在架构图中的位置如下。

📌版本配套
本项目源码会跟随CANN软件版本发布,关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。 请注意,为确保您的源码定制开发顺利进行,请选择配套的CANN版本与Gitcode标签源码,使用master分支可能存在版本不匹配的风险。
🛠️环境准备
环境部署是体验本项目能力的前提,请先完成NPU驱动、CANN包安装等,确保环境正常。
⬇️源码下载
环境准备好后,下载与CANN版本配套的分支源码,通用命令如下,${tag_version}替换为分支标签名。以9.0.0分支源码下载为例:
# 通用命令:git clone -b ${tag_version} https://gitcode.com/cann/ops-transformer.git
git clone -b 9.0.0 https://gitcode.com/cann/ops-transformer.git
说明:若环境中已存在配套分支源码,可跳过本步骤,例如CANNLab默认已提供最新版本CANN对应的源码。
📖学习教程
💬相关信息
PS:本项目功能和文档正在持续更新和完善中,欢迎您关注最新版本。