本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
| Files | Last commit | Last update |
|---|---|---|
docs: add environment details to bug report Co-authored-by: zzzzzzyf_<zhouyunfei10@huawei.com> # message auto-generated for no-merge-commit merge: !11495 merge issue-env-info into master docs: add environment details to bug report Created-by: zzzzzzyf_ Commit-by: zzzzzzyf_ Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ISSUE添加模板,引导用户添加环境信息 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#5108](https://gitcode.com/cann/ops-transformer/issues/5108) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11495 | 2 months ago | |
告警修改 Co-authored-by: hwx805026<hanming9@h-partners.com> # message auto-generated for no-merge-commit merge: !11674 merge new into master 告警修改 Created-by: jerry_ming Commit-by: hwx805026 Merged-by: cann-robot Description: ## 描述 QSFA/LI/SFA等组件告警修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11674 | 2 months ago | |
fix(moe_ffn): 修复自定义包编译失败并改用标准tiling注册 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !11755 merge fix_moe_ffn_build into master fix(moe_ffn): 修复自定义包编译失败并改用标准tiling注册 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 fix(moe_ffn): 修复自定义包编译失败并改用标准tiling注册 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5237 ## 测试 本地验证,编排构建,rdv冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11755 | 2 months ago | |
整改dot.h重名头文件 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11768 merge clear_dot into master 整改dot.h重名头文件 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 - 整改dot.h重名头文件 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5216 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11768 | 2 months ago | |
feat(mhc_pre_backward): MhcPreBackward算子性能优化 Co-authored-by: hyhhh14<huangyuehua6@huawei.com> # message auto-generated for no-merge-commit merge: !11644 merge mhc_pre_backward_upstream into master feat(mhc_pre_backward): MhcPreBackward算子性能优化 Created-by: hyhhh14 Commit-by: hyhhh14 Merged-by: cann-robot Description: ## 描述 性能优化 1. 使用低阶 Cube 接口实现 C0/C1 计算,并由 Tiling 下发 Matmul 及片上缓存配置。 2. 优化 L1/L0 双缓冲和 C0/V2/C1 流水,减少数据搬运及流水等待。 3. 新增 aclnnMhcPreBackwardV2 接口以支持 HF32 模式;原有 V1 接口继续使用 FP32,保持兼容 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5265 ## 测试 已完成以下验证: - V1/V2 接口 UT 及参数校验。 - FP32/HF32 精度测试。 - BSND/TND、可选 gamma 和 gradXPost 场景测试。 - 算子泛化、确定性、压力及 Sanitizer 测试。 - Ascend 950 性能测试及基线对比。 ## 文档更新 - 新增 aclnnMhcPreBackwardV2 接口文档和调用样例。 - 更新 README.md 及原有 V1 接口说明。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11644 | 2 months ago | |
整改仓内+安装重名头文件 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11266 merge clear_h into master 整改仓内+安装重名头文件 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 整改仓内及安装场景下的重名头文件冲突,避免同名头文件在编译包含路径或安装打包时互相覆盖。 **改动原因** - 仓内 attention/、gmm/、示例工程等存在 basename 相同的头文件,易在统一 include 搜索路径下发生错误包含。 - 与 third_party(如 catlass)及主仓多算子之间存在安装侧重名,可能覆盖安装产物。 **采取的方法** 1. **仓内重名**(637b7145f):对易冲突头文件按模块加前缀消歧,并同步更新引用,例如: - BSA / GBSA:block_epilogue_* / block_mmad_* → bsa_* / gbsa_* - recurrent_kda:recurrent_kda.h → recurrent_kda_arch22.h / recurrent_kda_arch35.h - grouped_matmul:grouped_matmul_kernel.h → grouped_matmul_kernel_arch35.h / fkl_grouped_matmul_kernel.h 等 - metadata:generic_block_sparse_attention_metadata.h → generic_block_sparse_attention_metadata_tiling.h 2. **安装重名**(975ffde47):对 GBSA/BSA/GMM 基础设施头文件统一加模块前缀(gbsa_ / bsa_ / gmm_,epilogue/gemm/tla 再细分),git mv 后批量更新 #include;**不改** experimental/ 与 third_party/。 3. 同步调整 scripts/check_duplicate_headers.sh 等相关引用。 **范围说明**:本次仅为头文件重命名与 include 路径同步,无业务逻辑变更(约 151 个文件,增删对等)。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5037 ## 测试 ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11266 | 2 months ago | |
MicroAPI替换为Reg(全仓收尾参照:BSA fp8、key_pool、experimental BSA/BSAG共10文件) Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11713 merge fix_3 into master MicroAPI替换为Reg(全仓收尾参照:BSA fp8、key_pool、experimental BSA/BSAG共10文件) Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联的Issue 关联Issue https://gitcode.com/cann/ops-transformer/issues/4908 ## 描述 CANN 头文件中 MicroAPI 是 Reg 命名空间的别名(impl/basic_api/kernel_macros.h 中定义 namespace MicroAPI = Reg;),二者为同一命名空间的别名,替换为纯语义等价操作。本 PR 基于最新 master(093c31e5c),将当前主线上全部剩余的 10 个 MicroAPI 残留文件一次性替换为 Reg,**供各算子 owner 参照整改**(也可按目录摘取)。 > 已由上游自行整改的算子(从本 PR 移除): > - pool_key_indexer(3aa3edc13,guijianwei) > - mamba/causal_conv1d(a5fa23f50,zhoulong50_hw,UT修改时连带完成) ### 覆盖范围(10 文件) | 模块 | 文件数 | 引入/相关提交 | |---|---|---| | attention/block_sparse_attention(BSA fp8 perTile 量化) | 3 | aadfbba997(chenyizhou) | | attention/key_pool | 3 | 3b37e6b68(qiansunchi) | | experimental/attention/block_sparse_attention | 3 | 898244428(wangchao661) | | experimental/attention/block_sparse_attention_grad(vf_cast_nd2nz.h) | 1 | b8eda26df(yuhao_) | ### 提交结构(两笔) | 提交 | 内容 | |---|---| | 第1笔 | 纯文本替换 MicroAPI → Reg(10 文件,454 增/454 删,逐文件校验全等价) | | 第2笔 | clang-format 重排(1 文件) | ### 验证 - 全文件级校验:10 个文件均满足 新文件 == 旧文件.replace('MicroAPI', 'Reg') - 替换后全仓源码 MicroAPI 残留为 **0**(仅 docs 迁移指南的历史别名说明除外) - pre-commit 全量 hook 通过 See merge request: cann/ops-transformer!11713 | 2 months ago | |
修复mla_preprocess使用__has_include && 修复test_geir_ffn_worker_batching.cpp空指针解引用 Co-authored-by: ww-blue<wangwei1274@huawei.com> # message auto-generated for no-merge-commit merge: !11807 merge issue into master 修复mla_preprocess使用__has_include && 修复test_geir_ffn_worker_batching.cpp空指针解引用 Created-by: ww-blue Commit-by: ww-blue Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复mla_preprocess使用__has_include && 修复test_geir_ffn_worker_batching.cpp空指针解引用 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> 关联Issue [#4773](https://gitcode.com/cann/ops-transformer/issues/4773) 关联Issue #4952 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11807 | 2 months ago | |
GMM文档格式整改 Co-authored-by: Zengxl_<zengxianlong2@huawei.com> # message auto-generated for no-merge-commit merge: !11838 merge feature/test-pr into master GMM文档格式整改 Created-by: Zengxl_ Commit-by: Zengxl_ Merged-by: cann-robot Description: ## 描述 GMM文档格式整改 ## 关联的Issue [#5227](https://gitcode.com/cann/ops-transformer/issues/5227) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 更行了gmm/grouped_matmul/docs/aclnnGroupedMatmulWeightNz.md,修改了格式,约束说明 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11838 | 2 months ago | |
causal_conv1d算子UT修改及aclnn的DFX_IN入参补全 Co-authored-by: zhoulong50_hw<zhoulong50@huawei.com> # message auto-generated for no-merge-commit merge: !11181 merge changeUT into master causal_conv1d算子UT修改及aclnn的DFX_IN入参补全 Created-by: h1234515 Commit-by: zhoulong50_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. DFX打点补全:aclnnCausalConv1dFn / aclnnCausalConv1dUpdate 的 L2_DFX_PHASE_1 中 DFX_IN 补充 activation、nullBlockId 两个标量入参, 与算子实际入参列表保持一致 2. 修正UT用例预期:Ascend950_update_3d_seqlen_not_1 用例中 3D x 且 seqlen != 1 的场景,host侧校验逻辑实际支持(仅要求batch一致), 预期结果由 ACLNN_ERR_PARAM_INVALID 更正为 ACLNN_SUCCESS 3. 修正tiling UT入参顺序:test_causal_conv1d_tiling.cpp 中将 bias 与 conv_states 顺序对调,与算子定义的实际入参顺序 (x, weight, conv_states, bias, ...) 保持一致 4. test_config.yaml 中 mamba.causal_conv1d 缩进格式修正 5. 部分代码格式(换行)整理 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4976 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟,compile ut测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11181 | 2 months ago | |
perf: optimize sendOffset calculation in CalcA2avCommBeforeParams using prefix sum Co-authored-by: dingwei002<dingwei2@huawei.com> # message auto-generated for no-merge-commit merge: !11873 merge master into master perf: optimize sendOffset calculation in CalcA2avCommBeforeParams using prefix sum Created-by: dingwei002 Commit-by: dingwei002 Merged-by: cann-robot Description: ## 概述 本 PR 包含对 allto_allv_quant_grouped_mat_mul 算子的两项修改: 1. **性能优化**:CalcA2avCommBeforeParams 中 sendOffset 计算复杂度从 O(rankDim² × e) 降至 O(rankDim × e) 2. **缺陷修复**:修正 GET_NESTED_TILING_DATA_MEMBER_ADDR 宏中的成员访问与指针转换错误 ## 修改 1:sendOffset 前缀和优化(a2av_comm_params.h) ### 修改前(O(rankDim² × e)) 对每个 rank 从头重新累加所有前序 rank 的 sendCount 总和,存在大量冗余计算: cpp params.sendOffset[0] = 0UL; for (uint32_t j = 0U; j < startExpertIdx; j++) { params.sendOffset[0] += static_cast<uint64_t>(rawSendCounts[j]) * axis; } for (uint32_t i = 1U; i < rankDim; i++) { params.sendOffset[i] = 0UL; for (uint32_t k = 0U; k < i; k++) { // 每个前序 rank 重复遍历 for (uint32_t j = 0U; j < e; j++) { params.sendOffset[i] += static_cast<uint64_t>(rawSendCounts[j + k * e]) * axis; } } for (uint32_t j = 0U; j < startExpertIdx; j++) { params.sendOffset[i] += static_cast<uint64_t>(rawSendCounts[j + i * e]) * axis; } } ### 修改后(O(rankDim × e)) 维护前缀和变量 sendRowPrefixSum 增量累积,避免重复计算: cpp uint64_t sendRowPrefixSum = 0UL; for (uint32_t i = 0U; i < rankDim; i++) { uint64_t rowSum = 0UL; for (uint32_t j = 0U; j < startExpertIdx; j++) { rowSum += static_cast<uint64_t>(rawSendCounts[j + i * e]) * axis; } params.sendOffset[i] = sendRowPrefixSum + rowSum; for (uint32_t j = startExpertIdx; j < e; j++) { rowSum += static_cast<uint64_t>(rawSendCounts[j + i * e]) * axis; } sendRowPrefixSum += rowSum; } **数学等价性**:两种实现均计算 sendOffset[i] = (rank [0, i) 所有 expert 的 sendCount 总和) + (rank i 上 expert [0, startExpertIdx) 的 sendCount 之和) × axis 仅计算方式不同,结果完全一致。当 rankDim 较大(大规模 EP 场景)时收益显著。 ## 修改 2:宏缺陷修复(mc2_templates.h) GET_NESTED_TILING_DATA_MEMBER_ADDR 宏在 CONST_TILING 分支存在两处错误: - outerPtr##var(错误的 token 拼接)应为宏参数 outerMember - 强制转换目标 (const int32_t)(标量)应为 (const int32_t *)(指针) 该宏被 allto_allv_quant_grouped_mat_mul_apt.cpp 使用,修复前无法正确获取嵌套 tiling 成员地址。 ## 测试 - 两项修改均通过数学等价性/逻辑分析验证 See merge request: cann/ops-transformer!11873 | 2 months ago | |
feat(mhc_pre_backward): MhcPreBackward算子性能优化 Co-authored-by: hyhhh14<huangyuehua6@huawei.com> # message auto-generated for no-merge-commit merge: !11644 merge mhc_pre_backward_upstream into master feat(mhc_pre_backward): MhcPreBackward算子性能优化 Created-by: hyhhh14 Commit-by: hyhhh14 Merged-by: cann-robot Description: ## 描述 性能优化 1. 使用低阶 Cube 接口实现 C0/C1 计算,并由 Tiling 下发 Matmul 及片上缓存配置。 2. 优化 L1/L0 双缓冲和 C0/V2/C1 流水,减少数据搬运及流水等待。 3. 新增 aclnnMhcPreBackwardV2 接口以支持 HF32 模式;原有 V1 接口继续使用 FP32,保持兼容 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5265 ## 测试 已完成以下验证: - V1/V2 接口 UT 及参数校验。 - FP32/HF32 精度测试。 - BSND/TND、可选 gamma 和 gradXPost 场景测试。 - 算子泛化、确定性、压力及 Sanitizer 测试。 - Ascend 950 性能测试及基线对比。 ## 文档更新 - 新增 aclnnMhcPreBackwardV2 接口文档和调用样例。 - 更新 README.md 及原有 V1 接口说明。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11644 | 2 months ago | |
moe_token_permute_with_routing_map_grad: 补齐example资源释放 Co-authored-by: kdy18482276080<kongdeyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !11229 merge fix/moe_token_permute_with_routing_map_grad_example_leak into master moe_token_permute_with_routing_map_grad: 补齐example资源释放 Created-by: kdy18482276080 Commit-by: kdy18482276080 Merged-by: cann-robot Description: ## 描述 修复 moe_token_permute_with_routing_map_grad 算子 example 清理路径遗漏:补齐 ppermutedProbsOutputGrad、proutingMapOptional、out2 的 aclDestroyTensor,以及对应 device 内存 permutedProbsOutputGrad_Addr、routingMapOptionalAddr、outAddr2 的 aclrtFree。 修改文件:moe/moe_token_permute_with_routing_map_grad/examples/test_aclnn_moe_token_permute_with_routing_map_grad.cpp 目标分支:master ## 关联的Issue 关联Issue #4810 https://gitcode.com/cann/ops-transformer/issues/4810 ## 测试 - 按 docs/zh/context/compile_and_run_sample.md 编译 example - 在 Atlas A2 上运行 opapi_test,正常输出结果并以 exit 0 退出 ## 文档更新 无 ## 类型标签 - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11229 | 2 months ago | |
refactor(posembedding): 移除op_kernel头文件的__has_include守卫, 统一include真实头文件路径 Co-authored-by: alfengyuan<yyfgdut@gmail.com> # message auto-generated for no-merge-commit merge: !11943 merge refactor/posembedding-has-include-4948 into master refactor(posembedding): 移除op_kernel头文件的__has_include守卫, 统一include真实头文件路径 Created-by: alfengyuan Commit-by: alfengyuan Merged-by: cann-robot Description: ## 描述 posembedding 下 6 处 op_kernel 头文件使用 #if __has_include(...) 条件包含跨算子公共头,其中主分支对应的 apply_rotary_pos_emb/arch35/ 布局在当前构建下已不存在,属于死代码。参考 PR #11073 的同套路整改:删除 __has_include 守卫及 #else 回退分支,统一直接 include 真实头文件路径 ../../apply_rotary_pos_emb/op_kernel/arch35/apply_rotary_pos_emb_common.h。 涉及 apply_rotary_pos_emb_grad / rotary_position_embedding / rotary_position_embedding_grad 三个算子共 6 个文件,净删除 24 行,无逻辑变化。 ## 关联的Issue 关联Issue #4948:https://gitcode.com/cann/ops-transformer/issues/4948 ## 测试 用 ccec -E(cann-9.2.0)模拟真实构建 staging 布局(依赖 op_kernel 拷贝为 <op>/<dep>/op_kernel/,与 op_kernel 平级)验证: - rotary_position_embedding_apt.cpp 全量预编译通过(覆盖 4 个改动文件) - apply_rotary_pos_emb_grad_common.h / rotary_position_embedding_grad_common.h 跨算子 include 预编译通过 - posembedding 目录 grep 确认无残留 __has_include ## 文档更新 无 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11943 | 2 months ago | |
fix(pre-commit): oat-check增加require_serial与SKIP日志,修复OAT合规检查漏拦 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11215 merge fix into master fix(pre-commit): oat-check增加require_serial与SKIP日志,修复OAT合规检查漏拦 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## issue:https://gitcode.com/cann/ops-transformer/issues/5016 ## 描述 ### 改动原因 oat-check hook 存在两个导致合规检查失效的问题: 1. 未设置 require_serial(默认 false),多核机器上 pre-commit 会把文件列表拆成多块并行调用 scripts/oat_check.sh。脚本内部 flock 串行化 + done-marker 缓存机制下,第一个抢到锁的分块(可能只含干净文件)扫完即写 marker,其余分块全部静默跳过——含版权头不合规文件的提交可整体漏过 OAT 检查(实测 6 文件混入 1 个问题文件场景,6 次中 5 次漏拦)。 2. 命中 done-marker 时静默 exit 0,hook 显示 "Passed" 但实际未做任何扫描,易造成误判(ops-nn 仓会输出 [SKIP] 日志)。 ### 改动方法 - .pre-commit-config.yaml:oat-check hook 增加 require_serial: true,禁止并行分块,所有 staged 文件单进程全量传入脚本检查 - scripts/oat_check.sh:命中 done-marker 时输出 [OAT] [SKIP] Already scanned HEAD=<sha> 日志后再退出(与 ops-nn 仓脚本对齐,两仓脚本现已一致) ### 兼容性 pre-commit 配置与检查脚本改动,不影响编译产物与算子功能。 ## 关联的Issue ## 测试 - 修复前:6 文件(5 干净 + 1 版权头不合规)提交场景,6 次重跑 5 次整体 Passed 漏拦 - 修复后:同场景连续 3 轮全部准确 Failed 拦截,问题文件稳定检出 - done-marker 命中场景验证:输出 [SKIP] Already scanned HEAD=xxx 日志,跳过可见 ## 文档更新 无 ## 类型标签 - [x] 🐛 缺陷修复 See merge request: cann/ops-transformer!11215 | 2 months ago | |
causal_conv1d算子UT修改及aclnn的DFX_IN入参补全 Co-authored-by: zhoulong50_hw<zhoulong50@huawei.com> # message auto-generated for no-merge-commit merge: !11181 merge changeUT into master causal_conv1d算子UT修改及aclnn的DFX_IN入参补全 Created-by: h1234515 Commit-by: zhoulong50_hw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. DFX打点补全:aclnnCausalConv1dFn / aclnnCausalConv1dUpdate 的 L2_DFX_PHASE_1 中 DFX_IN 补充 activation、nullBlockId 两个标量入参, 与算子实际入参列表保持一致 2. 修正UT用例预期:Ascend950_update_3d_seqlen_not_1 用例中 3D x 且 seqlen != 1 的场景,host侧校验逻辑实际支持(仅要求batch一致), 预期结果由 ACLNN_ERR_PARAM_INVALID 更正为 ACLNN_SUCCESS 3. 修正tiling UT入参顺序:test_causal_conv1d_tiling.cpp 中将 bias 与 conv_states 顺序对调,与算子定义的实际入参顺序 (x, weight, conv_states, bias, ...) 保持一致 4. test_config.yaml 中 mamba.causal_conv1d 缩进格式修正 5. 部分代码格式(换行)整理 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4976 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟,compile ut测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11181 | 2 months ago | |
易用性:增加torch_extension call c++ api前类型校验报错信息 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11745 merge type_verify into master 易用性:增加torch_extension call c++ api前类型校验报错信息 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 为 torch_extension 在调用 C++/pybind API 前增加 Python 侧入参类型校验,将原先含糊的 argN 报错提升为带真实参数名的 pybind 风格文案,提升易用性。 方案要点: - 在 cann_ops_transformer/utils/arg_check.py 提供 wrap_op_module:按 pybind __doc__ 解析参数名与类型,对明确类型错误前置拦截并改写报错 - 在 OpBuilder.load() 统一接入,算子侧仍写 _builder.load(),无需逐算子包装 - 策略:**宁可放给 pybind,不能误拦**——仅拦截明确错类型(如 str/float 当 int);bool、numpy 标量、doc 解析失败等模糊情况放行,由 pybind 裁决 - 不做 tensor dtype/device/shape;参数个数、非法 kwargs、取值范围仍交 pybind/C++ - 附带 @check_args / require_*,供纯 Python API 选用(非本方案主路径) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5243 ## 测试 - mega_moe:get_mega_moe_ccl_buffer_size 传入 num_experts='128'(底层 moe_expert_num)时,报错含真实参数名 moe_expert_num,文案含 supported / Invoked with / Mismatched argument ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11745 | 2 months ago | |
pre-commit: set AllowShortFunctionsOnASingleLine to Empty Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !10461 merge fix_2 into master pre-commit: set AllowShortFunctionsOnASingleLine to Empty Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10461 | 2 months ago | |
产品文档png文件名改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9654 merge master into master 产品文档png文件名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9654 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
fix(pre-commit): oat-check增加require_serial与SKIP日志,修复OAT合规检查漏拦 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11215 merge fix into master fix(pre-commit): oat-check增加require_serial与SKIP日志,修复OAT合规检查漏拦 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## issue:https://gitcode.com/cann/ops-transformer/issues/5016 ## 描述 ### 改动原因 oat-check hook 存在两个导致合规检查失效的问题: 1. 未设置 require_serial(默认 false),多核机器上 pre-commit 会把文件列表拆成多块并行调用 scripts/oat_check.sh。脚本内部 flock 串行化 + done-marker 缓存机制下,第一个抢到锁的分块(可能只含干净文件)扫完即写 marker,其余分块全部静默跳过——含版权头不合规文件的提交可整体漏过 OAT 检查(实测 6 文件混入 1 个问题文件场景,6 次中 5 次漏拦)。 2. 命中 done-marker 时静默 exit 0,hook 显示 "Passed" 但实际未做任何扫描,易造成误判(ops-nn 仓会输出 [SKIP] 日志)。 ### 改动方法 - .pre-commit-config.yaml:oat-check hook 增加 require_serial: true,禁止并行分块,所有 staged 文件单进程全量传入脚本检查 - scripts/oat_check.sh:命中 done-marker 时输出 [OAT] [SKIP] Already scanned HEAD=<sha> 日志后再退出(与 ops-nn 仓脚本对齐,两仓脚本现已一致) ### 兼容性 pre-commit 配置与检查脚本改动,不影响编译产物与算子功能。 ## 关联的Issue ## 测试 - 修复前:6 文件(5 干净 + 1 版权头不合规)提交场景,6 次重跑 5 次整体 Passed 漏拦 - 修复后:同场景连续 3 轮全部准确 Failed 拦截,问题文件稳定检出 - done-marker 命中场景验证:输出 [SKIP] Already scanned HEAD=xxx 日志,跳过可见 ## 文档更新 无 ## 类型标签 - [x] 🐛 缺陷修复 See merge request: cann/ops-transformer!11215 | 2 months ago | |
fix: Modify the AIDD docs issue Co-authored-by: zwj223<zhangwenjing55@h-partners.com> # message auto-generated for no-merge-commit merge: !9326 merge master into master fix: Modify the AIDD docs issue Created-by: zwj223 Commit-by: zwj223 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修改AIDD扫描的核心资料问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3995](https://gitcode.com/cann/ops-transformer/issues/3995) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> torch_api_list.md op_list.md ascend950_op_list.md aclnn返回码.md 互推导关系.md ... ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9326 | 3 months ago | |
fix(moe_ffn): 修复自定义包编译失败并改用标准tiling注册 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !11755 merge fix_moe_ffn_build into master fix(moe_ffn): 修复自定义包编译失败并改用标准tiling注册 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 fix(moe_ffn): 修复自定义包编译失败并改用标准tiling注册 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5237 ## 测试 本地验证,编排构建,rdv冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11755 | 2 months ago | |
产品文档png文件名改为英文名 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !9654 merge master into master 产品文档png文件名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 产品文档中的png图片名由中文改为英文 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> [#3899](https://gitcode.com/cann/ops-transformer/issues/3899) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> NA ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> png和相关的link md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9654 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
feat: add BlockAttnResPrepare tiling and kernel Co-authored-by: zhaoyingchao<zhaoyingchao1@hisilicon.com> # message auto-generated for no-merge-commit merge: !10972 merge codex/block-attn-res-prepare-core into master feat: add BlockAttnResPrepare tiling and kernel Created-by: zhaoyingchao2 Commit-by: zhaoyingchao Merged-by: cann-robot Description: ## 关联 Issue 关联 [#4749](https://gitcode.com/cann/ops-transformer/issues/4749) ## 描述 新增 BlockAttnResPrepare 的算子原型、InferShape、host tiling 与 Ascend 950 kernel: - tiling key 1000:纯 AIV 小规格回退路径。 - tiling key 2000:1 AIC : 2 AIV mixed 路径,调用 ops-tensor 公共 kernel 模板。 - 固定 OPTENSOR_TAG_ID 到已合入的公共模板提交。 - 补充 InferShape、host tiling、opkernel UT、TTK CSV 和 golden。 ## 测试 - clang-format 18.1.8:通过。 - Ruff 0.14.14:通过。 - git diff --check:通过。 - PR 分支包含 host/kernel UT,可独立执行线上 compile 门禁。 ## 拆分关系 本 PR 是 aclnn 与 torch 两个后续 PR 的前置核心实现。 See merge request: cann/ops-transformer!10972 | 2 months ago | |
docs: README Latest News新增2026/08 pre-commit集成动态 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11231 merge fix_3 into master docs: README Latest News新增2026/08 pre-commit集成动态 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 描述 为 README.md「Latest News」板块补充 2026/08 月度动态:本仓库于本月集成 pre-commit 代码检查框架,进一步完善工程化质量保障体系。 **背景与价值** 随着社区贡献规模增长,代码风格不一致、许可证头缺失等问题易在 CI 阶段才被发现,造成贡献者反复返工。本次集成将质量检查前移至本地提交环节: - **提交即检查**:完成一次性环境配置后, git commit 自动执行代码检查与格式修复,包括 C/C++ 与 Python 代码格式化(clang-format / ruff)、拼写检查(codespell)以及开源合规检查(OAT:许可证头校验、二进制文件拦截) - **降低贡献门槛**:规范问题在提交前自动拦截并修复,减少贡献者返工,提升代码合入效率与社区协作体验 - **历史提交可补查**:git pc HEAD~x 支持对既有提交的变更文件补跑检查,与 CI codecheck_precommit 门禁保持一致 详细配置步骤与常见问题请参考 [pre-commit 配置指导书](docs/zh/develop/pre-commit_guide.md)。 ## 测试 - 纯文档变更(README.md 单行新增),不涉及代码逻辑 - 已通过 pre-commit 本地检查 ## 文档更新 - README.md Latest News 新增 2026/08 条目,链接指向仓内已有指导文档 See merge request: cann/ops-transformer!11231 | 2 months ago | |
修复文档链接跳转失效问题 Co-authored-by: weihao18<weihao16@h-partners.com> # message auto-generated for no-merge-commit merge: !8061 merge fix_security_md into master 修复文档链接跳转失效问题 Created-by: weihao18 Commit-by: weihao18 Merged-by: cann-robot Description: ## 描述 修复SECURITY.md文档 [A-文件(夹)各场景权限管控推荐最大值] 链接跳转失效问题 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/3373 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!8061 | 4 months ago | |
支持按模板参数编译算子kernel、支持编译入参调试异常与调优参数 Co-authored-by: lidongsheng<lidongsheng43@huawei.com> Co-authored-by: 吴剑飞<wujianfei15@huawei.com> # message auto-generated for no-merge-commit merge: !2170 merge 910_lds into master 支持按模板参数编译算子kernel、支持编译入参调试异常与调优参数 Created-by: qq_46353993 Commit-by: 吴剑飞;lidongsheng Merged-by: cann-robot Description: ## 描述 本次修改支持用户通过build.sh的编译入口传入模板参数--kernel_template_input后按tilingkey编译、传入--bisheng_flags进行调试异常 ## 关联的Issue [支持按模板参数指定编译kernel](https://gitcode.com/cann/ops-transformer/issues/1036) [支持编译入参新增调试异常和调优参数](https://gitcode.com/cann/ops-transformer/issues/1044) ## 测试 二级冒烟、指定模板参数编译并执行测试用例 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-transformer!2170 | 8 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
用例修复 &文档问题修改 Co-authored-by: cpy_123456<chenpengyi@huawei.com> # message auto-generated for no-merge-commit merge: !11233 merge cpy_3 into master 用例修复 &文档问题修改 Created-by: cpy_123456 Commit-by: cpy_123456 Merged-by: cann-robot Description: ## 描述 moe&ffn用例问题修复 &文档问题修改 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4989 ## 测试 通过build.sh验证用例文件 ## 文档更新 moe/moe_init_routing_v3/README.md moe/moe_init_routing_v3/docs/aclnnMoeInitRoutingV3.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11233 | 2 months ago | |
fix cleanCode rules Co-authored-by: candy_cloud_fly<tangyunfei4@h-partners.com> # message auto-generated for no-merge-commit merge: !11654 merge clean_code into master fix cleanCode rules Created-by: candy_cloud_fly Commit-by: candy_cloud_fly Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复clean code 的错误配置 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11654 | 2 months ago | |
update cmake minimum required to 3.18.4 Co-authored-by: poorwill<wangbing110@huawei.com> # message auto-generated for no-merge-commit merge: !9634 merge master into master update cmake minimum required to 3.18.4 Created-by: wangbing110 Commit-by: poorwill Merged-by: cann-robot Description: update cmake minimum required to 3.18.4 See merge request: cann/ops-transformer!9634 | 3 months ago | |
Pre-Commit 规范整改 — 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !5305 merge refactor into master Pre-Commit 规范整改 — 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于公共文件进行了pre-commit检查 See merge request: cann/ops-transformer!5305 | 4 months ago | |
升级 ops-transformer 版本至 9.2.0 Co-authored-by: wang-minbo<wangminbo1@hisilicon.com> # message auto-generated for no-merge-commit merge: !11465 merge master into master 升级 ops-transformer 版本至 9.2.0 Created-by: wang-minbo Commit-by: wang-minbo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000-->https://gitcode.com/cann/ops-transformer/issues/5083 <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11465 | 2 months ago | |
check_compile_version Co-authored-by: 吴剑飞<wujianfei15@huawei.com> # message auto-generated for no-merge-commit merge: !2085 merge check_version into master check_compile_version Created-by: hid81635372 Commit-by: 吴剑飞 Merged-by: cann-robot Description: ## 描述 工程上支持在编译时对子包版本进行校验 ## 关联的Issue https://gitcode.com/cann/ops-transformer/pull/2085 ## 测试 功能上可以在子包版本低于构建依赖时进行告警,RDV已通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述: 工程能力增加编译时版本校验功能 See merge request: cann/ops-transformer!2085 | 8 months ago |
ops-transformer
🔥Latest News
- [2026/08] 仓内集成pre-commit代码检查框架,配置后
git commit时自动检查并修复格式问题,将规范问题拦截在提交阶段、提升代码合入效率,详见pre-commit配置指导书。 - [2026/07] A5上新支持算子quant_flash_attn,Dense Attention全量化场景专用,以及experimental目录新增同名算子支持A5的MxFP4全量化;chunk_gated_delta_rule算子支持A5;A5新增DSV4 dense训练阶段TopK筛选反向算子dense_lightning_indexer_grad_kl_loss、dense_lightning_indexer_softmax_lse;mc2新支持算子engram_fetch_grad。
- [2026/06] A5上新增支持sparse_flash_mla、mixed_quant_sparse_flash_mla以及对应的metadata算子,用于DSV4场景稀疏Attention计算。新增lightning_indexer_v2、quant_lightning_indexer_v2以及对应的metadata算子,用于DSV4场景TopK筛选。A5新增DSV4 sparse训练阶段Attention反向算子sparse_flash_mla_grad、sparse_lightning_indexer_kl_loss_grad;mc2新支持算子engram_fetch、engram_fetch_wait。
- [2026/05] fused_infer_attention_score算子A5上支持MxFP8全量化;A5上新支持算子flash_attn,Dense Attention非量化场景专用。
- [2026/04] mc2新支持算子mega_moe。
- [2026/03] recurrent_gated_delta_rule算子支持A5。
- [2026/02] 新支持算子mhc_post、mhc_pre、mhc_res。
- [2026/01] 新支持算子grouped_matmul<<<>>>调用示例,方便用户自定义使用。
- [2026/01] 新支持算子fused_floyd_attention、fused_floyd_attention_grad、matmul_allto_all。
- [2025/12] 新增QuickStart,指导新手零基础入门算子项目部署(支持Docker环境)、算子开发和贡献流程。
- [2025/12] 优化指南类文档,聚焦算子开发指南,明确最小交付件和关键示例代码,针对Ascend/samples仓算子提供迁移本项目的指导。
- [2025/12] 支持transformer类onnx算子插件,包括NPUFlashAttention、NPUMultiHeadAttention、NPUMoeComputeExpertTokens等。
- [2025/12] 新支持算子kv_rms_norm_rope_cache、attention_update、attention_worker_scheduler、gather_pa_kv_cache、kv_quant_sparse_flash_attention、lightning_indexer_grad、mla_preprocess、mla_preprocess_v2、grouped_matmul_swiglu_quant_v2、attention_to_ffn、ffn_to_attention。
- [2025/12] 开源算子支持NPU Simulator仿真工具开发调试。
- [2025/12] 开源算子支持Ascend 950PR/Ascend 950DT/KirinX90系列产品。
- [2025/11] 新支持算子kv_quant_sparse_flash_attention、lightning_indexer、quant_lightning_indexer、sparse_flash_attention。
- [2025/11] 新支持示例算子rope_matrix和all_gather_add。
- [2025/11] 新增算子开发工程模板NpuOpsTransformerExt,无缝集成PyTorch张量操作,支持自动微分和GPU/NPU统一接口。
- [2025/10] 新增experimental目录,完善贡献指南,支持开发者调试并贡献自定义算子。
- [2025/09] ops-transformer项目首次上线,开源算子支持Atlas A2/A3系列产品。
🚀概述
ops-transformer是CANN(Compute Architecture for Neural Networks)算子库中提供transformer类大模型计算的进阶算子库,包括attention类、moe类、mc2类等,覆盖各类attention、MoE计算、通算融合等场景,算子库在架构图中的位置如下。

📌版本配套
本项目源码会跟随CANN软件版本发布,关于CANN软件版本与本项目标签的对应关系请参阅release仓库中的相应版本说明。 请注意,为确保您的源码定制开发顺利进行,请选择配套的CANN版本与Gitcode标签源码,使用master分支可能存在版本不匹配的风险。
🛠️环境准备
环境部署是体验本项目能力的前提,请先完成NPU驱动、CANN包安装等,确保环境正常。
⬇️源码下载
环境准备好后,下载与CANN版本配套的分支源码,通用命令如下,${tag_version}替换为分支标签名。以9.0.0分支源码下载为例:
# 通用命令:git clone -b ${tag_version} https://gitcode.com/cann/ops-transformer.git
git clone -b 9.0.0 https://gitcode.com/cann/ops-transformer.git
说明:若环境中已存在配套分支源码,可跳过本步骤,例如CANNLab默认已提供最新版本CANN对应的源码。
📖学习教程
💬相关信息
PS:本项目功能和文档正在持续更新和完善中,欢迎您关注最新版本。