| Files | Last commit | Last update |
|---|---|---|
修复多流控核问题 & VF整改 Co-authored-by: xieshengwei1024<xieshengwei3@huawei.com> # message auto-generated for no-merge-commit merge: !10370 merge master into master 修复多流控核问题 & VF整改 Created-by: xieshengwei1024 Commit-by: xieshengwei1024 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复多流控核问题 & VF整改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> vf整改已进行二进制验证,多流控核已通过脚本验证 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10370 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
修正 AttentionWorkerScheduler/FfnWorkerScheduler README 参数说明为算子入参出参 Co-authored-by: ayuemoon<15802951036@163.com> # message auto-generated for no-merge-commit merge: !10242 merge doc/worker-scheduler-readme-params into master 修正 AttentionWorkerScheduler/FfnWorkerScheduler README 参数说明为算子入参出参 Created-by: ayuemoon Commit-by: ayuemoon Merged-by: cann-robot Description: ## 描述 将 AttentionWorkerScheduler 与 FfnWorkerScheduler 两个 README 的「参数说明」从 aclnn 接口参数改为算子 proto 的入参出参: - 参数名由 aclnn 驼峰命名改为 proto 下划线命名: scheduleContextRef → schedule_context、syncGroupSize → sync_group_size、executeMode → execute_mode - 删除 aclnn 专属的 workspaceSize、executor 两行 - ffn 的 sync_group_size、execute_mode 标注由「输入」改为「属性」(对应 proto 的 .ATTR) - ffn 参数说明表头「输入/输出」改为「输入/输出/属性」 ## 关联的Issue 无 ## 测试 无(仅文档改动) ## 文档更新 本 PR 即为文档更新。 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10242 | 2 months ago | |
【BSA_MXFP4】interface bug fix Co-authored-by: liwenguihw<liwengui7@huawei.com> # message auto-generated for no-merge-commit merge: !10550 merge bsa_mxfp4_bug_fix_0824 into master 【BSA_MXFP4】interface bug fix Created-by: liwenguihw Commit-by: liwenguihw Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> BSA孙子interface处 workspace传参和lse位置错位修复 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4466 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10550 | 2 months ago | |
fix BSAG 变量名拼写错误 Co-authored-by: tramp-ll<linglong4@huawei.com> # message auto-generated for no-merge-commit merge: !10400 merge master into master fix BSAG 变量名拼写错误 Created-by: tramp-ll Commit-by: tramp-ll Merged-by: cann-robot Description: ## 描述 修正了 block_sparse_attention_grad_tiling_arch22.cpp 中arch22写成arch32拼写错误的问题 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4448 ## 测试 NA ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10400 | 2 months ago | |
完成(attention 热点 / common / 跨组件)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10204 merge clear_pr5_pr7 into master 完成(attention 热点 / common / 跨组件)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR5 + PR6 + PR7**( attention 热点 / attention/common / 跨组件)整改,消除该范围内单仓同名头冲突;并关闭本范围在 CI 上会失败/挂死的 FIA、PFA host UT。 **原因**:清单内 attention 热点、common 与跨组件仍有大量同名头;合入后 PR UT 会编入 fused_infer_attention_score / prompt_flash_attention,线上出现 FIA PFA tiling 失败与 PFA 310P 卡死,与本次改名无直接逻辑关系,故在本分支同步关闭二者 PR UT,避免阻塞合入。 **方法**:对照 clear-repeat-h 仓内规则改名并同步 #include、\file、guard;无业务逻辑与格式化变更。test_config.yaml 将对应结点 test.ut 设为 False。 ### 仓内分类规则(clear-repeat-h) 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | 本分支实际用到:**1.1**、**1.2**、**1.3**、跨组件消歧(**1.1-cross**:mc2 侧 mc2_mega_moe_* / tla_v2_* / mc2_3rd_*)。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 5 | attention 热点(FA / FIAS / QFA / BSA / sparse-grad) | 47 | 完成 | | 6 | attention/common | 11 | 完成 | | 7 | 跨组件(moe↔mc2 / attn↔mc2 等,本批主要为 mc2/mega_moe、mc2/3rd) | 27 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | FIAS / FA 消歧 | 次要副本加 *_fused_infer.h 等算子后缀 | | 跨组件(本仓 mc2 侧) | mega_moe TLA → tla_v2_*;3rd → mc2_3rd_*;moe↔mc2 的 mc2 侧 → mc2_mega_moe_*(非 quant)/ mc2_mega_moe_quant_*(quant) | ### CI UT 关闭(本分支) | 算子 | tests/test_config.yaml | 线上现象 | |------|--------------------------|----------| | fused_infer_attention_score | test.ut: False | FusedInferAttentionScore_PFA_tiling_{5,6,7,15} ExecuteTiling 失败 | | prompt_flash_attention | test.ut: False | PromptFlashAttention_310p_tiling_0 长时间卡死 | 说明:本地单跑上述用例可过;失败/卡死出现在 CI 多 SoC + --cov + 全量顺序路径。本批关闭是为避免重名整改 PR 被存量 UT 阻塞,**不是**用 yaml 掩盖改名引入的编译错误。 ### 本分支变更统计(相对 392484305) | 项 | 数量 | |----|-----:| | rename | 133 | | 修改(含 include / \file / guard / yaml) | 143 | | **合计** | **276** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | attention/fused_infer_attention_score | 55 | | mc2/mega_moe | 48 | | attention/quant_flash_attn | 28 | | attention/common | 22 | | attention/block_sparse_attention 及 BSA / sparse-* / FA | 余量 | | tests/test_config.yaml | 1 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [x] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10204 | 2 months ago | |
fix(log): correct log text in RGDR/CGDR op_host and tests (A4+B3, 69 issues) Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !10644 merge fix-log-rgdr-cgdr-a4-b3 into master fix(log): correct log text in RGDR/CGDR op_host and tests (A4+B3, 69 issues) Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 修复内容 修复 recurrent_gated_delta_rule 和 chunk_gated_delta_rule 中 69 条日志规范问题。 ### A4 算子代码(4条) - RGDR tiling: should greater → should be greater (T和B两处) - RGDR aclnn: sucess → success - CGDR tiling: should no bigger → should be no bigger ### B3 测试代码(65条) - 禁止自定义打印(58): print → logger.info/warning/error - 禁止中文(3): 日志字符串中文 → 英文 - 语法错误(2): 按修复建议改 - 拼写错误(2): 按修复建议改 ### 验证 - pre-commit 全部 Passed - 代码逻辑零改动 ## 关联的Issue #4600 See merge request: cann/ops-transformer!10644 | 2 months ago | |
整改安装重名头文件:权威 TLA / attention/common / mc2/common / math 侧保留;改次要副本 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10499 merge clear_repeat_h_29 into master 整改安装重名头文件:权威 TLA / attention/common / mc2/common / math 侧保留;改次要副本 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 **PR-3:其余算子 / 3rd 碰撞 / 3.7 类消歧**(控变更文件数 < 200),消除安装包内跨算子同名头冲突。 **方法**:低风险只改次要副本——权威树 mc2/3rd/template_linear_algebra、attention/common、mc2/common 等保留原名;次要侧加算子/组件前缀(kda_ / msa_ / gmm_ / mrs_v2_ / agm_v2_ / apace_ / wq_ / mararn_ 等)。同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则(节选,本批相关) | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.3 | atvoss submodule 多份可见 | 否 | 不解决(归需屏蔽) | | 3.4 | aclnn level2 双路径兼容 | 否 | 330 废弃(归需屏蔽) | | 3.7 | transformer 误拷贝 math | 是 | 本仓特化拷贝改名消歧(无法直接删改用 math) | | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 / 去重 | 本批实际:**3.9** + **3.7 消歧** + 同名不同实现亦改名;权威/公共树保留原名。 ### 范围与结果 | 项 | 说明 | |----|------| | 范围 | 仍需整改清单中除 common.h / moe_common.h / moe_v2_common.h 外的成对/跨组件/TLA 次要副本 | | 映射条数 | **43**(pr3_remap_batch1.tsv + pr3_remap_batch2.tsv)+ nd2nz 去重 + masked_select 改名 | | 权威 TLA 包内多路径 | dispatch_policy.hpp / tile_copy.hpp 等同组件备案,**本批不改** | | 变更文件数 | **196**(< 200 硬约束) | ### 命名约定 | 场景 | 约定 | |------|------| | chunk_kda / msa 次要 | kda_* / msa_* | | matmul_reduce_scatter_v2 | mrs_v2_* | | all_gather_matmul_v2 | agm_v2_* | | gmm / apace / weight_quant | gmm_* / apace_* / wq_* | | matmul_all_reduce_add_rms_norm | mararn_* | | include guard | 与文件名前缀一致(如 CATLASS_KDA_*) | | 设备属性宏 | **保持** CATLASS_DEVICE 等原名(不随文件前缀改) | ### 其它处置 | 项 | 处置 | |----|------| | masked_select_v3.h | → moe_token_permute_masked_select_v3.h(算子特化,消歧 basename) | | batch_mat_mul_nd2nz.h | 删 mat_mul_v3 副本,改为 include batch_mat_mul_v3 侧(内容相同) | | sparse_flash_mla metadata | root → *_kernel_metadata.h;arch22 → *_arch22_metadata.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | 变更文件 | **196** | | 行变更 | +375 / -797 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10499 | 2 months ago | |
fix(fia): 移除 fused_infer_attention_score.cpp 冗余的 tilingkey 头文件包含 && arch38 add fixShiftVal Co-authored-by: leiqingji<leiqingji@h-partners.com> # message auto-generated for no-merge-commit merge: !10317 merge fix/fia-remove-redundant-tilingkey-include into master fix(fia): 移除 fused_infer_attention_score.cpp 冗余的 tilingkey 头文件包含 && arch38 add fixShiftVal Created-by: leiqingji Commit-by: leiqingji Merged-by: cann-robot Description: ## 描述 fused_infer_attention_score.cpp 中 #include "arch22/fused_infer_attention_score_tilingkey.h" 为冗余包含,该头文件已在 arch22/fused_infer_attention_score_v3.cpp 中被包含,而本文件在第48行已通过 #include "arch22/fused_infer_attention_score_v3.cpp" 间接引入,导致重复 include。 ## 改动 - attention/fused_infer_attention_score/op_kernel/fused_infer_attention_score.cpp: 移除冗余的 #include "arch22/fused_infer_attention_score_tilingkey.h" - tilingkey 头文件由 arch22/fused_infer_attention_score_v3.cpp 正常包含,不影响原有编译与行为 ## 关联的Issue #4305 ## 测试 - 移除冗余 include,不改变任何编译产物与运行逻辑 - 原有行为完全不受影响 ## 类型标签 - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10317 | 2 months ago | |
fix(compressor): validate A3 cache mode and grad enabled Co-authored-by: qiansunchi<qiansunchi@huawei.com> # message auto-generated for no-merge-commit merge: !10624 merge master into master fix(compressor): validate A3 cache mode and grad enabled Created-by: qiansunchi159 Commit-by: qiansunchi Merged-by: cann-robot Description: ## 描述 compressor算子A2/A3对cacheMode和gradEnable进行校验, 不支持的值直接报错 ## 关联的Issue 关联issue #4581 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [x] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10624 | 2 months ago | |
修复compressor多轮自动反向bug Co-authored-by: wuhaogl<wuhao305@h-partners.com> # message auto-generated for no-merge-commit merge: !10341 merge master into master 修复compressor多轮自动反向bug Created-by: wuhaogl Commit-by: wuhaogl Merged-by: cann-robot Description: ## 描述 修复compressor多轮自动反向bug 1. state_cache.copy_(new_state_cache) 对**作为 autograd Function 入参的张量**做就地修改,且未置于 torch.no_grad() 下;该张量又在循环中被持续复用为后续前向的入参,PyTorch 会将其识别为“图内被就地污染的变量”,导致下一次 backward 访问 ctx.saved_tensors 时报“第二次反传/已释放”。 2. state_cache在算子内部原地修改,PTA中移出state_cache的额外操作 ## 关联的Issue 关联Issue https://gitcode.com/cann/ops-transformer/issues/4453 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10341 | 2 months ago | |
完成(moe / attention 外围)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10202 merge clear_pr3_pr4 into master 完成(moe / attention 外围)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR3 + PR4**( moe 纯组件 / attention 外围)整改,消除该范围内单仓同名头冲突。 **原因**:清单内 moe 与 attention 外围仍有大量同名头,违反「单仓内原则上不允许重名头文件」;易导致 include 误解析、维护成本上升。 **方法**:优先只改内部/次要副本(保留对外公开名与主路径原名),并同步更新 #include、\file 及必要 include guard。无业务逻辑与格式化变更。 ### 仓内分类规则 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件,避免相对 include 误解析) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.2(同内容改 arch / 算子后缀,不删文件)**、**1.3**。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 3 | moe 纯组件 | 48 | 完成 | | 4 | attention 外围(indexer / NSA 杂项 / mla-chunk / compressor 等) | 64 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | 1.3 对外+包内 | 保留 op_api;包内 → *_kernel.h 或 *_archXX.h | | 跨算子同名 | 保留主算子原名;次要副本加算子/场景后缀 | | quant 与 routing 消歧(moe) | quant_v2/inner → *_quant_pkg_inner.h;quant arch35 → *_quant_arch35.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | rename | 189 | | 修改(含 include / \file / guard 同步) | 72 | | **合计** | **261** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | moe/moe_init_routing_quant_v2 | 31 | | attention/mla_prolog、attention/compressor | 各 25 | | moe/moe_init_routing_v3 | 16 | | attention/lightning_indexer_v2、quant_lightning_indexer_v2 | 各 11 | | 其余 moe init/permute、indexer、NSA、chunk、gating 等 | 余量 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10202 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
[G项目] 修改部分资料 Co-authored-by: Kenny_Ke<kejunchun2@huawei.com> # message auto-generated for no-merge-commit merge: !10446 merge kjc_tmp into master [G项目] 修改部分资料 Created-by: Kenny_Ke Commit-by: Kenny_Ke Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10446 | 2 months ago | |
完成(moe / attention 外围)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10202 merge clear_pr3_pr4 into master 完成(moe / attention 外围)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR3 + PR4**( moe 纯组件 / attention 外围)整改,消除该范围内单仓同名头冲突。 **原因**:清单内 moe 与 attention 外围仍有大量同名头,违反「单仓内原则上不允许重名头文件」;易导致 include 误解析、维护成本上升。 **方法**:优先只改内部/次要副本(保留对外公开名与主路径原名),并同步更新 #include、\file 及必要 include guard。无业务逻辑与格式化变更。 ### 仓内分类规则 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件,避免相对 include 误解析) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.2(同内容改 arch / 算子后缀,不删文件)**、**1.3**。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 3 | moe 纯组件 | 48 | 完成 | | 4 | attention 外围(indexer / NSA 杂项 / mla-chunk / compressor 等) | 64 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | 1.3 对外+包内 | 保留 op_api;包内 → *_kernel.h 或 *_archXX.h | | 跨算子同名 | 保留主算子原名;次要副本加算子/场景后缀 | | quant 与 routing 消歧(moe) | quant_v2/inner → *_quant_pkg_inner.h;quant arch35 → *_quant_arch35.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | rename | 189 | | 修改(含 include / \file / guard 同步) | 72 | | **合计** | **261** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | moe/moe_init_routing_quant_v2 | 31 | | attention/mla_prolog、attention/compressor | 各 25 | | moe/moe_init_routing_v3 | 16 | | attention/lightning_indexer_v2、quant_lightning_indexer_v2 | 各 11 | | 其余 moe init/permute、indexer、NSA、chunk、gating 等 | 余量 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10202 | 2 months ago | |
[G项目] 修改部分资料 Co-authored-by: Kenny_Ke<kejunchun2@huawei.com> # message auto-generated for no-merge-commit merge: !10446 merge kjc_tmp into master [G项目] 修改部分资料 Created-by: Kenny_Ke Commit-by: Kenny_Ke Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10446 | 2 months ago | |
[G项目] 修改部分资料 Co-authored-by: Kenny_Ke<kejunchun2@huawei.com> # message auto-generated for no-merge-commit merge: !10446 merge kjc_tmp into master [G项目] 修改部分资料 Created-by: Kenny_Ke Commit-by: Kenny_Ke Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10446 | 2 months ago | |
整改flash_attention_score中错误代际的目录 Co-authored-by: yue-ma<mayue54@huawei.com> # message auto-generated for no-merge-commit merge: !10354 merge master into master 整改flash_attention_score中错误代际的目录 Created-by: yue-ma Commit-by: yue-ma Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 整改flash_attention_score中错误代际的目录 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4458 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> UT通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10354 | 2 months ago | |
【FAG】fix oom Co-authored-by: coder_linx<linzhu3@huawei.com> # message auto-generated for no-merge-commit merge: !10449 merge david_0822_oom into master 【FAG】fix oom Created-by: coder_linx Commit-by: coder_linx Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10449 | 2 months ago | |
feat(flash_attn): TTK 资产补齐 metadata 生成能力(npu_preprocess + sidecar 协议) Co-authored-by: PerrySkywalker<wangmingkang1@huawei.com> # message auto-generated for no-merge-commit merge: !10559 merge feat/flash_attn_ttk_metadata_assets into master feat(flash_attn): TTK 资产补齐 metadata 生成能力(npu_preprocess + sidecar 协议) Created-by: PerrySkywalker Commit-by: PerrySkywalker Merged-by: cann-robot Description: ## 描述 为 attention/flash_attn/tests/assets 补齐 TTK metadata 生成能力(资产保持自包含,运行时零 tests/pytests 依赖): - 新增 impl/npu_preprocess.py:npu_preprocess hook,主算子调用前通过 flash_attn_metadata 算子生成 metadata 并填充 CSV 占位;支持 BNSD/BSND/TND/PA_BBND/PA_BNBD/PA_NZ 六种布局的 head/batch/max_seqlen 推导;sidecar 手动数据优先,推导后回存 - 新增 impl/metadata_protocol.py + impl/metadata_inputs.py:TTK 手动数据 sidecar 协议与 standalone metadata 输入适配 - impl/inputs.py:customize_inputs 清零 metadata 占位(zero_metadata) - impl/graph.py:forward 强制内部重建 metadata(避免 CSV 占位 tensor 回归 graph 路径) - spec.py:注册 npu_preprocess hook 与 flash_attn_metadata 能力入口 - gen_cases.py:metadata 槽位输出 int32 占位 shape(((36+72)*B*N2+1)*16 向上 4096 对齐,TND 用 len(cu_seqlens_q)-1、kv_heads 用 N2);重新生成 7 套 testcase CSV ## 关联的Issue Fixes https://gitcode.com/cann/ops-transformer/issues/4556 ## 测试 - 小用例 E2E 冒烟(testcase/flash_attn_e2e_smoke.csv,7 行:BSND/TND/PA_BBND/BNSD × mask 0/4 × B=1/2 × LSE T/F)在 Ascend950PR 真实执行 **7/7 PASS(PassRate 100%)** - npu_preprocess 生效证据:eager 运行日志每行含 "build FlashAttn metadata from main API fallback" - gen_cases 基线防回归:84 用例除 metadata 槽位外逐字段一致;TND batch 语义(len(cu_q)-1)14 行验证;N2(非 N1)验证 - metadata_protocol sidecar:双 root roundtrip + fallback + symlink 拒绝等 33 项自检 PASS - pre-commit 全部 Passed ## 文档更新 无需更新文档 ## 类型标签 - [x] ✨ 新特性 - [x] 🧪 测试 See merge request: cann/ops-transformer!10559 | 2 months ago | |
[FA, QBSA, SFA, stem_indxer Metadata]: 修复workspace硬编码为0的bug Co-authored-by: ChengjiaWu<wuchengjia1@h-partners.com> # message auto-generated for no-merge-commit merge: !9891 merge master into master [FA, QBSA, SFA, stem_indxer Metadata]: 修复workspace硬编码为0的bug Created-by: ChengjiaWu Commit-by: ChengjiaWu Merged-by: cann-robot Description: ## 描述 修复FA, QBSA, SFA, stem_indxer 的metadata算子workspace硬编码为0的问题 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> Issue [#4210](https://gitcode.com/cann/ops-transformer/issues/4210) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9891 | 3 months ago | |
fused_causal_conv1d修改cache_indices的拦截 Co-authored-by: xiapengcheng5<xiapengcheng5@huawei.com> # message auto-generated for no-merge-commit merge: !10073 merge master into master fused_causal_conv1d修改cache_indices的拦截 Created-by: xiapengcheng5 Commit-by: xiapengcheng5 Merged-by: cann-robot Description: ## 描述 fused_causal_conv1d修改cache_indices的拦截 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4309 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 attention/fused_causal_conv1d/README.md attention/fused_causal_conv1d/docs/aclnnFusedCausalConv1d.md attention/inplace_fused_causal_conv1d/README.md attention/inplace_fused_causal_conv1d/docs/aclnnInplaceFusedCausalConv1d.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [x] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10073 | 3 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
[QFA][MxFP8] 新接口vector指令优化 Co-authored-by: yangxh<yangxinhao7@huawei.com> # message auto-generated for no-merge-commit merge: !10220 merge master into master [QFA][MxFP8] 新接口vector指令优化 Created-by: yangxh1203 Commit-by: yangxh1203;yangxh Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> QFA MxFP8 新接口vector指令优化,pscale与p共用同一块buffer,能省掉一组enque和deque同步开销 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4558 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> pytest rdv ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10220 | 2 months ago | |
AscendC接口兼容性变更整改 Co-authored-by: lihang_13123<lihang106@h-partners.com> # message auto-generated for no-merge-commit merge: !9815 merge master_lihang into master AscendC接口兼容性变更整改 Created-by: lihang_13123 Commit-by: lihang_13123 Merged-by: cann-robot Description: ## 描述 AscendC部分接口兼容性变更,为与接口文档保持一致,修改部分算子对应接口。修改后各算子二进制和修改前一致 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 修改后各算子二进制和修改前一致,算子调用OK,冒烟OK ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [x] ❓ 其他,请描述:算子AscendC接口兼容性整改 See merge request: cann/ops-transformer!9815 | 2 months ago | |
【易用性】IFA/PFA 算子文档规范整改 Co-authored-by: lccchh<linchenghao@huawei.com> # message auto-generated for no-merge-commit merge: !9996 merge issue_4093 into master 【易用性】IFA/PFA 算子文档规范整改 Created-by: lccchh Commit-by: lccchh Merged-by: cann-robot Description: ## 描述 IFA/PFA 算子当前不支持 ascend 950 系列芯片,但是相关文档说明中出现950系列描述,本次整改将其删除 ## 关联的Issue 关联Issue #3559 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9996 | 3 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
fused_causal_conv1d修改cache_indices的拦截 Co-authored-by: xiapengcheng5<xiapengcheng5@huawei.com> # message auto-generated for no-merge-commit merge: !10073 merge master into master fused_causal_conv1d修改cache_indices的拦截 Created-by: xiapengcheng5 Commit-by: xiapengcheng5 Merged-by: cann-robot Description: ## 描述 fused_causal_conv1d修改cache_indices的拦截 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4309 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 attention/fused_causal_conv1d/README.md attention/fused_causal_conv1d/docs/aclnnFusedCausalConv1d.md attention/inplace_fused_causal_conv1d/README.md attention/inplace_fused_causal_conv1d/docs/aclnnInplaceFusedCausalConv1d.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [x] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10073 | 3 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
kv_quant_sparse_flash_attention: kv_quant_sparse_flash_attention 算子性能优化 Co-authored-by: kdy18482276080<kongdeyuan3@huawei.com> # message auto-generated for no-merge-commit merge: !10428 merge qsfamm into master kv_quant_sparse_flash_attention: kv_quant_sparse_flash_attention 算子性能优化 Created-by: kdy18482276080 Commit-by: kdy18482276080 Merged-by: cann-robot Description: ## 描述 kv_quant_sparse_flash_attention 算子性能优化: - 优化 tiling 模板配置(template_tiling_key / tiling.cpp / tiling.h) - 优化 service_vector_mla 实现,降低 vector 侧开销 - 调整 kernel 侧逻辑(kernel_mla_arch35 / common_arch35 / op_kernel) - 增加性能 profiling 采集结果验证收益 ## 关联的Issue 关联Issue #4498 https://gitcode.com/cann/ops-transformer/issues/4498 ## 测试 - 算子 UT 用例执行通过 - NPU 性能 profiling 采集完成,确认性能提升 ## 文档更新 无 ## 类型标签 - [x] ⚡ 性能优化 See merge request: cann/ops-transformer!10428 | 2 months ago | |
fix LI tiling bug Co-authored-by: guijianwei<guijianwei@huawei.com> # message auto-generated for no-merge-commit merge: !10298 merge master into master fix LI tiling bug Created-by: guijianwei Commit-by: guijianwei Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修复LI 算子对topk属性的校验错误。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> Issue [#4095](https://gitcode.com/cann/ops-transformer/issues/4095) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ut 覆盖测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10298 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Co-authored-by: j60100428<jingsong5@h-partners.com> # message auto-generated for no-merge-commit merge: !10560 merge master into master LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Created-by: SH_jingsong Commit-by: j60100428 Merged-by: cann-robot Description: ## 描述 为多个 attention 算子(lightning_indexer_v2、mixed_quant_sparse_flash_mla、quant_lightning_indexer_v2、quant_sparse_flash_mla、sparse_flash_mla)的 ACLNN 测试用例启用 NPU 预处理:在每个算子的 npu_preprocess.py 中新增 ACLNN_PARAMETER_NAMES 参数名表和 run_aclnn 钩子函数,把 ACLNN 主 API 的入参顺序适配到共享的 Torch metadata hook(先按参数名将位置参数映射为字典,将 metadata 搬到 NPU 设备后调用原有 run 流程,再依据 host 端 metadata 的类型回写结果),并在 run_metadata 中引入 import cann_ops_transformer;同时将各 spec.py 中 Aclnn*Spec 的 npu_preprocess 由 None 改为 npu_preprocess_module.run_aclnn。此外还修正了 metadata 参数取值与 MXFP4/Float8 数据搬运的类型处理逻辑。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4598 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10560 | 2 months ago | |
SMLA, MQSMLA, LIV2, QLIV2 err msg整改 Co-authored-by: hwx805026<hanming9@h-partners.com> # message auto-generated for no-merge-commit merge: !9578 merge new into master SMLA, MQSMLA, LIV2, QLIV2 err msg整改 Created-by: jerry_ming Commit-by: hwx805026 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9578 | 3 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Co-authored-by: j60100428<jingsong5@h-partners.com> # message auto-generated for no-merge-commit merge: !10560 merge master into master LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Created-by: SH_jingsong Commit-by: j60100428 Merged-by: cann-robot Description: ## 描述 为多个 attention 算子(lightning_indexer_v2、mixed_quant_sparse_flash_mla、quant_lightning_indexer_v2、quant_sparse_flash_mla、sparse_flash_mla)的 ACLNN 测试用例启用 NPU 预处理:在每个算子的 npu_preprocess.py 中新增 ACLNN_PARAMETER_NAMES 参数名表和 run_aclnn 钩子函数,把 ACLNN 主 API 的入参顺序适配到共享的 Torch metadata hook(先按参数名将位置参数映射为字典,将 metadata 搬到 NPU 设备后调用原有 run 流程,再依据 host 端 metadata 的类型回写结果),并在 run_metadata 中引入 import cann_ops_transformer;同时将各 spec.py 中 Aclnn*Spec 的 npu_preprocess 由 None 改为 npu_preprocess_module.run_aclnn。此外还修正了 metadata 参数取值与 MXFP4/Float8 数据搬运的类型处理逻辑。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4598 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10560 | 2 months ago | |
SMLA,MQSMLA,LIV2,QLIV2 codecheck Co-authored-by: hwx805026<hanming9@h-partners.com> # message auto-generated for no-merge-commit merge: !10264 merge new into master SMLA,MQSMLA,LIV2,QLIV2 codecheck Created-by: jerry_ming Commit-by: hwx805026 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10264 | 2 months ago | |
【feature】mla_preprocess算子新增支持RoPE开关 Co-authored-by: HuangKun8682<huangkun61@huawei.com> # message auto-generated for no-merge-commit merge: !9386 merge personal_prepreocess_optional_RoPE into master 【feature】mla_preprocess算子新增支持RoPE开关 Created-by: HuangKun8682 Commit-by: HuangKun8682 Merged-by: cann-robot Description: ## 描述 本 PR 为 MlaPreprocess 和 MlaPreprocessV2 增加 RoPE 关闭能力,不新增 ACLNN 属性,通过公开 ACLNN 接口中 cos、sin 是否为空控制: - cos != nullptr && sin != nullptr:保持原有 Q-RoPE、K-RoPE 计算,兼容现有调用。 - cos == nullptr && sin == nullptr:关闭 RoPE,仅跳过 Q/K 旋转数学运算。 - 仅有一个输入为空:接口返回参数错误,提示 cos、sin 必须同时传入或同时为空。 ### ACLNN 接口与 IR 兼容性 - MlaPreprocess、MlaPreprocessV2 的 IR 定义中,cos、sin 继续保持 REQUIRED。 - 不修改现有输入的名称、顺序、必选类型和数据类型,避免已有 OM 模型因 IR 输入类型变化而加载失败。 - 不新增算子属性,不改变公开 ACLNN 函数的参数顺序和二进制接口形式。 - 将框架生成的两段式接口作为 aclnnInner* 接口: - aclnnInnerMlaPreprocessGetWorkspaceSize - aclnnInnerMlaPreprocess - aclnnInnerMlaPreprocessV2GetWorkspaceSize - aclnnInnerMlaPreprocessV2 - 为 MlaPreprocess 和 MlaPreprocessV2 实现自定义公开 ACLNN 两段式接口。 - 自定义 GetWorkspaceSize 接口负责校验 cos、sin 是否成对为空;二者同时为空时,构造满足 REQUIRED IR 输入要求的一维空 Tensor,调用对应的 aclnnInner*GetWorkspaceSize。 - 自定义二段执行接口直接调用对应的 aclnnInner* 执行接口。 ### Host InferShape 和 Tiling - cos、sin 继续通过 GetRequiredInputShape 获取。 - Host 侧仅将一维 shape [0] 同时出现识别为关闭 RoPE。 - 正常启用 RoPE 时,cos、sin 的 shape 必须为 [tokenNum, 64]。 - 两者关闭状态不一致,或启用时 shape 不符合要求,InferShape/Tiling 返回失败。 - 将 RoPE 开关写入共享 TilingData 的 enableRope 字段。 - Tiling 入口检查并返回 Init() 的错误状态,避免参数校验失败后继续生成并下发 TilingData。 - 其余必选输入继续通过 GetRequiredInputShape/Desc/Stride 获取。 - 保留 Cache dim0 非连续 stride 支持和相关校验。 ### Device Kernel RoPE 开启时完全沿用原有 Q/K RoPE 路径。 RoPE 关闭时: - Q 路径通过 ProcessRawQ 读取原始 Q-rope 分量,并按照原布局写入 qOut/qRopeOut。 - K 路径跳过 cos、sin 搬运和旋转计算,将原始 K-rope 分量写回原输出及 Cache 位置。 - 保留完整的 Q 输出拼接、KV Cache 写入和 Cache DataCopy。 - Kernel 入口使用有效输入地址作为未使用 RoPE GlobalTensor 的占位地址;RoPE 关闭时不会读取该地址。 以下 Kernel 路径均已适配: - FP16 + INT8 W8A8 - BF16 + INT8 W8A8 - BF16 + BF16 NoQuant ### MlaPreprocessV2 MlaPreprocessV2 复用 MlaPreprocess 的 TilingData、Host Tiling 和 FP16/BF16/NoQuant Kernel 实现,因此同步支持相同的 RoPE 开关语义。 MlaPreprocessV2 独立适配: - 自定义公开 ACLNN 两段式接口及 aclnnInnerMlaPreprocessV2* 调用。 - InferShape 对 RoPE 输入的成对和 shape 校验。 - Kernel 入口的未使用 RoPE 地址处理。 qDownOutFlag、doRmsNorm、qDownOut 的计算和输出语义保持不变。 ### 语义保持 RoPE 关闭只跳过 Q/K 旋转数学运算,不修改以下行为: - MatMul、Dequant、RMSNorm、Quant - Q-nope、CTKV - qDownOut - 输出 Tensor shape - Cache 布局和 Cache DataCopy - 非连续 Cache dim0 stride - 原始 Q-rope/K-rope 在输出和 Cache 中的位置 ### 文档和测试 - 更新 aclnnMlaPreprocess.md 和 aclnnMlaPreprocessV2.md。 - 更新 MlaPreprocess、MlaPreprocessV2 README。 - 更新 ACLNN 示例,展示使用 enableRope ? cos : nullptr 和 enableRope ? sin : nullptr 控制 RoPE。 - 更新 Host InferShape、Host Tiling 和 Kernel UT,覆盖: - cos、sin 均为正常 Tensor。 - cos、sin 均为空。 - 仅有一个为空的非法输入。 - 非法空 shape。 - RoPE on/off Kernel 输出。 - MlaPreprocessV2 的 qDownOutFlag 和 doRmsNorm 正交组合。 ## 关联的 Issue Issue [#4052](https://gitcode.com/cann/ops-transformer/issues/4052) ## 测试 MlaPreprocess 和 MlaPreprocessV2 各构造 300 个 ACLNN 泛化精度用例,每套用例分布如下: | 计算路径 | RoPE on | RoPE off | 合计 | |---|---:|---:|---:| | FP16 + INT8 W8A8 | 40 | 80 | 120 | | BF16 + INT8 W8A8 | 40 | 80 | 120 | | BF16 + BF16 NoQuant | 20 | 40 | 60 | | **合计** | **100** | **200** | **300** | MlaPreprocessV2 用例同时覆盖: | 开关 | RoPE on | RoPE off | 合计 | |---|---:|---:|---:| | qDownOutFlag=false | 50 | 100 | 150 | | qDownOutFlag=true | 50 | 100 | 150 | | doRmsNorm=false | 60 | 120 | 180 | | doRmsNorm=true | 40 | 80 | 120 | 当前j测试结果: - MlaPreprocess:精度测试全量单次执行 294/300 通过;6 个失败 profile 各随机复跑100次,CT 双标杆统计复检 6/6 通过。 - MlaPreprocessV2:精度测试全量单次执行 300/300 通过。 - Kernel、Host Tiling 和 InferShape UT 覆盖 RoPE on/off 及非法输入场景。 [用例脚本](https://gitcode.com/HuangKun8682/aclnn_mla_preprocess_rope) ## 文档更新 更新以下文件: - attention/mla_preprocess/README.md - attention/mla_preprocess/docs/aclnnMlaPreprocess.md - attention/mla_preprocess_v2/README.md - attention/mla_preprocess_v2/docs/aclnnMlaPreprocessV2.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9386 | 3 months ago | |
【feature】mla_preprocess算子新增支持RoPE开关 Co-authored-by: HuangKun8682<huangkun61@huawei.com> # message auto-generated for no-merge-commit merge: !9386 merge personal_prepreocess_optional_RoPE into master 【feature】mla_preprocess算子新增支持RoPE开关 Created-by: HuangKun8682 Commit-by: HuangKun8682 Merged-by: cann-robot Description: ## 描述 本 PR 为 MlaPreprocess 和 MlaPreprocessV2 增加 RoPE 关闭能力,不新增 ACLNN 属性,通过公开 ACLNN 接口中 cos、sin 是否为空控制: - cos != nullptr && sin != nullptr:保持原有 Q-RoPE、K-RoPE 计算,兼容现有调用。 - cos == nullptr && sin == nullptr:关闭 RoPE,仅跳过 Q/K 旋转数学运算。 - 仅有一个输入为空:接口返回参数错误,提示 cos、sin 必须同时传入或同时为空。 ### ACLNN 接口与 IR 兼容性 - MlaPreprocess、MlaPreprocessV2 的 IR 定义中,cos、sin 继续保持 REQUIRED。 - 不修改现有输入的名称、顺序、必选类型和数据类型,避免已有 OM 模型因 IR 输入类型变化而加载失败。 - 不新增算子属性,不改变公开 ACLNN 函数的参数顺序和二进制接口形式。 - 将框架生成的两段式接口作为 aclnnInner* 接口: - aclnnInnerMlaPreprocessGetWorkspaceSize - aclnnInnerMlaPreprocess - aclnnInnerMlaPreprocessV2GetWorkspaceSize - aclnnInnerMlaPreprocessV2 - 为 MlaPreprocess 和 MlaPreprocessV2 实现自定义公开 ACLNN 两段式接口。 - 自定义 GetWorkspaceSize 接口负责校验 cos、sin 是否成对为空;二者同时为空时,构造满足 REQUIRED IR 输入要求的一维空 Tensor,调用对应的 aclnnInner*GetWorkspaceSize。 - 自定义二段执行接口直接调用对应的 aclnnInner* 执行接口。 ### Host InferShape 和 Tiling - cos、sin 继续通过 GetRequiredInputShape 获取。 - Host 侧仅将一维 shape [0] 同时出现识别为关闭 RoPE。 - 正常启用 RoPE 时,cos、sin 的 shape 必须为 [tokenNum, 64]。 - 两者关闭状态不一致,或启用时 shape 不符合要求,InferShape/Tiling 返回失败。 - 将 RoPE 开关写入共享 TilingData 的 enableRope 字段。 - Tiling 入口检查并返回 Init() 的错误状态,避免参数校验失败后继续生成并下发 TilingData。 - 其余必选输入继续通过 GetRequiredInputShape/Desc/Stride 获取。 - 保留 Cache dim0 非连续 stride 支持和相关校验。 ### Device Kernel RoPE 开启时完全沿用原有 Q/K RoPE 路径。 RoPE 关闭时: - Q 路径通过 ProcessRawQ 读取原始 Q-rope 分量,并按照原布局写入 qOut/qRopeOut。 - K 路径跳过 cos、sin 搬运和旋转计算,将原始 K-rope 分量写回原输出及 Cache 位置。 - 保留完整的 Q 输出拼接、KV Cache 写入和 Cache DataCopy。 - Kernel 入口使用有效输入地址作为未使用 RoPE GlobalTensor 的占位地址;RoPE 关闭时不会读取该地址。 以下 Kernel 路径均已适配: - FP16 + INT8 W8A8 - BF16 + INT8 W8A8 - BF16 + BF16 NoQuant ### MlaPreprocessV2 MlaPreprocessV2 复用 MlaPreprocess 的 TilingData、Host Tiling 和 FP16/BF16/NoQuant Kernel 实现,因此同步支持相同的 RoPE 开关语义。 MlaPreprocessV2 独立适配: - 自定义公开 ACLNN 两段式接口及 aclnnInnerMlaPreprocessV2* 调用。 - InferShape 对 RoPE 输入的成对和 shape 校验。 - Kernel 入口的未使用 RoPE 地址处理。 qDownOutFlag、doRmsNorm、qDownOut 的计算和输出语义保持不变。 ### 语义保持 RoPE 关闭只跳过 Q/K 旋转数学运算,不修改以下行为: - MatMul、Dequant、RMSNorm、Quant - Q-nope、CTKV - qDownOut - 输出 Tensor shape - Cache 布局和 Cache DataCopy - 非连续 Cache dim0 stride - 原始 Q-rope/K-rope 在输出和 Cache 中的位置 ### 文档和测试 - 更新 aclnnMlaPreprocess.md 和 aclnnMlaPreprocessV2.md。 - 更新 MlaPreprocess、MlaPreprocessV2 README。 - 更新 ACLNN 示例,展示使用 enableRope ? cos : nullptr 和 enableRope ? sin : nullptr 控制 RoPE。 - 更新 Host InferShape、Host Tiling 和 Kernel UT,覆盖: - cos、sin 均为正常 Tensor。 - cos、sin 均为空。 - 仅有一个为空的非法输入。 - 非法空 shape。 - RoPE on/off Kernel 输出。 - MlaPreprocessV2 的 qDownOutFlag 和 doRmsNorm 正交组合。 ## 关联的 Issue Issue [#4052](https://gitcode.com/cann/ops-transformer/issues/4052) ## 测试 MlaPreprocess 和 MlaPreprocessV2 各构造 300 个 ACLNN 泛化精度用例,每套用例分布如下: | 计算路径 | RoPE on | RoPE off | 合计 | |---|---:|---:|---:| | FP16 + INT8 W8A8 | 40 | 80 | 120 | | BF16 + INT8 W8A8 | 40 | 80 | 120 | | BF16 + BF16 NoQuant | 20 | 40 | 60 | | **合计** | **100** | **200** | **300** | MlaPreprocessV2 用例同时覆盖: | 开关 | RoPE on | RoPE off | 合计 | |---|---:|---:|---:| | qDownOutFlag=false | 50 | 100 | 150 | | qDownOutFlag=true | 50 | 100 | 150 | | doRmsNorm=false | 60 | 120 | 180 | | doRmsNorm=true | 40 | 80 | 120 | 当前j测试结果: - MlaPreprocess:精度测试全量单次执行 294/300 通过;6 个失败 profile 各随机复跑100次,CT 双标杆统计复检 6/6 通过。 - MlaPreprocessV2:精度测试全量单次执行 300/300 通过。 - Kernel、Host Tiling 和 InferShape UT 覆盖 RoPE on/off 及非法输入场景。 [用例脚本](https://gitcode.com/HuangKun8682/aclnn_mla_preprocess_rope) ## 文档更新 更新以下文件: - attention/mla_preprocess/README.md - attention/mla_preprocess/docs/aclnnMlaPreprocess.md - attention/mla_preprocess_v2/README.md - attention/mla_preprocess_v2/docs/aclnnMlaPreprocessV2.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9386 | 3 months ago | |
mla_prolog_v3算子按照原型评审增加do_rope可选属性,同步调整接口逻辑 Co-authored-by: zhengyuhao3<zhengyuhao3@huawei.com> # message auto-generated for no-merge-commit merge: !10394 merge mla_prolog into master mla_prolog_v3算子按照原型评审增加do_rope可选属性,同步调整接口逻辑 Created-by: zhengyuhao3 Commit-by: zhengyuhao3 Merged-by: cann-robot Description: ## 描述 mla_prolog_v3算子按照原型评审增加do_rope可选属性,同步调整接口逻辑 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4133 ## 测试 ATK泛化用例通过200/200 RDV验证通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10394 | 2 months ago | |
【Feature】新增aclnn_mla_prolog_v4_weightNz接口,用于使能算子中的RoPE计算操作 Co-authored-by: zhengyuhao3<zhengyuhao3@huawei.com> # message auto-generated for no-merge-commit merge: !10296 merge revert-mla_prolog_v4 into master 【Feature】新增aclnn_mla_prolog_v4_weightNz接口,用于使能算子中的RoPE计算操作 Created-by: zhengyuhao3 Commit-by: zhengyuhao3 Merged-by: cann-robot Description: ## 描述 kimi-k3模型需求特性,新增aclnn_mla_prolog_v4_weightNz接口,较V3接口新增doRope参数,用于开关算子中的RoPE计算操作 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 RDV测试不影响现有mla_prolog_v3功能 atk精度泛化测试用例通过 300/300 ## 文档更新 新增了aclnnMlaPrologV4WeightNz.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10296 | 2 months ago | |
add mla_prolog torch extension Co-authored-by: zhengyuhao3<zhengyuhao3@huawei.com> # message auto-generated for no-merge-commit merge: !10366 merge mla_prolog_torch into master add mla_prolog torch extension Created-by: zhengyuhao3 Commit-by: zhengyuhao3 Merged-by: cann-robot Description: ## 描述 mla_prolog算子增加torch_extension接口 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4542 ## 测试 通过cann_ops_transformer.mla_prolog接口测试33个用例调用成功  ## 文档更新 新增mla_prolog.md接口文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10366 | 2 months ago | |
整改attention/msa_index_score重名头文件 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10480 merge clear_last_h_msa_catlass into master 整改attention/msa_index_score重名头文件 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**仓内重名**头文件规范,完成 ** attention/msa_index_score vendored Catlass** 全量改名,消除与权威 TLA(mc2/3rd/template_linear_algebra)及 gmm/grouped_matmul/gmm_infra 的同名冲突。 **方法**:对照 clear-repeat-h **仓内规则 1.1**,只改次要副本——msa_index_score/.../catlass 加 **msa_** 前缀;权威 TLA、gmm_infra **本批不动**。同步更新 #include、\file、include guard,以及 host CMake 对 vendored Catlass 的存在性探测。无业务逻辑与格式化变更。禁止软链接顶替。 设备属性宏 **CATLASS_DEVICE / CATLASS_HOST_DEVICE / CATLASS_GLOBAL 保持原名**(不随文件前缀改),避免与调用侧脱节。 ### 仓内分类规则(clear-repeat-h) 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接** | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本批实际用到:**1.1**(msa vendored catlass 与 TLA / gmm 内容不同,加 msa_)。 ### 范围与结果 | 项 | 说明 | |----|------| | 范围 | attention/msa_index_score/op_kernel/catlass/** 全树 | | 清单命中的 9 组 | alignment / coord / cross_core_sync / numeric_size / tile_mmad / cast_fp8 / cast_int8 / cast_int4 / conv_coord | | TLA / gmm | **不改**(权威 / 存量次要侧可后续 PR-3) | | 变更文件数 | **37**(< 200) | ### 命名约定 | 场景 | 约定 | |------|------| | Catlass 通用头 | 加 msa_(如 arch.hpp → msa_arch.hpp) | | gemm helper.hpp | msa_gemm_helper.hpp | | include guard | CATLASS_MSA_* | | resource / local_tensor_buffer | CATLASS_MSA_RESOURCE_HPP / CATLASS_MSA_LOCAL_TENSOR_BUFFER_HPP(与 msa 既有 INCLUDE_CATLASS_* 消歧) | | 设备属性宏 | **保持** CATLASS_DEVICE 等原名 | ### 本分支变更统计(相对 origin/master) | 项 | 数量 | |----|-----:| | rename | 33 | | 修改(include / \file / guard / CMake) | 4 | | **合计** | **37 files,+226 / -226**(对称,无逻辑净增删) | 范围均在 attention/msa_index_score/**。 ## 关联的 Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10480 | 2 months ago | |
NsaCompress compressStride除零拦截 Co-authored-by: hz36amy_00<zhouyangfan8@huawei.com> # message auto-generated for no-merge-commit merge: !10383 merge nsa-compress-0820 into master NsaCompress compressStride除零拦截 Created-by: hz36amy_00 Commit-by: hz36amy_00 Merged-by: cann-robot Description: ## 描述 在host侧infershape拦截compressStride=0的情况 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10383 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
完成(moe / attention 外围)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10202 merge clear_pr3_pr4 into master 完成(moe / attention 外围)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR3 + PR4**( moe 纯组件 / attention 外围)整改,消除该范围内单仓同名头冲突。 **原因**:清单内 moe 与 attention 外围仍有大量同名头,违反「单仓内原则上不允许重名头文件」;易导致 include 误解析、维护成本上升。 **方法**:优先只改内部/次要副本(保留对外公开名与主路径原名),并同步更新 #include、\file 及必要 include guard。无业务逻辑与格式化变更。 ### 仓内分类规则 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件,避免相对 include 误解析) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.2(同内容改 arch / 算子后缀,不删文件)**、**1.3**。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 3 | moe 纯组件 | 48 | 完成 | | 4 | attention 外围(indexer / NSA 杂项 / mla-chunk / compressor 等) | 64 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | 1.3 对外+包内 | 保留 op_api;包内 → *_kernel.h 或 *_archXX.h | | 跨算子同名 | 保留主算子原名;次要副本加算子/场景后缀 | | quant 与 routing 消歧(moe) | quant_v2/inner → *_quant_pkg_inner.h;quant arch35 → *_quant_arch35.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | rename | 189 | | 修改(含 include / \file / guard 同步) | 72 | | **合计** | **261** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | moe/moe_init_routing_quant_v2 | 31 | | attention/mla_prolog、attention/compressor | 各 25 | | moe/moe_init_routing_v3 | 16 | | attention/lightning_indexer_v2、quant_lightning_indexer_v2 | 各 11 | | 其余 moe init/permute、indexer、NSA、chunk、gating 等 | 余量 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10202 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
完成(moe / attention 外围)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10202 merge clear_pr3_pr4 into master 完成(moe / attention 外围)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR3 + PR4**( moe 纯组件 / attention 外围)整改,消除该范围内单仓同名头冲突。 **原因**:清单内 moe 与 attention 外围仍有大量同名头,违反「单仓内原则上不允许重名头文件」;易导致 include 误解析、维护成本上升。 **方法**:优先只改内部/次要副本(保留对外公开名与主路径原名),并同步更新 #include、\file 及必要 include guard。无业务逻辑与格式化变更。 ### 仓内分类规则 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件,避免相对 include 误解析) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.2(同内容改 arch / 算子后缀,不删文件)**、**1.3**。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 3 | moe 纯组件 | 48 | 完成 | | 4 | attention 外围(indexer / NSA 杂项 / mla-chunk / compressor 等) | 64 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | 1.3 对外+包内 | 保留 op_api;包内 → *_kernel.h 或 *_archXX.h | | 跨算子同名 | 保留主算子原名;次要副本加算子/场景后缀 | | quant 与 routing 消歧(moe) | quant_v2/inner → *_quant_pkg_inner.h;quant arch35 → *_quant_arch35.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | rename | 189 | | 修改(含 include / \file / guard 同步) | 72 | | **合计** | **261** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | moe/moe_init_routing_quant_v2 | 31 | | attention/mla_prolog、attention/compressor | 各 25 | | moe/moe_init_routing_v3 | 16 | | attention/lightning_indexer_v2、quant_lightning_indexer_v2 | 各 11 | | 其余 moe init/permute、indexer、NSA、chunk、gating 等 | 余量 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10202 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
完成(moe / attention 外围)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10202 merge clear_pr3_pr4 into master 完成(moe / attention 外围)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR3 + PR4**( moe 纯组件 / attention 外围)整改,消除该范围内单仓同名头冲突。 **原因**:清单内 moe 与 attention 外围仍有大量同名头,违反「单仓内原则上不允许重名头文件」;易导致 include 误解析、维护成本上升。 **方法**:优先只改内部/次要副本(保留对外公开名与主路径原名),并同步更新 #include、\file 及必要 include guard。无业务逻辑与格式化变更。 ### 仓内分类规则 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件,避免相对 include 误解析) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.2(同内容改 arch / 算子后缀,不删文件)**、**1.3**。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 3 | moe 纯组件 | 48 | 完成 | | 4 | attention 外围(indexer / NSA 杂项 / mla-chunk / compressor 等) | 64 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | 1.3 对外+包内 | 保留 op_api;包内 → *_kernel.h 或 *_archXX.h | | 跨算子同名 | 保留主算子原名;次要副本加算子/场景后缀 | | quant 与 routing 消歧(moe) | quant_v2/inner → *_quant_pkg_inner.h;quant arch35 → *_quant_arch35.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | rename | 189 | | 修改(含 include / \file / guard 同步) | 72 | | **合计** | **261** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | moe/moe_init_routing_quant_v2 | 31 | | attention/mla_prolog、attention/compressor | 各 25 | | moe/moe_init_routing_v3 | 16 | | attention/lightning_indexer_v2、quant_lightning_indexer_v2 | 各 11 | | 其余 moe init/permute、indexer、NSA、chunk、gating 等 | 余量 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10202 | 2 months ago | |
完成(likl kernel / moe_sort unpermute)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10285 merge clear_last_h_two into master 完成(likl kernel / moe_sort unpermute)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,整改的 **2 组**同名头;并跟进改名后 FIA dim0 stride UT 仍引用旧路径导致的编译失败,以及重新打开相关 PR UT。 **方法**:对照 clear-repeat-h 仓内规则,只改内部副本(保留对外公开名与 permute 主路径原名),同步 #include、\file、include guard;补齐遗漏 UT include;将 FIA / PFA 的 tests/test_config.yaml test.ut 重新打开。无业务逻辑与格式化变更。 ### 仓内分类规则(clear-repeat-h) 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接** | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.3**。 ### 本批不整改(repeat.txt 中其余存活项) | 文件 | 规则 | 说明 | |------|------|------| | aclnn_common.h | — | torch_extension 源码 + build 产物,不改 | | aclnn_rotary_position_embedding.h | 1.4 | 两份均为对外公开且内容相同;examples 副本已在 clear_last_h_attn 改为 *_example.h | ### 范围与结果 | 项 | 规则 | 处置 | 状态 | |----|------|------|------| | lightning_indexer_kl_loss.h | 1.3 | 保留 op_api/;kernel → lightning_indexer_kl_loss_kernel.h | 完成 | | moe_sort_base_with_routing_map.h | 1.1 | 保留 permute;unpermute → moe_sort_base_with_routing_map_unpermute.h | 完成 | | FIA dim0 stride UT 旧 include | — | 改为 fia_tiling_nonquant_mla_arch22.h / paged_attention_checker_fused_infer.h | 完成 | | FIA / PFA PR UT | — | tests/test_config.yaml 中 ut: False → True | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | 1.3 对外 + 包内 | 保留 op_api 原名;包内 → *_kernel.h | | 1.1 跨算子同名 | 保留主算子(permute)原名;次要副本(unpermute)加 _unpermute 后缀 | ### 本分支变更统计(相对 1a617b4bf) | 项 | 数量 | |----|-----:| | rename | 2 | | 修改(include / guard / \file / UT / yaml) | 6 | | **合计** | **8**(8 files changed, 15 insertions(+), 14 deletions(-)) | 主要文件: | 路径 | 说明 | |------|------| | attention/lightning_indexer_kl_loss/op_kernel/lightning_indexer_kl_loss_kernel.h | 1.3 改名 + guard | | attention/lightning_indexer_kl_loss/op_kernel/lightning_indexer_kl_loss.cpp | include 同步 | | moe/.../moe_sort_base_with_routing_map_unpermute.h | 1.1 改名 + \file / guard | | moe/.../masked_select.h | include 同步 | | .../test_fused_infer_attention_score_mla_dim0_stride_tiling.cpp | 改名后遗漏 include | | tests/test_config.yaml | 重新打开 FIA / PFA test.ut | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10285 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
qfa ttk支持异常拦截 Co-authored-by: fengzixiao<fengzixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10607 merge master into master qfa ttk支持异常拦截 Created-by: fengzixiao Commit-by: fengzixiao Merged-by: cann-robot Description: ## 描述 把 QFA 测试链路里原本以「attributes(keyword 常量/列表)」传递的 cu_seqlens/seqused 等参数,统一改造成「以 CSV tensor_view_shapes 的 15 个位置 tensor slot」传入 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4576 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10607 | 2 months ago | |
qfa ttk支持异常拦截 Co-authored-by: fengzixiao<fengzixiao1@huawei.com> # message auto-generated for no-merge-commit merge: !10607 merge master into master qfa ttk支持异常拦截 Created-by: fengzixiao Commit-by: fengzixiao Merged-by: cann-robot Description: ## 描述 把 QFA 测试链路里原本以「attributes(keyword 常量/列表)」传递的 cu_seqlens/seqused 等参数,统一改造成「以 CSV tensor_view_shapes 的 15 个位置 tensor slot」传入 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4576 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10607 | 2 months ago | |
SMLA,MQSMLA,LIV2,QLIV2 codecheck Co-authored-by: hwx805026<hanming9@h-partners.com> # message auto-generated for no-merge-commit merge: !10264 merge new into master SMLA,MQSMLA,LIV2,QLIV2 codecheck Created-by: jerry_ming Commit-by: hwx805026 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10264 | 2 months ago | |
LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Co-authored-by: j60100428<jingsong5@h-partners.com> # message auto-generated for no-merge-commit merge: !10560 merge master into master LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Created-by: SH_jingsong Commit-by: j60100428 Merged-by: cann-robot Description: ## 描述 为多个 attention 算子(lightning_indexer_v2、mixed_quant_sparse_flash_mla、quant_lightning_indexer_v2、quant_sparse_flash_mla、sparse_flash_mla)的 ACLNN 测试用例启用 NPU 预处理:在每个算子的 npu_preprocess.py 中新增 ACLNN_PARAMETER_NAMES 参数名表和 run_aclnn 钩子函数,把 ACLNN 主 API 的入参顺序适配到共享的 Torch metadata hook(先按参数名将位置参数映射为字典,将 metadata 搬到 NPU 设备后调用原有 run 流程,再依据 host 端 metadata 的类型回写结果),并在 run_metadata 中引入 import cann_ops_transformer;同时将各 spec.py 中 Aclnn*Spec 的 npu_preprocess 由 None 改为 npu_preprocess_module.run_aclnn。此外还修正了 metadata 参数取值与 MXFP4/Float8 数据搬运的类型处理逻辑。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4598 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10560 | 2 months ago | |
SMLA, MQSMLA, LIV2, QLIV2 err msg整改 Co-authored-by: hwx805026<hanming9@h-partners.com> # message auto-generated for no-merge-commit merge: !9578 merge new into master SMLA, MQSMLA, LIV2, QLIV2 err msg整改 Created-by: jerry_ming Commit-by: hwx805026 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9578 | 3 months ago | |
LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Co-authored-by: j60100428<jingsong5@h-partners.com> # message auto-generated for no-merge-commit merge: !10560 merge master into master LI_V2/QLI_V2/SMLA/QSMLA/MQSMLA ttk aclnn npu_pre Created-by: SH_jingsong Commit-by: j60100428 Merged-by: cann-robot Description: ## 描述 为多个 attention 算子(lightning_indexer_v2、mixed_quant_sparse_flash_mla、quant_lightning_indexer_v2、quant_sparse_flash_mla、sparse_flash_mla)的 ACLNN 测试用例启用 NPU 预处理:在每个算子的 npu_preprocess.py 中新增 ACLNN_PARAMETER_NAMES 参数名表和 run_aclnn 钩子函数,把 ACLNN 主 API 的入参顺序适配到共享的 Torch metadata hook(先按参数名将位置参数映射为字典,将 metadata 搬到 NPU 设备后调用原有 run 流程,再依据 host 端 metadata 的类型回写结果),并在 run_metadata 中引入 import cann_ops_transformer;同时将各 spec.py 中 Aclnn*Spec 的 npu_preprocess 由 None 改为 npu_preprocess_module.run_aclnn。此外还修正了 metadata 参数取值与 MXFP4/Float8 数据搬运的类型处理逻辑。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4598 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10560 | 2 months ago | |
qsmla metadata bug fix Co-authored-by: yipyip<chenyipeng6@huawei.com> # message auto-generated for no-merge-commit merge: !9989 merge master into master qsmla metadata bug fix Created-by: yipyip Commit-by: yipyip Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9989 | 3 months ago | |
docs: 完善QuickStart、环境部署、贡献指南等文档 Co-authored-by: youzhen5418<664699733@qq.com> # message auto-generated for no-merge-commit merge: !9604 merge docs-fix into master docs: 完善QuickStart、环境部署、贡献指南等文档 Created-by: youzhen5418 Commit-by: youzhen5418 Merged-by: cann-robot Description: ## 描述 1. 修正host日志路径 ascendc/log 为 ascend/log - docs/zh/debug/op_debug_prof.md:修正 host 侧日志路径描述 2. 统一SoC参数为小写形式 - docs/zh/install/build.md:统一 SoC 参数说明与 build.sh 实际实现一致 3. 修正build.md参数说明与build.sh实际实现不一致 - docs/zh/install/build.md:补充 build.sh 新增调试选项说明 4. 完善QuickStart与环境部署文档 - docs/QUICKSTART.md: - 修正"最新最新版本"重复词 typo - 补充编译前需 source set_env.sh 配置 CANN 环境变量的说明 - DumpTensor 示例改为贴合 Compute 函数上下文 - 性能采集由 msprof 改为 msprof op,并更新结果目录与参考链接 - 补充 msprof op 执行后打印信息与 OPPROF_* 结果目录说明 - selfZ 更正为 out,并补充修改 shape 时需同步 host vector 长度的提示 - 修正 printf 示例代码与实际 kernel 代码不一致(blockLength_/tileLength_ 计算逻辑、PRINTF 格式符) - docs/zh/install/quick_install.md: - "驱动与固件"修正为"驱动",移除固件描述,并细化驱动安装三步指引 - Docker 适用范围由"仅 A2、仅 Ubuntu"更正为 A2/A3、ubuntu22.04/openEuler24.03 等 - 补充镜像标签取值查询指引、-devel 开发镜像说明及 --name 自定义容器名提醒 - 安装入口统一引导到《CANN快速安装》 - 修正"最新最新版本"重复词 typo 5. 整理贡献指南文档结构与内容 - CONTRIBUTING.md: - 开头语句修正,新增准备工作与贡献场景导航 - 新增 SIG 议题评审流程,含 ops-transformer SIG 会议/议题链接及紧急需求处理 - 新增 Issue/PR 操作指南链接 - 交付件要求表格化,合规检查清单化 - 附录目录树 tests/ut 层级修正 - 规范中英文间距,删除冗余 /assign 描述 6. 补充子场景Tiling交付件与_tiling命名约束说明 - CONTRIBUTING.md:附录目录树补充 ${op_name}_tiling_${sub_case}.cpp/.h 可选子场景 Tiling 交付件,新增 _tiling 命名约束说明 - docs/zh/install/dir_structure.md:补充 arch35 示例与 _tiling 命名约束说明 ## 关联的Issue 无关联 Issue,为文档质量提升类贡献。 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 - docs/QUICKSTART.md - docs/zh/install/quick_install.md - docs/zh/install/dir_structure.md - docs/zh/debug/op_debug_prof.md - docs/zh/install/build.md - CONTRIBUTING.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9604 | 3 months ago | |
fix(log): correct log text in RGDR/CGDR op_host and tests (A4+B3, 69 issues) Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !10644 merge fix-log-rgdr-cgdr-a4-b3 into master fix(log): correct log text in RGDR/CGDR op_host and tests (A4+B3, 69 issues) Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 修复内容 修复 recurrent_gated_delta_rule 和 chunk_gated_delta_rule 中 69 条日志规范问题。 ### A4 算子代码(4条) - RGDR tiling: should greater → should be greater (T和B两处) - RGDR aclnn: sucess → success - CGDR tiling: should no bigger → should be no bigger ### B3 测试代码(65条) - 禁止自定义打印(58): print → logger.info/warning/error - 禁止中文(3): 日志字符串中文 → 英文 - 语法错误(2): 按修复建议改 - 拼写错误(2): 按修复建议改 ### 验证 - pre-commit 全部 Passed - 代码逻辑零改动 ## 关联的Issue #4600 See merge request: cann/ops-transformer!10644 | 2 months ago | |
完成(moe / attention 外围)重名头文件整改 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10202 merge clear_pr3_pr4 into master 完成(moe / attention 外围)重名头文件整改 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按仓内重名头文件规范,完成 **PR3 + PR4**( moe 纯组件 / attention 外围)整改,消除该范围内单仓同名头冲突。 **原因**:清单内 moe 与 attention 外围仍有大量同名头,违反「单仓内原则上不允许重名头文件」;易导致 include 误解析、维护成本上升。 **方法**:优先只改内部/次要副本(保留对外公开名与主路径原名),并同步更新 #include、\file 及必要 include guard。无业务逻辑与格式化变更。 ### 仓内分类规则 对每个重名头文件,先判断 **内容是否相同**、**是否对外/包间头文件**,再套用: | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 1.1 | 内容不同,均为内部头文件 | 是 | 建议加模块前缀 / arch 后缀改名 | | 1.2 | 内容相同,均为内部头文件 | 是 | 只保留一份;**改 include 路径,禁止软链接**(本批对 arch 等同内容组改为 *_archXX.h 消歧,不删文件,避免相对 include 误解析) | | 1.3 | 部分内部、部分对外/包间 | 是 | **只改内部** 那份 | | 1.4 | 内容相同,均为对外/包间 | 否(兼容期) | 可用软链接保留多路径 | | 1.5 | 内容不同,均为对外/包间 | 兼容期内可暂缓 | 兼容期结束后改名 | | 1.6 | 其他 | 原则上不允许重名 | 特例需评审 | **原则**:除 1.4 外,单仓内原则上不允许重名头文件。 本分支实际用到:**1.1**、**1.2(同内容改 arch / 算子后缀,不删文件)**、**1.3**。 ### 范围与结果 | PR | 范围 | 组数(计划) | 本分支状态 | |---:|------|-------------:|------------| | 3 | moe 纯组件 | 48 | 完成 | | 4 | attention 外围(indexer / NSA 杂项 / mla-chunk / compressor 等) | 64 | 完成 | ### 命名约定 | 场景 | 约定 | |------|------| | arch 分档 | *_arch22.h / *_arch35.h / *_arch38.h | | 1.3 对外+包内 | 保留 op_api;包内 → *_kernel.h 或 *_archXX.h | | 跨算子同名 | 保留主算子原名;次要副本加算子/场景后缀 | | quant 与 routing 消歧(moe) | quant_v2/inner → *_quant_pkg_inner.h;quant arch35 → *_quant_arch35.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | rename | 189 | | 修改(含 include / \file / guard 同步) | 72 | | **合计** | **261** | 主要目录(按变更文件数): | 目录 | 约计 | |------|-----:| | moe/moe_init_routing_quant_v2 | 31 | | attention/mla_prolog、attention/compressor | 各 25 | | moe/moe_init_routing_v3 | 16 | | attention/lightning_indexer_v2、quant_lightning_indexer_v2 | 各 11 | | 其余 moe init/permute、indexer、NSA、chunk、gating 等 | 余量 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10202 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
安装重名头文件整改:common.h Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10537 merge clear_repeat_h_comm into master 安装重名头文件整改:common.h Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 ** common.h / moe_common.h / moe_v2_common.h 跨算子同名整改**,消除安装包内跨算子同名头冲突。 **原因**: **common.h(13 份)**、**moe_common.h(5 份)**、**moe_v2_common.h(7 份)** 属安装规则 **3.9**(仓内非对外、不同算子/组件目录拷贝同名头),且口径为「同名不同实现亦改名」。权威 common/include/op_kernel/common.h 与 mc2/common/op_kernel/moe_distribute_base.h **保留原名**。 **方法**:低风险只改次要副本——各算子/组件侧 common.h / moe_common.h / moe_v2_common.h / setup 侧 moe_distribute_base.h 加算子或组件前缀(如 agm_v2_、matmul_all_reduce_、moe_init_routing_、mega_moe_、setup_ 等);同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则 | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 | | 权威 common | common/include/op_kernel/common.h | 否 | 保留原名 | | 权威 mc2 base | mc2/common/op_kernel/moe_distribute_base.h | 否 | 保留原名(v2/combine 等仍 #include 此路径) | ### 范围与结果 | 项 | 说明 | |----|------| | 重命名组数 | **26** | | 涉及域 | attention(scatter_pa / sfag / sfmg)、examples fkle、mc2(agm_v2 / matmul_all_reduce / mega_moe / dispatch setup/teardown/v2、mhc tiling)、moe(gating / init_routing / token_permute 系列) | | 附带修复 | dispatch setup base/common 映射;teardown 跨组件引用;v2 arch35 a5_ccu 裸 include;v3/combine_v3 apt 依赖 v2/v2_combine 的 __has_include 多布局路径 | | 变更文件数 | **166** | | 行变更 | +253 / -238 | ### 26 组重命名(旧 → 新) | # | 旧路径 | 新路径 | |--:|--------|--------| | 1 | attention/scatter_pa_kv_cache/op_kernel/arch35/common.h | attention/scatter_pa_kv_cache/op_kernel/arch35/scatter_pa_kv_cache_arch35_common.h | | 2 | attention/sparse_flash_attention_grad/op_kernel/arch35/common.h | attention/sparse_flash_attention_grad/op_kernel/arch35/sparse_flash_attention_grad_arch35_common.h | | 3 | attention/sparse_flash_mla_grad/op_kernel/arch35/common.h | attention/sparse_flash_mla_grad/op_kernel/arch35/sparse_flash_mla_grad_arch35_common.h | | 4 | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/common.h | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/fkle_mdd_v2_common.h | | 5 | mc2/all_gather_matmul_v2/op_kernel/common.h | mc2/all_gather_matmul_v2/op_kernel/agm_v2_common.h | | 6 | mc2/matmul_all_reduce/op_kernel/common.h | mc2/matmul_all_reduce/op_kernel/matmul_all_reduce_common.h | | 7 | mc2/moe_distribute_dispatch_setup/op_kernel/common.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_common.h | | 8 | mc2/moe_distribute_dispatch_v2/op_kernel/common.h | mc2/moe_distribute_dispatch_v2/op_kernel/moe_distribute_dispatch_v2_common.h | | 9 | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/common.h | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/mhc_pre_sinkhorn_backward_common.h | | 10 | moe/moe_gating_top_k/op_kernel/arch35/common.h | moe/moe_gating_top_k/op_kernel/arch35/moe_gating_top_k_arch35_common.h | | 11 | moe/moe_gating_top_k/op_kernel/common.h | moe/moe_gating_top_k/op_kernel/moe_gating_top_k_common.h | | 12 | moe/moe_gating_top_k_backward/op_kernel/arch35/common.h | moe/moe_gating_top_k_backward/op_kernel/arch35/moe_gating_top_k_backward_arch35_common.h | | 13 | moe/moe_gating_top_k_backward/op_kernel/common.h | moe/moe_gating_top_k_backward/op_kernel/moe_gating_top_k_backward_common.h | | 14 | moe/moe_init_routing/op_kernel/moe_common.h | moe/moe_init_routing/op_kernel/moe_init_routing_common.h | | 15 | moe/moe_init_routing/op_kernel/arch35/moe_common.h | moe/moe_init_routing/op_kernel/arch35/moe_init_routing_arch35_common.h | | 16 | moe/moe_token_permute/op_kernel/moe_common.h | moe/moe_token_permute/op_kernel/moe_token_permute_common.h | | 17 | moe/moe_token_permute_with_ep/op_kernel/moe_common.h | moe/moe_token_permute_with_ep/op_kernel/moe_token_permute_with_ep_common.h | | 18 | moe/moe_token_permute_with_routing_map/op_kernel/moe_common.h | moe/moe_token_permute_with_routing_map/op_kernel/moe_token_permute_with_routing_map_common.h | | 19 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/mega_moe_moe_v2_common.h | | 20 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/mega_moe_quant_moe_v2_common.h | | 21 | moe/moe_init_routing_v2/op_kernel/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/moe_init_routing_v2_common.h | | 22 | moe/moe_init_routing_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/arch35/moe_init_routing_v2_arch35_common.h | | 23 | moe/moe_init_routing_quant_v2/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/inner/moe_init_routing_quant_v2_pkg_inner_common.h | | 24 | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_init_routing_quant_v2_arch35_common.h | | 25 | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_init_routing_quant_v2_inner_common.h | | 26 | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_base.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_base.h | ### 命名约定 | 场景 | 约定 | |------|------| | all_gather_matmul_v2 | agm_v2_* | | matmul_all_reduce | matmul_all_reduce_common.h | | mega_moe 内 moe_v2 | mega_moe_* / mega_moe_quant_* | | moe 算子 | moe_<op>_common.h、arch35 加 _arch35_common | | dispatch setup | setup_base.h / setup_common.h(与 mc2/common 权威 base 区分) | | include guard | 与文件名一致(如 MOE_DISTRIBUTE_DISPATCH_V2_COMMON_H) | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10537 | 2 months ago | |
fix scatterPaKvCacheWithKScale golden Co-authored-by: yu_qinfei<yuqinfei1@h-partners.com> # message auto-generated for no-merge-commit merge: !10589 merge fix_k_scale_golden into master fix scatterPaKvCacheWithKScale golden Created-by: yu_qinfei Commit-by: yu_qinfei Merged-by: cann-robot Description: ## 描述 修复scatterPaKvCacheWithKScale golden ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4550 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10589 | 2 months ago | |
sfa support aclnn test Co-authored-by: tianjiaolei<leitianjiao@huawei.com> # message auto-generated for no-merge-commit merge: !10368 merge master into master sfa support aclnn test Created-by: tianjiaolei Commit-by: tianjiaolei Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> sfa算子支持ttk测aclnn直调 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/4470 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。-->  ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [x] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10368 | 2 months ago | |
安装重名头文件整改:common.h Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10537 merge clear_repeat_h_comm into master 安装重名头文件整改:common.h Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 ** common.h / moe_common.h / moe_v2_common.h 跨算子同名整改**,消除安装包内跨算子同名头冲突。 **原因**: **common.h(13 份)**、**moe_common.h(5 份)**、**moe_v2_common.h(7 份)** 属安装规则 **3.9**(仓内非对外、不同算子/组件目录拷贝同名头),且口径为「同名不同实现亦改名」。权威 common/include/op_kernel/common.h 与 mc2/common/op_kernel/moe_distribute_base.h **保留原名**。 **方法**:低风险只改次要副本——各算子/组件侧 common.h / moe_common.h / moe_v2_common.h / setup 侧 moe_distribute_base.h 加算子或组件前缀(如 agm_v2_、matmul_all_reduce_、moe_init_routing_、mega_moe_、setup_ 等);同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则 | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 | | 权威 common | common/include/op_kernel/common.h | 否 | 保留原名 | | 权威 mc2 base | mc2/common/op_kernel/moe_distribute_base.h | 否 | 保留原名(v2/combine 等仍 #include 此路径) | ### 范围与结果 | 项 | 说明 | |----|------| | 重命名组数 | **26** | | 涉及域 | attention(scatter_pa / sfag / sfmg)、examples fkle、mc2(agm_v2 / matmul_all_reduce / mega_moe / dispatch setup/teardown/v2、mhc tiling)、moe(gating / init_routing / token_permute 系列) | | 附带修复 | dispatch setup base/common 映射;teardown 跨组件引用;v2 arch35 a5_ccu 裸 include;v3/combine_v3 apt 依赖 v2/v2_combine 的 __has_include 多布局路径 | | 变更文件数 | **166** | | 行变更 | +253 / -238 | ### 26 组重命名(旧 → 新) | # | 旧路径 | 新路径 | |--:|--------|--------| | 1 | attention/scatter_pa_kv_cache/op_kernel/arch35/common.h | attention/scatter_pa_kv_cache/op_kernel/arch35/scatter_pa_kv_cache_arch35_common.h | | 2 | attention/sparse_flash_attention_grad/op_kernel/arch35/common.h | attention/sparse_flash_attention_grad/op_kernel/arch35/sparse_flash_attention_grad_arch35_common.h | | 3 | attention/sparse_flash_mla_grad/op_kernel/arch35/common.h | attention/sparse_flash_mla_grad/op_kernel/arch35/sparse_flash_mla_grad_arch35_common.h | | 4 | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/common.h | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/fkle_mdd_v2_common.h | | 5 | mc2/all_gather_matmul_v2/op_kernel/common.h | mc2/all_gather_matmul_v2/op_kernel/agm_v2_common.h | | 6 | mc2/matmul_all_reduce/op_kernel/common.h | mc2/matmul_all_reduce/op_kernel/matmul_all_reduce_common.h | | 7 | mc2/moe_distribute_dispatch_setup/op_kernel/common.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_common.h | | 8 | mc2/moe_distribute_dispatch_v2/op_kernel/common.h | mc2/moe_distribute_dispatch_v2/op_kernel/moe_distribute_dispatch_v2_common.h | | 9 | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/common.h | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/mhc_pre_sinkhorn_backward_common.h | | 10 | moe/moe_gating_top_k/op_kernel/arch35/common.h | moe/moe_gating_top_k/op_kernel/arch35/moe_gating_top_k_arch35_common.h | | 11 | moe/moe_gating_top_k/op_kernel/common.h | moe/moe_gating_top_k/op_kernel/moe_gating_top_k_common.h | | 12 | moe/moe_gating_top_k_backward/op_kernel/arch35/common.h | moe/moe_gating_top_k_backward/op_kernel/arch35/moe_gating_top_k_backward_arch35_common.h | | 13 | moe/moe_gating_top_k_backward/op_kernel/common.h | moe/moe_gating_top_k_backward/op_kernel/moe_gating_top_k_backward_common.h | | 14 | moe/moe_init_routing/op_kernel/moe_common.h | moe/moe_init_routing/op_kernel/moe_init_routing_common.h | | 15 | moe/moe_init_routing/op_kernel/arch35/moe_common.h | moe/moe_init_routing/op_kernel/arch35/moe_init_routing_arch35_common.h | | 16 | moe/moe_token_permute/op_kernel/moe_common.h | moe/moe_token_permute/op_kernel/moe_token_permute_common.h | | 17 | moe/moe_token_permute_with_ep/op_kernel/moe_common.h | moe/moe_token_permute_with_ep/op_kernel/moe_token_permute_with_ep_common.h | | 18 | moe/moe_token_permute_with_routing_map/op_kernel/moe_common.h | moe/moe_token_permute_with_routing_map/op_kernel/moe_token_permute_with_routing_map_common.h | | 19 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/mega_moe_moe_v2_common.h | | 20 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/mega_moe_quant_moe_v2_common.h | | 21 | moe/moe_init_routing_v2/op_kernel/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/moe_init_routing_v2_common.h | | 22 | moe/moe_init_routing_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/arch35/moe_init_routing_v2_arch35_common.h | | 23 | moe/moe_init_routing_quant_v2/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/inner/moe_init_routing_quant_v2_pkg_inner_common.h | | 24 | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_init_routing_quant_v2_arch35_common.h | | 25 | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_init_routing_quant_v2_inner_common.h | | 26 | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_base.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_base.h | ### 命名约定 | 场景 | 约定 | |------|------| | all_gather_matmul_v2 | agm_v2_* | | matmul_all_reduce | matmul_all_reduce_common.h | | mega_moe 内 moe_v2 | mega_moe_* / mega_moe_quant_* | | moe 算子 | moe_<op>_common.h、arch35 加 _arch35_common | | dispatch setup | setup_base.h / setup_common.h(与 mc2/common 权威 base 区分) | | include guard | 与文件名一致(如 MOE_DISTRIBUTE_DISPATCH_V2_COMMON_H) | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10537 | 2 months ago | |
fix(sparse_flash_mla): separate FD staging from KV address workspace Co-authored-by: INeedAnID<panjie38@huawei.com> # message auto-generated for no-merge-commit merge: !10622 merge fix/smla-fd-staging-kv-phyaddr-overlap into master fix(sparse_flash_mla): separate FD staging from KV address workspace Created-by: INeedAnID Commit-by: INeedAnID Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> fd使用的gm地址和kv分离冲突,修改fd起始地址 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10622 | 2 months ago | |
安装重名头文件整改:common.h Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10537 merge clear_repeat_h_comm into master 安装重名头文件整改:common.h Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 ** common.h / moe_common.h / moe_v2_common.h 跨算子同名整改**,消除安装包内跨算子同名头冲突。 **原因**: **common.h(13 份)**、**moe_common.h(5 份)**、**moe_v2_common.h(7 份)** 属安装规则 **3.9**(仓内非对外、不同算子/组件目录拷贝同名头),且口径为「同名不同实现亦改名」。权威 common/include/op_kernel/common.h 与 mc2/common/op_kernel/moe_distribute_base.h **保留原名**。 **方法**:低风险只改次要副本——各算子/组件侧 common.h / moe_common.h / moe_v2_common.h / setup 侧 moe_distribute_base.h 加算子或组件前缀(如 agm_v2_、matmul_all_reduce_、moe_init_routing_、mega_moe_、setup_ 等);同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则 | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 | | 权威 common | common/include/op_kernel/common.h | 否 | 保留原名 | | 权威 mc2 base | mc2/common/op_kernel/moe_distribute_base.h | 否 | 保留原名(v2/combine 等仍 #include 此路径) | ### 范围与结果 | 项 | 说明 | |----|------| | 重命名组数 | **26** | | 涉及域 | attention(scatter_pa / sfag / sfmg)、examples fkle、mc2(agm_v2 / matmul_all_reduce / mega_moe / dispatch setup/teardown/v2、mhc tiling)、moe(gating / init_routing / token_permute 系列) | | 附带修复 | dispatch setup base/common 映射;teardown 跨组件引用;v2 arch35 a5_ccu 裸 include;v3/combine_v3 apt 依赖 v2/v2_combine 的 __has_include 多布局路径 | | 变更文件数 | **166** | | 行变更 | +253 / -238 | ### 26 组重命名(旧 → 新) | # | 旧路径 | 新路径 | |--:|--------|--------| | 1 | attention/scatter_pa_kv_cache/op_kernel/arch35/common.h | attention/scatter_pa_kv_cache/op_kernel/arch35/scatter_pa_kv_cache_arch35_common.h | | 2 | attention/sparse_flash_attention_grad/op_kernel/arch35/common.h | attention/sparse_flash_attention_grad/op_kernel/arch35/sparse_flash_attention_grad_arch35_common.h | | 3 | attention/sparse_flash_mla_grad/op_kernel/arch35/common.h | attention/sparse_flash_mla_grad/op_kernel/arch35/sparse_flash_mla_grad_arch35_common.h | | 4 | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/common.h | examples/fast_kernel_launch_example/csrc/moe_distribute_dispatch_v2/ascend910_93/op_kernel/fkle_mdd_v2_common.h | | 5 | mc2/all_gather_matmul_v2/op_kernel/common.h | mc2/all_gather_matmul_v2/op_kernel/agm_v2_common.h | | 6 | mc2/matmul_all_reduce/op_kernel/common.h | mc2/matmul_all_reduce/op_kernel/matmul_all_reduce_common.h | | 7 | mc2/moe_distribute_dispatch_setup/op_kernel/common.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_common.h | | 8 | mc2/moe_distribute_dispatch_v2/op_kernel/common.h | mc2/moe_distribute_dispatch_v2/op_kernel/moe_distribute_dispatch_v2_common.h | | 9 | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/common.h | mhc/mhc_pre_sinkhorn_backward/op_host/op_tiling/arch22/mhc_pre_sinkhorn_backward_common.h | | 10 | moe/moe_gating_top_k/op_kernel/arch35/common.h | moe/moe_gating_top_k/op_kernel/arch35/moe_gating_top_k_arch35_common.h | | 11 | moe/moe_gating_top_k/op_kernel/common.h | moe/moe_gating_top_k/op_kernel/moe_gating_top_k_common.h | | 12 | moe/moe_gating_top_k_backward/op_kernel/arch35/common.h | moe/moe_gating_top_k_backward/op_kernel/arch35/moe_gating_top_k_backward_arch35_common.h | | 13 | moe/moe_gating_top_k_backward/op_kernel/common.h | moe/moe_gating_top_k_backward/op_kernel/moe_gating_top_k_backward_common.h | | 14 | moe/moe_init_routing/op_kernel/moe_common.h | moe/moe_init_routing/op_kernel/moe_init_routing_common.h | | 15 | moe/moe_init_routing/op_kernel/arch35/moe_common.h | moe/moe_init_routing/op_kernel/arch35/moe_init_routing_arch35_common.h | | 16 | moe/moe_token_permute/op_kernel/moe_common.h | moe/moe_token_permute/op_kernel/moe_token_permute_common.h | | 17 | moe/moe_token_permute_with_ep/op_kernel/moe_common.h | moe/moe_token_permute_with_ep/op_kernel/moe_token_permute_with_ep_common.h | | 18 | moe/moe_token_permute_with_routing_map/op_kernel/moe_common.h | moe/moe_token_permute_with_routing_map/op_kernel/moe_token_permute_with_routing_map_common.h | | 19 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_v2/mega_moe_moe_v2_common.h | | 20 | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/moe_v2_common.h | mc2/mega_moe/op_kernel/arch22/moe_init_routing_quant_v2/mega_moe_quant_moe_v2_common.h | | 21 | moe/moe_init_routing_v2/op_kernel/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/moe_init_routing_v2_common.h | | 22 | moe/moe_init_routing_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_v2/op_kernel/arch35/moe_init_routing_v2_arch35_common.h | | 23 | moe/moe_init_routing_quant_v2/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/inner/moe_init_routing_quant_v2_pkg_inner_common.h | | 24 | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/arch35/moe_init_routing_quant_v2_arch35_common.h | | 25 | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_v2_common.h | moe/moe_init_routing_quant_v2/op_kernel/inner/moe_init_routing_quant_v2_inner_common.h | | 26 | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_base.h | mc2/moe_distribute_dispatch_setup/op_kernel/moe_distribute_dispatch_setup_base.h | ### 命名约定 | 场景 | 约定 | |------|------| | all_gather_matmul_v2 | agm_v2_* | | matmul_all_reduce | matmul_all_reduce_common.h | | mega_moe 内 moe_v2 | mega_moe_* / mega_moe_quant_* | | moe 算子 | moe_<op>_common.h、arch35 加 _arch35_common | | dispatch setup | setup_base.h / setup_common.h(与 mc2/common 权威 base 区分) | | include guard | 与文件名一致(如 MOE_DISTRIBUTE_DISPATCH_V2_COMMON_H) | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10537 | 2 months ago | |
fix metadata aclnn workspaceSize Co-authored-by: qq_32807861<handongchen2@huawei.com> # message auto-generated for no-merge-commit merge: !9607 merge master into master fix metadata aclnn workspaceSize Created-by: qq_32807861 Commit-by: qq_32807861 Merged-by: cann-robot Description: ## 描述 fix metadata aclnn workspaceSize ## 关联的Issue 关联Issue [#4210](https://gitcode.com/cann/ops-transformer/issues/4210) ## 测试 编译触发 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9607 | 3 months ago | |
整改安装重名头文件:权威 TLA / attention/common / mc2/common / math 侧保留;改次要副本 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !10499 merge clear_repeat_h_29 into master 整改安装重名头文件:权威 TLA / attention/common / mc2/common / math 侧保留;改次要副本 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 按**安装重名**头文件规范,完成 **PR-3:其余算子 / 3rd 碰撞 / 3.7 类消歧**(控变更文件数 < 200),消除安装包内跨算子同名头冲突。 **方法**:低风险只改次要副本——权威树 mc2/3rd/template_linear_algebra、attention/common、mc2/common 等保留原名;次要侧加算子/组件前缀(kda_ / msa_ / gmm_ / mrs_v2_ / agm_v2_ / apace_ / wq_ / mararn_ 等)。同步更新 #include、\file、include guard。无业务逻辑变更。禁止软链接。 ### 安装分类规则(节选,本批相关) | # | 场景 | 是否整改 | 处置 | |---|------|---------|------| | 3.3 | atvoss submodule 多份可见 | 否 | 不解决(归需屏蔽) | | 3.4 | aclnn level2 双路径兼容 | 否 | 330 废弃(归需屏蔽) | | 3.7 | transformer 误拷贝 math | 是 | 本仓特化拷贝改名消歧(无法直接删改用 math) | | 3.9 | 仓内非对外同名拷贝 | 是 | 次要侧改名 / 去重 | 本批实际:**3.9** + **3.7 消歧** + 同名不同实现亦改名;权威/公共树保留原名。 ### 范围与结果 | 项 | 说明 | |----|------| | 范围 | 仍需整改清单中除 common.h / moe_common.h / moe_v2_common.h 外的成对/跨组件/TLA 次要副本 | | 映射条数 | **43**(pr3_remap_batch1.tsv + pr3_remap_batch2.tsv)+ nd2nz 去重 + masked_select 改名 | | 权威 TLA 包内多路径 | dispatch_policy.hpp / tile_copy.hpp 等同组件备案,**本批不改** | | 变更文件数 | **196**(< 200 硬约束) | ### 命名约定 | 场景 | 约定 | |------|------| | chunk_kda / msa 次要 | kda_* / msa_* | | matmul_reduce_scatter_v2 | mrs_v2_* | | all_gather_matmul_v2 | agm_v2_* | | gmm / apace / weight_quant | gmm_* / apace_* / wq_* | | matmul_all_reduce_add_rms_norm | mararn_* | | include guard | 与文件名前缀一致(如 CATLASS_KDA_*) | | 设备属性宏 | **保持** CATLASS_DEVICE 等原名(不随文件前缀改) | ### 其它处置 | 项 | 处置 | |----|------| | masked_select_v3.h | → moe_token_permute_masked_select_v3.h(算子特化,消歧 basename) | | batch_mat_mul_nd2nz.h | 删 mat_mul_v3 副本,改为 include batch_mat_mul_v3 侧(内容相同) | | sparse_flash_mla metadata | root → *_kernel_metadata.h;arch22 → *_arch22_metadata.h | ### 本分支变更统计 | 项 | 数量 | |----|-----:| | 变更文件 | **196** | | 行变更 | +375 / -797 | ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4356 ## 测试 ## 文档更新 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10499 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
[G项目] 修改部分资料 Co-authored-by: Kenny_Ke<kejunchun2@huawei.com> # message auto-generated for no-merge-commit merge: !10446 merge kjc_tmp into master [G项目] 修改部分资料 Created-by: Kenny_Ke Commit-by: Kenny_Ke Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10446 | 2 months ago | |
A5 slig support sink Co-authored-by: hw_zhaozhouqiao<zhaozhouqiao4@huawei.com> # message auto-generated for no-merge-commit merge: !10412 merge master into master A5 slig support sink Created-by: zzqzz5ii Commit-by: hw_zhaozhouqiao Merged-by: cann-robot Description: ## 描述 slig support sink ,在计算P的归一化过程中 修正归一化系数 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10412 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
打标签检测 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !10044 merge master into master 打标签检测 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ### 描述 打标签的检测补充 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-transformer!10044 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
torch extension整改成分布式 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !9712 merge torch_extension_split into master torch extension整改成分布式 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 ops-transformer仓支持各个算子独立编译torch_extention,并将torch_extension从集中式改成分布式(算子的文件分布到算子源码目录下新建的torch_extension文件夹) ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4502 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9712 | 2 months ago | |
trans规范整改打标签 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !9417 merge master into master trans规范整改打标签 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 打标签attention文件 ## 关联的Issue 关联Issue [#4040](https://gitcode.com/cann/ops-transformer/issues/4040) <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9417 | 3 months ago | |
Capability enhancement: noaicpu option is supported. Co-authored-by: huang-chuhong<huangchuhong1@h-partners.com> # message auto-generated for no-merge-commit merge: !1595 merge master into master Capability enhancement: noaicpu option is supported. Created-by: huang-chuhong Commit-by: huang-chuhong Merged-by: cann-robot Description: ## 描述 Capability enhancement: noaicpu option is supported. 问题背景:mc62cm12a 场景是不需要用到毕昇编译器的,因此构建时并没有安装毕昇编译器的任何东西,但aicpu(包括tiling下沉)因为涉及device侧运行,需要用到毕昇的交叉工具链,所以会报错工具链找不到。 解决方案:因为mc62cm12a 不需要执行aicpu算子,且不支持跑aicpu算子,因此利用--noaicpu参数选项,在构建aicpu算子的时候进行kernel隔离。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/774 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-transformer!1595 | 9 months ago |
| Files | Last commit | Last update |
|---|---|---|
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 3 months ago | ||
| 9 months ago |