| Files | Last commit | Last update |
|---|---|---|
fix a spelling error Co-authored-by: zikaitang<125090618@link.cuhk.edu.cn> # message auto-generated for no-merge-commit merge: !11914 merge dimensional into master fix a spelling error Created-by: zikaitang Commit-by: zikaitang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11914 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
MC2 DFX Co-authored-by: WangShuying5<wangshuying5@huawei.com> # message auto-generated for no-merge-commit merge: !11488 merge DFXRDV into master MC2 DFX Created-by: WangShuying5 Commit-by: WangShuying5 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> MC2 DFX需求,增加aic error后触发exception dump机制,新增 Mc2ExceptionImplTmp(xn/cke 地址 dump)、Mc2DumpTilingData(args/tiling 数据/workspace 逐段 D2H 拷贝落盘)、Mc2DumpUrmaContext(通信上下文与 peermem 窗口分段 dump)和kernel 侧运行时进度打点 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5252 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11488 | 2 months ago | |
feat(apace): AllGather MX QuantMatmul Hcomm通算融合模板 Co-authored-by: w00951525<wangfuhao7@huawei.com> # message auto-generated for no-merge-commit merge: !10588 merge add_agamm_hcomm_apace_template into master feat(apace): AllGather MX QuantMatmul Hcomm通算融合模板 Created-by: w00951525 Commit-by: w00951525 Merged-by: cann-robot Description: ## 描述 新增了 AllGather MX QuantMatmul 的 Hcomm通算融合模板: 新增 all_gather_mx_matmul_hcomm_impl.h(AIC 核内 HCCL AllGather 通信 + 复用 FragmentTensor QBMM kernel 的 CommPolicy 注入式实现,含 bias 可选输入接线与纯尾块 tileCnt=0 跳过守卫)与自有的 all_gather_mx_matmul_tiling_data.h(URMA/Hcomm 两路共用 tiling 结构),将原 urma_tiling_data.h 重命名合并、urma_impl.h 同步适配 11 行; qbmm_mx_kernel.h 引入 CommPolicy 模板参数、恢复 bias 并同步 master 的 DIMS_NUM clean-code 改造,另将 all_gather_matmul_v3 两个文件的 tiling data include 路径更新为新文件名(urma ST main.cpp 同步);该提交不含 TransB(非转置 B)支持,全部代码位于 namespace Apace ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5259 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # PR #10588 快速检视报告 | 项目 | 内容 | |------|------| | PR | https://gitcode.com/cann/ops-transformer/pull/10588 | | 标题 | feat(apace): AllGather MX QuantMatmul Hcomm/CCU 通算融合模板 | | 对应 commit | 4e761ac2(已与本地 ops-transformer 仓 commit 逐字节比对,10 文件 +408/-93,index hash 全匹配) | | 检视日期 | 2026-09-12 | | 检视方式 | ascendc-code-review / quick-review 工作流(假设检验法)+ MC2-17/MC2-18 条例 + 官方 AllGather 文档动态验证(CANN 9.0.0-beta1) | | 侧别 | Kernel + Tiling(MC2/apace hcomm 模板) | ## 总体结论 **对现有功能(URMA 路径 / all_gather_matmul_v3)无影响,属增量变更。** - ## SUSPICIOUS(2 项) ### [SUSPICIOUS-1] CommPolicy 模板参数无默认值 — 头文件级接口破坏性变更 置信度:MED **问题描述**:AllGatherQbmmMxKernel 新增第 4 模板参 CommPolicy 且无默认值(all_gather_qbmm_mx_kernel.h:50 template <typename AType, typename BType, typename CType, typename CommPolicy>)。commit 树内验证:仅 2 处实例化,均已同步更新传参(urma_impl.h:56 传 UrmaCommWaitPolicy、hcomm_impl.h:93 传 HcommCommWaitPolicy<ServerType>),仓内编译安全。但作为公共 kernel 头文件,仓外任何按旧 3 参签名直接实例化该头的代码将编译失败。 **证据**:规范违反 +40%(无默认值属硬破坏)+ PR 归属 +20% + 上下文防御缺失 +30%(无默认值兜底)= 90%,但考虑 apace 模板头文件当前无仓外消费者证据,降级 MED 人工确认。 **建议**:确认该头是否对外发布;若仅仓内使用可接受,否则补默认策略或走 deprecated 过渡。 ### [SUSPICIOUS-2] hcommAllGatherMatmulTilingData.gatherLen 无 host 填充方 置信度:MED **问题描述**:kernel 侧依赖 tilingData_->gatherLen(all_gather_mx_matmul_tiling_data.h:57)判断 gather_out 可用性(hcomm_impl.h:199 if (tilingData_->gatherLen == 0 && gatherOut != 0)),但该结构体在本 commit 无任何 host 侧赋值路径(git grep 确认 host tiling 仅填充 URMA 结构体)。当前未接线故无风险,但后续接线时若遗漏 gatherLen 初始化,将依赖未初始化内存做出错误的 buffer 选择。另:tileCnt_==0 && tailCnt_==0 退化场景下 scale handle 已提交(repeat=1)但从不 Wait 即 Finalize(host 正常不应产生该切分,仅记录)。 **建议**:接线时确保 host 侧初始化 gatherLen(语义对齐 mc2_tiling_struct.h 既有 gatherLen 约定),并在 tiling 生成处约束 commTurn ≥ 1。 --- ## PASS(7 项) | 条例/检查点 | 结论 | |------------|------| | [MC2-17] AllGather API 用法动态验证 | PASS。官方文档确认签名 AllGather<commit>(send, recv, sendCount, dataType, strideCount, repeat);commit=true 自动 Commit + 逐轮 Wait 消费,与官方多轮切分示例逐字一致;strideCount/repeat 寻址数学与 FragmentTensor 窗口布局一致(rank 块偏移 i*strideCount,第 t 轮推进 sendCount),Wait 次数与 repeat 配对正确(scale×1 / head×tileCnt / tail×tailCnt) | | [MC2-18] HCCL 生命周期配对 | PASS(屏障缺失另计 FAIL)。InitV2 → SetCcTilingV2 → AllGather\<true\> → Wait → Finalize 配对完整;Prepare 类调用 3 次 ≤ 63 上限 | | [MC2-18] HcclDataType 匹配 | PASS。FP8E8M0(scale)与 UINT8(fp4x2 打包)均为仓内已验证用法(allto_all_mx_quant_matmul_arch35.h:59、hccl_a2av_op.h:186);FP8/UINT8 均为 1 字节,count/stride 字节语义自洽 | | URMA 行为等价 | PASS。UrmaCommWaitPolicy::WaitTile 逐字还原原 CrossCoreWaitFlag<0x2, PIPE_MTE2>(idx) 调用序列(含 tileIdx=0 前置等待),既有 URMA 路径时序不变 | | Tiling 头文件合并 | PASS。commit 树内 git grep 确认被删头文件 0 残留引用,4 个消费方全部同步更新;AllGatherMxMatmulUrmaTilingData 字段与对齐(alignas(8)/pack(8))逐字节一致,无 tiling 二进制兼容问题 | | FP4 dataBytesPerMRow_ 修复 | PASS(仅新路径)。fp4x2_e2m1_t 1 字节 2 元素,原 k*sizeof(AType)=K 确为 2× 错位;修复 IsMxFp4 ? k/2 : k*sizeof(AType) 方向正确,与 kForComm_(CeilDiv(K,2))及 URMA 契约一致;FP8 行为不变(k*1==k) | | 注释类改动 | PASS。allto_all_matmul_tiling_key.h 与 all_to_all_mx_quant_matmul_hcomm_impl.h 仅注释修改,无代码语义变化 | --- ## LOW 备注项(3 项) 1. **commit message 与实际 diff 不符**:message 第 6 条(mc2_quant_batch_matmul.h 加 #undef)与第 8 条(CrossCore 模式0 屏障)均不在本 commit diff 及 commit 树内。 2. **无关文件顺手改动**:allto_all_matmul_tiling_key.h 与本特性无关,建议拆分提交。 3. **新增路径无 ST 覆盖**:ST 目录仅有 urma 路径(main.cpp 仅改 include),hcomm 路径无任何测试接线与用例。 --- ## 汇总 快速检视 — PR #10588 (commit 4e761ac2) | 侧别: Kernel+Tiling(MC2/apace) | 7 PASS / 0 FAIL / 2 SUSPICIOUS / 3 LOW - **现有功能影响**:无(URMA 路径行为与数据结构保持不变,变更全部通过交叉验证) See merge request: cann/ops-transformer!10588 | 2 months ago | |
mc2相关文件,pre-commit规范整改 Co-authored-by: yayahello<zhaopenglei@hisilicon.com> # message auto-generated for no-merge-commit merge: !11337 merge master into master mc2相关文件,pre-commit规范整改 Created-by: yayahello Commit-by: yayahello Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> mc2代码仓,pre-commit 整改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11337 | 2 months ago | |
change alltoallmm comm table. Co-authored-by: qq_43844249<fanglin17@huawei.com> # message auto-generated for no-merge-commit merge: !11900 merge aicpu-tiling into master change alltoallmm comm table. Created-by: qq_43844249 Commit-by: qq_43844249 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> # 代码检视报告 **项目名称**:NPU算子检视报告(ops-transformer) **检视模块**: - D:\gitcode\myfork\ops-transformer\mc2\allto_all_matmul\op_host\op_tiling\arch35\allto_all_comm_algo_table.cpp - D:\gitcode\myfork\ops-transformer\mc2\allto_all_matmul\op_host\op_tiling\arch35\allto_all_matmul_fit_balance_tiling.cpp **检视人**:CANNBot(Turing Team) **检视日期**:2026-09-13 **检视对象**:当前分支最新提交 f629465 "change alltoallmm comm table."(2 个文件,+25/-15) **检视规则**:C++ 安全编码规范(cpp-secure.md)、C++ 通用编码规范(cpp-general.md)、C++ 代码风格规范(cpp-style.md) ## 🔍 检视概览 | 统计项 | 数值 | | ---- | ---- | | 发现问题总数 | 3 个 | | 严重级(CRITICAL)问题 | 0 个 | | 中等级(MEDIUM)问题 | 0 个 | | 轻微级(LOW)问题 | 3 个 | | 已修复问题 | 3 个(2026-09-13 修复完成,见各问题"修复验证") | | 待修复问题 | 0 个 | | 误报数量 | 0 个 | **核心结论**:本次提交将 AllToAllMatmul 通信算法表重构为"全部走默认算法"的临时策略,逻辑自洽:数据量区间 [0,256MB) 与 [256MB,MAX] 连续无缝隙、无重叠;默认表项 priority=3 对全部死表项的压制关系成立;候选数 10 < 32 上限。Host 侧红线(除零、溢出/回绕、数组越界、指针、初始化、资源配对)全部通过。检视发现的 3 处 LOW 级可维护性问题(注释与行为矛盾、常量类型选择隐患、算法名魔法字符串重复)已于 2026-09-13 全部修复并验证;另有 2 项存疑事项待确认。 **行为变更核验**(按调用链 mc2_comm_algo_selector.cpp:90-118 验证): - 重构后 AICPU/CCU 两引擎在 CUSTOM 拓扑、卡数[2,MAX]、层数[1,2] 全场景均选中默认算法 AlltoAll=level0:fullmesh;level1:pairwise,与提交注释"暂时全走默认算法"意图一致; - 对层数≥3、卡数<2、非 CUSTOM 拓扑等无匹配场景,选择器回退 defaultAlgoName,而 3 处调用方(如 allto_all_fp_matmul_tiling_base.cpp:224)传入的正是同一字符串 ALLTOALL_DEFAULT_ALGO_NAME,行为无分歧; - 8 个被压制的专用算法名在仓库内无其他引用(无测试依赖),下线无遗漏影响。 --- ## ❌ 问题详情及修改建议 ### 问题ID:ISSUE-001 | 严重级别:LOW(轻微) #### 🔬 假设检验过程 **代码段**:ALLTOALL_COMM_ALGO_TABLE 中 UBX 死表项的注释 **假设**:H0: 该注释准确描述了代码行为 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反 | cpp-style §3 | 注释"实际生效[9,16]"与同注释开头"暂不生效:被上方默认算法表项(priority=3)压制"直接矛盾 | +40% | 40% | | 2 | 数据流追踪 | - | 按选择器逻辑(优先级取最大,mc2_comm_algo_selector.cpp:111),UBX 表项 priority=1 < 默认表项 priority=3 且卡数区间被 [2,MAX] 完全覆盖,UBX 对任何卡数(含[9,16])都不会生效 | +25% | 65% | | 3 | 上下文防御缺失 | - | 注释内无任何说明澄清"[9,16]"是"假设默认表项移除后的假想生效范围",读者无法区分 | +30% | 95% | **结论**:自信值 **95%** > 60%,**推翻原假设H0**,该注释存在误导风险。 --- **关联红线条款**:无(注释准确性问题,非红线) **代码路径**:mc2/allto_all_matmul/op_host/op_tiling/arch35/allto_all_comm_algo_table.cpp:29-31 **问题类型**:注释与代码行为矛盾 **问题描述**:注释开头声明该表项"暂不生效",结尾却写"实际生效[9,16]"。实际按优先级压制逻辑,该表项对所有卡数均不生效,"[9,16]"至多是"默认表项被移除后的假想生效范围"。误导性注释会诱导后续维护者对算法生效范围做出错误判断(规范要求注释内容应清楚、明了、准确,cpp-style §3)。 #### 修改建议 **修改前代码**: cpp // 暂不生效:被上方默认算法表项(priority=3)压制。AICPU + CUSTOM + 单层 + // 卡数[8,16],rank=8被下方Concurrent以高优先级覆盖,实际生效[9,16] {ENGINE_AICPU, COMM_TOPO_CUSTOM, 1, 1, 0, MAX_DATA_BYTES, 8, 16, 1, "AicpuAllToAllSoleMeshUBX"}, **修改后代码**: cpp // 暂不生效:被上方默认算法表项(priority=3)压制,当前对所有卡数均不生效。 // 预留说明:若未来移除默认表项,本表项(AICPU + CUSTOM + 单层 + 卡数[8,16]) // 中 rank=8 会被下方Concurrent(priority=2)以高优先级覆盖,假想生效范围为[9,16] {ENGINE_AICPU, COMM_TOPO_CUSTOM, 1, 1, 0, MAX_DATA_BYTES, 8, 16, 1, "AicpuAllToAllSoleMeshUBX"}, **修改说明**:将"实际生效"改为"当前对所有卡数均不生效",并把"[9,16]"明确标注为"默认表项移除后的假想生效范围",消除注释内部矛盾,符合 cpp-style §3 注释准确性要求。 #### 修复验证 **状态**:✅ 已修复(2026-09-13) **修复后代码**(allto_all_comm_algo_table.cpp:29-31): cpp // 暂不生效:被上方默认算法表项(priority=3)压制,当前对所有卡数均不生效。 // 预留说明:若未来移除默认表项,本表项(AICPU + CUSTOM + 单层 + 卡数[8,16]) // 中 rank=8 会被下方Concurrent(priority=2)以高优先级覆盖,假想生效范围为[9,16] 注释矛盾已消除,与优先级压制逻辑一致。 --- ### 问题ID:ISSUE-002 | 严重级别:LOW(轻微,需关注) #### 🔬 假设检验过程 **代码段**:常量 LARGE_DATA_BYTES 的类型定义及其在表项字节区间中的使用 **假设**:H0: 该代码段数值运算安全 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反(潜在模式) | cpp-secure 2.2 | 常量以 uint32_t 定义,却赋给 uint64_t 的 minBytes/maxBytes 字段,类型宽度不匹配,属于无符号回绕风险的易发模式 | +40% | 40% | | 2 | 数据流追踪 | - | 当前值 256U*1024U*1024U = 268435456 < UINT32_MAX,LARGE_DATA_BYTES - 1 不回绕,当前安全;但若后续有人把阈值调到 4GB 及以上且沿用 U 后缀写法(如 4U*1024U*1024U*1024U),将在 uint32_t 域回绕为 0,字节区间过滤完全失效 | +25% | 65% | | 3 | 上下文防御缺失 | - | 无 static_assert 或类型层防御阻止上述改动 | +30% | 95% | **结论**:自信值 **95%** > 60%,判定存在隐患;因当前取值安全,按 cpp-secure 2.2 阶段4 规则标注为"**需关注(含约束条件)**",降级为 LOW。 --- **关联红线条款**:cpp-secure 规范 2.2(无符号整数运算不回绕)[适用: All] **代码路径**:mc2/allto_all_matmul/op_host/op_tiling/arch35/allto_all_comm_algo_table.cpp:20(使用处 :36、:40) **问题类型**:常量类型宽度与用途不匹配(潜在回绕隐患) **问题描述**:LARGE_DATA_BYTES 用于 64 位字节区间字段却声明为 uint32_t。当前 256MB 取值安全(约束条件:阈值 < 4GB),但类型选择为未来扩容埋下回绕隐患;一旦回绕,maxBytes 变为 0 或异常值,数据量过滤将静默失效(虽然当前这些表项为死表项,风险被暂时掩盖)。 **安全边界**:LARGE_DATA_BYTES 必须 < 4294967296(2^32)。 #### 修改建议 **修改前代码**: cpp constexpr uint32_t LARGE_DATA_BYTES = 256U * 1024U * 1024U; **修改后代码**: cpp constexpr uint64_t LARGE_DATA_BYTES = 256ULL * 1024ULL * 1024ULL; **修改说明**:与目标字段 minBytes/maxBytes 的 uint64_t 类型(mc2_comm_algo_selector.h:29-30)保持一致,ULL 后缀保证乘法在 64 位域完成,彻底消除未来调大阈值时的回绕风险,符合 cpp-secure 2.2 要求。 #### 修复验证 **状态**:✅ 已修复(2026-09-13) **修复后代码**(allto_all_comm_algo_table.cpp:20): cpp constexpr uint64_t LARGE_DATA_BYTES = 256ULL * 1024ULL * 1024ULL; 类型宽度与目标字段对齐,- 1 运算及未来扩容均无回绕风险,"需关注"约束解除。 --- ### 问题ID:ISSUE-003 | 严重级别:LOW(轻微) #### 🔬 假设检验过程 **代码段**:默认算法名字符串字面量 **假设**:H0: 该代码段无重复定义问题 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反 | cpp-general 4.2 | 算法名 "AlltoAll=level0:fullmesh;level1:pairwise" 以字符串字面量形式在表中重复出现 2 次(:25、:28),而头文件已存在同名常量 ALLTOALL_DEFAULT_ALGO_NAME(allto_all_comm_algo_table.h:19),构成魔法字符串 | +40% | 40% | | 2 | 函数调用链风险 | - | 该字符串同时是 3 处调用方回退用的 defaultAlgoName(如 allto_all_fp_matmul_tiling_base.cpp:224),共 4 处独立定义;若算法串变更漏改任一处,将出现"表内选中算法"与"回退算法"不一致的隐蔽缺陷 | +25% | 65% | | 3 | 上下文防御缺失 | - | 无 static_assert 或单元测试校验表内字符串与常量一致 | +30% | 95% | **结论**:自信值 **95%** > 60%,**推翻原假设H0**,存在魔法字符串重复问题。 --- **关联红线条款**:无(通用规范问题) **代码路径**:mc2/allto_all_matmul/op_host/op_tiling/arch35/allto_all_comm_algo_table.cpp:24-28 **问题类型**:魔法字符串重复(cpp-general 规则 4.2 禁止使用魔鬼数字/字符) **问题描述**:同一算法名字符串在 .cpp 表项中重复 2 次,且与头文件常量 ALLTOALL_DEFAULT_ALGO_NAME 语义完全相同。多副本维护时易发生漏改,导致表内默认算法与选择器回退算法悄然分叉。 #### 修改建议 **修改前代码**: cpp {ENGINE_AICPU, COMM_TOPO_CUSTOM, 1, 2, 0, MAX_DATA_BYTES, 2, MAX_RANK_SIZE, 3, "AlltoAll=level0:fullmesh;level1:pairwise"}, {ENGINE_CCU, COMM_TOPO_CUSTOM, 1, 2, 0, MAX_DATA_BYTES, 2, MAX_RANK_SIZE, 3, "AlltoAll=level0:fullmesh;level1:pairwise"}, **修改后代码**: cpp {ENGINE_AICPU, COMM_TOPO_CUSTOM, 1, 2, 0, MAX_DATA_BYTES, 2, MAX_RANK_SIZE, 3, ALLTOALL_DEFAULT_ALGO_NAME}, {ENGINE_CCU, COMM_TOPO_CUSTOM, 1, 2, 0, MAX_DATA_BYTES, 2, MAX_RANK_SIZE, 3, ALLTOALL_DEFAULT_ALGO_NAME}, **修改说明**:直接引用本文件对应头文件中已有的 inline constexpr const char *ALLTOALL_DEFAULT_ALGO_NAME(allto_all_comm_algo_table.h:19),单一数据源,杜绝多处字面量漂移,符合 cpp-general 4.2。 #### 修复验证 **状态**:✅ 已修复(2026-09-13) **修复后代码**(allto_all_comm_algo_table.cpp:24-28): cpp {ENGINE_AICPU, COMM_TOPO_CUSTOM, 1, 2, 0, MAX_DATA_BYTES, 2, MAX_RANK_SIZE, 3, ALLTOALL_DEFAULT_ALGO_NAME}, {ENGINE_CCU, COMM_TOPO_CUSTOM, 1, 2, 0, MAX_DATA_BYTES, 2, MAX_RANK_SIZE, 3, ALLTOALL_DEFAULT_ALGO_NAME}, 两处表项均改为引用 ALLTOALL_DEFAULT_ALGO_NAME(allto_all_comm_algo_table.h:19,同命名空间 Mc2Tiling,编译期可见)。仓库内该算法名现仅剩头文件常量 1 处定义,表内选中算法与选择器回退算法的单一数据源达成。 --- ## ⚠️ 存疑事项(供自主判断,不计入确认问题) ### 存疑-1:AICPU_TILING_COST 由 100 调整为 30,缺少依据说明 **代码路径**:mc2/allto_all_matmul/op_host/op_tiling/arch35/allto_all_matmul_fit_balance_tiling.cpp:45 cpp constexpr uint64_t AICPU_TILING_COST = 30; **说明**:安全层面通过——该常量作为编译期非零除数(:63 static_cast<double>(AICPU_TILING_COST)),无除零风险。但该调参使 AICPU_TS_ENGINE 模式下最大切分轮次 tempMaxTilingNum 放大约 3.33 倍(100→30),直接影响通算平衡切分粒度。同文件其他拟合常量均有来源注释(如 :39"拟合动态pertoken和permute性能"),此改动无注释说明拟合依据或测试数据来源。建议补充注释说明调参依据(如实测 profiling 数据),便于后续维护者理解 30:10 的 AICPU/CCU 开销比假设。 ### 存疑-2:8/10 表项为永久压制状态,与 cpp-general 1.3(删除无效冗余代码)的张力 **代码路径**:mc2/allto_all_matmul/op_host/op_tiling/arch35/allto_all_comm_algo_table.cpp:31-46 **说明**:8 个专用算法表项 priority 均低于默认表项(1/2 < 3),运行期永不生效,属于"永不执行的代码"。注释已明确标注"暂不生效",若为后续恢复预留,可以接受;但需注意两点风险:(1) 这些表项的匹配区间在本次已被改写(如 SingleChannel 由"全数据量、层数[1,2]"收窄为"[0,256MB)、层数[2,2]"),若未来仅提升其 priority 而不重新审视区间,将以过期配置静默生效;(2) 一旦误删/误改两条默认表项的 priority,全部死表项将立即复活。建议在表头补充一段总注释说明"整体临时下线"策略及恢复时的检查清单。 ### 附注(非本次提交引入):EstimateMMCommTime 中潜在 0/0 allto_all_matmul_fit_balance_tiling.cpp:51 的 std::max(...)/std::min(totalTpTime_, totalMatmulTime_),当两者均为 0 时结果为 NaN(浮点除不崩溃,但 ratioCalcComm_ < CALC_COMM_RATIO 判断将恒为 false)。该行为改动前即存在,不在本次提交检视范围内,仅顺带提示。 ## ✅ 红线合规核验(通过项) | 红线条款 | 结论 | 依据 | |---------|------|------| | 1. 除法/求余除零保护 | ✅ 通过 | 本次提交无新增除法;既有除法(fit_balance :63-64)除数为编译期常量 30/10/1.5,非零 | | 2. 数组访问越界保护 | ✅ 通过 | 无新增数组索引访问;表项数 10 < MAX_COMM_ALGO_CANDIDATES(32),选择器截断逻辑(mc2_comm_algo_selector.cpp:50-54)不会越界 | | 3. 加减乘溢出/回绕保护 | ✅ 通过(附 LOW 隐患) | 256U*1024U*1024U=268435456 < UINT32_MAX;LARGE_DATA_BYTES - 1 当前不回绕(隐患见 ISSUE-002) | | 4. 指针先赋值后访问 | ✅ 通过 | 无新增指针操作;表项 algoName 均为静态字符串字面量,static 存储期 | | 5. 变量使用前有效初始化 | ✅ 通过 | 全部 10 个表项均完整提供 CommAlgoEntry 的 10 个字段(聚合初始化,无缺省) | | 6. 资源申请释放匹配 | ✅ 通过 | 无资源申请 | ## 报告生成时间 2026-09-13 ## 修复记录 | 修复日期 | 问题ID | 修复内容 | 验证结果 | |---------|--------|---------|---------| | 2026-09-13 | ISSUE-001 | 修正 allto_all_comm_algo_table.cpp:29-31 矛盾注释 | ✅ 通过 | | 2026-09-13 | ISSUE-002 | LARGE_DATA_BYTES 改为 constexpr uint64_t(:20) | ✅ 通过 | | 2026-09-13 | ISSUE-003 | 表项算法名改为引用 ALLTOALL_DEFAULT_ALGO_NAME(:25/:28) | ✅ 通过 | ## 报告状态 已完成检视;3 个 LOW 问题已全部修复并验证;2 项存疑事项(存疑-1 调参依据注释、存疑-2 死表项保留策略)待责任人确认后关闭 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [x] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11900 | 2 months ago | |
MC2 DFX Co-authored-by: WangShuying5<wangshuying5@huawei.com> # message auto-generated for no-merge-commit merge: !11488 merge DFXRDV into master MC2 DFX Created-by: WangShuying5 Commit-by: WangShuying5 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> MC2 DFX需求,增加aic error后触发exception dump机制,新增 Mc2ExceptionImplTmp(xn/cke 地址 dump)、Mc2DumpTilingData(args/tiling 数据/workspace 逐段 D2H 拷贝落盘)、Mc2DumpUrmaContext(通信上下文与 peermem 窗口分段 dump)和kernel 侧运行时进度打点 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5252 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11488 | 2 months ago | |
修复alltoallvgmm算子example内存泄漏问题 Co-authored-by: wuziyu<wuziyu11@huawei.com> # message auto-generated for no-merge-commit merge: !11760 merge alltoalv into master 修复alltoallvgmm算子example内存泄漏问题 Created-by: wuziyu Commit-by: wuziyu Merged-by: cann-robot Description: ## 描述 修复alltoallvgmm算子example内存泄漏问题 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4802 ## 测试 example本地测试,蓝区compile,静态检查,蓝区冒烟 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # PR #11760 检视意见 - 仓库:cann/ops-transformer(fork:wuziyu/ops-transformer,来源分支 alltoalv) - 标题:修复alltoallvgmm算子example内存泄漏问题 - 目标分支:master;关联 issue:#4802 - 提交:2 个 commit - 2f9d7ac46 "修复alltoallvgmm算子example内存泄漏问题"(第一批,修 5 文件) - e3d42d365 "add"(第二批,**revert 其中 2 个文件**,占位 message) - 改动范围(净效果):3 个文件,**+16/-0**,全部为 examples/*.cpp,不涉算子实现: - mc2/allto_allv_grouped_mat_mul/examples/test_aclnn_allto_allv_grouped_mat_mul.cpp(+6) - mc2/allto_allv_grouped_mat_mul/examples/arch35/test_aclnn_allto_allv_grouped_mat_mul.cpp(+6) - mc2/allto_allv_quant_grouped_mat_mul/examples/test_aclnn_allto_allv_quant_grouped_mat_mul.cpp(+4) - 状态:open;lgtm 0/2、approve 0/1,**merge blocked**;label:stat/needs-squash、cann-cla/yes、ci-pipeline-passed - 与 master 关系:git merge-tree(base fc213d51a)演练 0 冲突、0 changed-in-both;gitcode 报告 virtual merging success。PR 落后 master 20 个 commit,但改动文件与 master 演进无重叠。 ## 结论:通过,建议合并(可签 lgtm/approve) 性质为纯 example 内存泄漏修复,修复 aclCreateIntArray 未配对 aclDestroyIntArray 导致的 sendCounts/recvCounts 两个 aclIntArray 对象泄漏。释放时机、判空、风格均正确,无功能/数值影响,CI 已过、无冲突。仅剩 commit 历史需 squash 清理 + 一处残留泄漏的范围确认(非阻断)。 --- ## 一、改动内容 在 LaunchOneThreadAlltoAllvGmm / LaunchOneThreadAlltoAllvQuantGroupedMatMul 的资源清理段,aclrtFree(workspaceAddr) 之后、HcclCommDestroy 之前补: cpp if (sendCounts != nullptr) { aclDestroyIntArray(sendCounts); } if (recvCounts != nullptr) { aclDestroyIntArray(recvCounts); } (allto_allv_quant_grouped_mat_mul 版按该文件本地风格为无花括号单行 if。) ## 二、正确性核验 ✅ 1. **释放时机正确**:aclDestroyIntArray 位于 aclrtSynchronizeStreamWithTimeout(同步等待任务完成)之后、HcclCommDestroy/aclrtDestroyStream/aclrtDestroyContext 之前——此时 aclIntArray 已不再被使用。 2. **生命周期清晰**:sendCounts/recvCounts 仅作为第一段 aclnn...GetWorkspaceSize 的输入(算 workspace、构建 executor);第二段 aclnn...(workspaceAddr, workspaceSize, executor, stream) 不再引用 IntArray。执行完成后销毁安全。 3. **对象为 host 侧**:aclCreateIntArray 创建的是 host 侧对象,销毁不影响任何 device 内存/张量/通信域。 4. **与 issue #4802「修复建议」逐字一致**:即在 aclrtFree(workspaceAddr) 之后、HcclCommDestroy 之前补两行 destroy。 5. **无功能/数值影响**:纯 host 侧资源释放,不改变任何算子调用、数据或执行顺序。 ## 三、非阻断注意项 ⚠️ **commit 历史需 squash 清理**:2f9d7ac46 先修 5 文件,e3d42d365 "add" 又 revert 其中 2 个文件,净效果正确(3 文件),但「先加后删」的历史混乱,且 add 为占位 message。仓库已挂 stat/needs-squash,合并时 squash 成单一有意义的 commit(如 "修复alltoallvgmm算子example内存泄漏")即可。 ## 四、合入意见 - CI 已过(ci-pipeline-passed)、merge 无冲突(virtual merging success); - 无功能风险、无阻断问题; - **建议合并(可签 lgtm/approve)**;合入时 squash 两个 commit 并改写 message,另在 MR/issue 上注明第 3.2 项残留泄漏的跟进状态。 ## 五、总结 | 项 | 结论 | |---|---| | 改动性质 | ✅ 纯 example 内存泄漏修复,无算子实现 | | 修复正确性 | ✅ 配对 destroy、时机正确、判空、风格一致 | | 功能影响 | ✅ 无(host 侧资源释放) | | CI | ✅ ci-pipeline-passed | | merge 冲突 | ✅ 无(virtual merging success) | | 阻断问题 | 无 | | 合入建议 | ✅ **建议合并**(可签 lgtm/approve) | See merge request: cann/ops-transformer!11760 | 2 months ago | |
perf: optimize sendOffset calculation in CalcA2avCommBeforeParams using prefix sum Co-authored-by: dingwei002<dingwei2@huawei.com> # message auto-generated for no-merge-commit merge: !11873 merge master into master perf: optimize sendOffset calculation in CalcA2avCommBeforeParams using prefix sum Created-by: dingwei002 Commit-by: dingwei002 Merged-by: cann-robot Description: ## 概述 本 PR 包含对 allto_allv_quant_grouped_mat_mul 算子的两项修改: 1. **性能优化**:CalcA2avCommBeforeParams 中 sendOffset 计算复杂度从 O(rankDim² × e) 降至 O(rankDim × e) 2. **缺陷修复**:修正 GET_NESTED_TILING_DATA_MEMBER_ADDR 宏中的成员访问与指针转换错误 ## 修改 1:sendOffset 前缀和优化(a2av_comm_params.h) ### 修改前(O(rankDim² × e)) 对每个 rank 从头重新累加所有前序 rank 的 sendCount 总和,存在大量冗余计算: cpp params.sendOffset[0] = 0UL; for (uint32_t j = 0U; j < startExpertIdx; j++) { params.sendOffset[0] += static_cast<uint64_t>(rawSendCounts[j]) * axis; } for (uint32_t i = 1U; i < rankDim; i++) { params.sendOffset[i] = 0UL; for (uint32_t k = 0U; k < i; k++) { // 每个前序 rank 重复遍历 for (uint32_t j = 0U; j < e; j++) { params.sendOffset[i] += static_cast<uint64_t>(rawSendCounts[j + k * e]) * axis; } } for (uint32_t j = 0U; j < startExpertIdx; j++) { params.sendOffset[i] += static_cast<uint64_t>(rawSendCounts[j + i * e]) * axis; } } ### 修改后(O(rankDim × e)) 维护前缀和变量 sendRowPrefixSum 增量累积,避免重复计算: cpp uint64_t sendRowPrefixSum = 0UL; for (uint32_t i = 0U; i < rankDim; i++) { uint64_t rowSum = 0UL; for (uint32_t j = 0U; j < startExpertIdx; j++) { rowSum += static_cast<uint64_t>(rawSendCounts[j + i * e]) * axis; } params.sendOffset[i] = sendRowPrefixSum + rowSum; for (uint32_t j = startExpertIdx; j < e; j++) { rowSum += static_cast<uint64_t>(rawSendCounts[j + i * e]) * axis; } sendRowPrefixSum += rowSum; } **数学等价性**:两种实现均计算 sendOffset[i] = (rank [0, i) 所有 expert 的 sendCount 总和) + (rank i 上 expert [0, startExpertIdx) 的 sendCount 之和) × axis 仅计算方式不同,结果完全一致。当 rankDim 较大(大规模 EP 场景)时收益显著。 ## 修改 2:宏缺陷修复(mc2_templates.h) GET_NESTED_TILING_DATA_MEMBER_ADDR 宏在 CONST_TILING 分支存在两处错误: - outerPtr##var(错误的 token 拼接)应为宏参数 outerMember - 强制转换目标 (const int32_t)(标量)应为 (const int32_t *)(指针) 该宏被 allto_allv_quant_grouped_mat_mul_apt.cpp 使用,修复前无法正确获取嵌套 tiling 成员地址。 ## 测试 - 两项修改均通过数学等价性/逻辑分析验证 See merge request: cann/ops-transformer!11873 | 2 months ago | |
mc2_inference cleancode告警清理 Co-authored-by: sangzhenguo<sangzhenguo@huawei.com> # message auto-generated for no-merge-commit merge: !11110 merge mc2buildwarning into master mc2_inference cleancode告警清理 Created-by: sangzhenguo Commit-by: sangzhenguo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对mc2_inference代码中的 未使用变量、多余参数、魔鬼数字等进行清理 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5114 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11110 | 2 months ago | |
torch_extension资料迁移 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11507 merge mv_torch_docs into master torch_extension资料迁移 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 torch 扩展接口文档从集中目录 torch_extension/cann_ops_transformer/docs/zh/ 迁移到各算子目录 <category>/<op>/docs/,并统一命名为 torchapi_${op_api}.md,使接口文档与 aclnn 文档同目录、与对外 Python API 主名一致。 同步更新: - docs/zh/menu_torch_api.md、docs/zh/torch_api_list.md(链接改写、补齐未入索引接口、menu 字母序) - docs/zh/install/dir_structure.md、torch_extension_guidelines.md(文档落位约定) - 相关算子 README.md 及文档内相对链接 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5123 ## 测试 - 校验 59 篇迁移文档与 menu/list 一一覆盖,相对链接可解析 - 全仓检索确认无残留 cann_ops_transformer/docs/zh 引用 - 对照迁移前后正文:除相对路径改写外无内容篡改 - 文档规则三轮检视通过 ## 文档更新 - 迁移并重命名全部 torch 接口 md 至各算子 docs/torchapi_*.md - 更新 menu_torch_api.md、torch_api_list.md - 更新目录结构说明与 torch_extension 开发规范中的文档路径约定 - 更新相关算子 README 中的接口文档链接 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11507 | 2 months ago | |
AIDD拼写和标点问题修改 Co-authored-by: y60124828<yanglou1@h-partners.com> # message auto-generated for no-merge-commit merge: !11641 merge master into master AIDD拼写和标点问题修改 Created-by: yanglu-1 Commit-by: y60124828 Merged-by: cann-robot Description: ## 描述 AIDD拼写和标点问题修改 ## 关联的Issue 关联Issue #5159 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11641 | 2 months ago | |
feat(apace): AllGather MX QuantMatmul Hcomm通算融合模板 Co-authored-by: w00951525<wangfuhao7@huawei.com> # message auto-generated for no-merge-commit merge: !10588 merge add_agamm_hcomm_apace_template into master feat(apace): AllGather MX QuantMatmul Hcomm通算融合模板 Created-by: w00951525 Commit-by: w00951525 Merged-by: cann-robot Description: ## 描述 新增了 AllGather MX QuantMatmul 的 Hcomm通算融合模板: 新增 all_gather_mx_matmul_hcomm_impl.h(AIC 核内 HCCL AllGather 通信 + 复用 FragmentTensor QBMM kernel 的 CommPolicy 注入式实现,含 bias 可选输入接线与纯尾块 tileCnt=0 跳过守卫)与自有的 all_gather_mx_matmul_tiling_data.h(URMA/Hcomm 两路共用 tiling 结构),将原 urma_tiling_data.h 重命名合并、urma_impl.h 同步适配 11 行; qbmm_mx_kernel.h 引入 CommPolicy 模板参数、恢复 bias 并同步 master 的 DIMS_NUM clean-code 改造,另将 all_gather_matmul_v3 两个文件的 tiling data include 路径更新为新文件名(urma ST main.cpp 同步);该提交不含 TransB(非转置 B)支持,全部代码位于 namespace Apace ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5259 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # PR #10588 快速检视报告 | 项目 | 内容 | |------|------| | PR | https://gitcode.com/cann/ops-transformer/pull/10588 | | 标题 | feat(apace): AllGather MX QuantMatmul Hcomm/CCU 通算融合模板 | | 对应 commit | 4e761ac2(已与本地 ops-transformer 仓 commit 逐字节比对,10 文件 +408/-93,index hash 全匹配) | | 检视日期 | 2026-09-12 | | 检视方式 | ascendc-code-review / quick-review 工作流(假设检验法)+ MC2-17/MC2-18 条例 + 官方 AllGather 文档动态验证(CANN 9.0.0-beta1) | | 侧别 | Kernel + Tiling(MC2/apace hcomm 模板) | ## 总体结论 **对现有功能(URMA 路径 / all_gather_matmul_v3)无影响,属增量变更。** - ## SUSPICIOUS(2 项) ### [SUSPICIOUS-1] CommPolicy 模板参数无默认值 — 头文件级接口破坏性变更 置信度:MED **问题描述**:AllGatherQbmmMxKernel 新增第 4 模板参 CommPolicy 且无默认值(all_gather_qbmm_mx_kernel.h:50 template <typename AType, typename BType, typename CType, typename CommPolicy>)。commit 树内验证:仅 2 处实例化,均已同步更新传参(urma_impl.h:56 传 UrmaCommWaitPolicy、hcomm_impl.h:93 传 HcommCommWaitPolicy<ServerType>),仓内编译安全。但作为公共 kernel 头文件,仓外任何按旧 3 参签名直接实例化该头的代码将编译失败。 **证据**:规范违反 +40%(无默认值属硬破坏)+ PR 归属 +20% + 上下文防御缺失 +30%(无默认值兜底)= 90%,但考虑 apace 模板头文件当前无仓外消费者证据,降级 MED 人工确认。 **建议**:确认该头是否对外发布;若仅仓内使用可接受,否则补默认策略或走 deprecated 过渡。 ### [SUSPICIOUS-2] hcommAllGatherMatmulTilingData.gatherLen 无 host 填充方 置信度:MED **问题描述**:kernel 侧依赖 tilingData_->gatherLen(all_gather_mx_matmul_tiling_data.h:57)判断 gather_out 可用性(hcomm_impl.h:199 if (tilingData_->gatherLen == 0 && gatherOut != 0)),但该结构体在本 commit 无任何 host 侧赋值路径(git grep 确认 host tiling 仅填充 URMA 结构体)。当前未接线故无风险,但后续接线时若遗漏 gatherLen 初始化,将依赖未初始化内存做出错误的 buffer 选择。另:tileCnt_==0 && tailCnt_==0 退化场景下 scale handle 已提交(repeat=1)但从不 Wait 即 Finalize(host 正常不应产生该切分,仅记录)。 **建议**:接线时确保 host 侧初始化 gatherLen(语义对齐 mc2_tiling_struct.h 既有 gatherLen 约定),并在 tiling 生成处约束 commTurn ≥ 1。 --- ## PASS(7 项) | 条例/检查点 | 结论 | |------------|------| | [MC2-17] AllGather API 用法动态验证 | PASS。官方文档确认签名 AllGather<commit>(send, recv, sendCount, dataType, strideCount, repeat);commit=true 自动 Commit + 逐轮 Wait 消费,与官方多轮切分示例逐字一致;strideCount/repeat 寻址数学与 FragmentTensor 窗口布局一致(rank 块偏移 i*strideCount,第 t 轮推进 sendCount),Wait 次数与 repeat 配对正确(scale×1 / head×tileCnt / tail×tailCnt) | | [MC2-18] HCCL 生命周期配对 | PASS(屏障缺失另计 FAIL)。InitV2 → SetCcTilingV2 → AllGather\<true\> → Wait → Finalize 配对完整;Prepare 类调用 3 次 ≤ 63 上限 | | [MC2-18] HcclDataType 匹配 | PASS。FP8E8M0(scale)与 UINT8(fp4x2 打包)均为仓内已验证用法(allto_all_mx_quant_matmul_arch35.h:59、hccl_a2av_op.h:186);FP8/UINT8 均为 1 字节,count/stride 字节语义自洽 | | URMA 行为等价 | PASS。UrmaCommWaitPolicy::WaitTile 逐字还原原 CrossCoreWaitFlag<0x2, PIPE_MTE2>(idx) 调用序列(含 tileIdx=0 前置等待),既有 URMA 路径时序不变 | | Tiling 头文件合并 | PASS。commit 树内 git grep 确认被删头文件 0 残留引用,4 个消费方全部同步更新;AllGatherMxMatmulUrmaTilingData 字段与对齐(alignas(8)/pack(8))逐字节一致,无 tiling 二进制兼容问题 | | FP4 dataBytesPerMRow_ 修复 | PASS(仅新路径)。fp4x2_e2m1_t 1 字节 2 元素,原 k*sizeof(AType)=K 确为 2× 错位;修复 IsMxFp4 ? k/2 : k*sizeof(AType) 方向正确,与 kForComm_(CeilDiv(K,2))及 URMA 契约一致;FP8 行为不变(k*1==k) | | 注释类改动 | PASS。allto_all_matmul_tiling_key.h 与 all_to_all_mx_quant_matmul_hcomm_impl.h 仅注释修改,无代码语义变化 | --- ## LOW 备注项(3 项) 1. **commit message 与实际 diff 不符**:message 第 6 条(mc2_quant_batch_matmul.h 加 #undef)与第 8 条(CrossCore 模式0 屏障)均不在本 commit diff 及 commit 树内。 2. **无关文件顺手改动**:allto_all_matmul_tiling_key.h 与本特性无关,建议拆分提交。 3. **新增路径无 ST 覆盖**:ST 目录仅有 urma 路径(main.cpp 仅改 include),hcomm 路径无任何测试接线与用例。 --- ## 汇总 快速检视 — PR #10588 (commit 4e761ac2) | 侧别: Kernel+Tiling(MC2/apace) | 7 PASS / 0 FAIL / 2 SUSPICIOUS / 3 LOW - **现有功能影响**:无(URMA 路径行为与数据结构保持不变,变更全部通过交叉验证) See merge request: cann/ops-transformer!10588 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11224 merge fix_2 into master 删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联issue: https://gitcode.com/cann/ops-transformer/issues/4946 https://gitcode.com/cann/ops-transformer/issues/4304 ## 描述 承接 !10920(出包恢复 op_kernel 层级):CANN 包内算子/common/3rd 目录现与源码树结构完全一致,kernel 相对路径引用两边解析结果相同,扁平化双路径 __has_include 守卫成为死代码,本 PR 予以清理,并对齐 3rd 出包结构。 ### 改动内容 1. **删除 mc2 扁平化守卫(60 个文件,-360 行)** - 66 处双分支守卫(#if __has_include(扁平路径) ... #else ... #endif)→ 只保留 else 分支(源码树/新包统一路径) - 4 个 v3 算子 .cpp 的三分支守卫(#if/#elif/#else)→ 只保留 else 分支 - 保留非路径用途守卫:CANN 版本探测(version/asc_devkit_version.h 等 25 处)、API 探测(adv_api/hcomm/hcomm.h 等 8 处)、UT 环境(hccl_stub.h 2 处) 2. **cmake 3rd 出包补齐 op_kernel 层级** - custom_build.cmake 3rd install 目的地追加 /op_kernel,消除源码树(mc2/3rd/<lib>/op_kernel/)与包内(原 ascendc/3rd/<lib>/ 扁平)的 300 处相对引用路径不一致 - mc2/3rd 加入 OPS_TRANSFORMER_SHARED_KERNEL_INSTALL_DEPS 白名单(与 mc2/common 同等),消除 depend 安装循环产生的空目录 ascendc/3rd/op_kernel 3. **commAlg 注释 spelling 修复(关联 issue #4304,3 处 1 行)** - switchwing → switching:mc2/common/op_host/op_tiling/mc2_tiling_struct.h、mc2/common/op_kernel/mc2_tiling_struct.h、mc2/grouped_mat_mul_all_reduce/tests/ut/op_kernel/grouped_mat_mul_all_reduce_tiling_def.h - 纯注释改动,无代码逻辑变化 ### 效果 新增/存量算子 kernel include 统一按源码目录结构写相对路径即可,不再需要区分 static_true/static_false;matmul 系算子(引用 3rd)后续切换在线编译无路径障碍。 ## 测试 - ascend950 出包验证(10 个 static_true 算子 + matmul_reduce_scatter):编译出包成功 - 包产物解包检查:算子/common/3rd 均含 op_kernel 层级;跨算子、跨 common、跨 3rd 相对引用包内全部可解析;空目录消除;包内 #if/#endif 配平 ## 文档更新 无 See merge request: cann/ops-transformer!11224 | 2 months ago | |
feat: engram 量化表SF入参从attr改为input tensor Co-authored-by: wuchenhao<wuchenhao6@huawei.com> # message auto-generated for no-merge-commit merge: !11683 merge engram-fp8-sf-v3 into master feat: engram 量化表SF入参从attr改为input tensor Created-by: wuchenhao123 Commit-by: wuchenhao Merged-by: cann-robot Description: ## 描述 量化表SF入参从attr改为input tensor ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5196 ## 测试 本地测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [X] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: - [ ] # 代码检视报告 **项目名称**:ops-transformer PR #11683 (engram-fp8-sf-v3) **检视模块**:engram_fetch SF表从attr改为input tensor, 支持FP8和SF gather **检视人**:Turing Team **检视日期**:2026-09-10 ## 检视范围 | 文件 | 侧 | 变更类型 | | ---- | ---- | ---- | | mc2/engram_fetch/op_host/engram_fetch_def.cpp | Host (op_def) | sf_table从attr改为input tensor, fetched支持FP8 dtype | | mc2/engram_fetch/op_host/op_tiling/arch35/engram_fetch_tiling.cpp | Host (Tiling) | 新增SF_TABLE_INDEX, 从fetched_sf output读取numSfPacks/sfElemSize | | mc2/engram_fetch/op_kernel/engram_fetch_tiling_data.h | Kernel (TilingData) | 移除sfTableAddr字段 | | mc2/engram_fetch/op_kernel/arch35/engram_fetch_arch35.h | Kernel | Init新增sfTable参数, GatherSf使用relayQue_ | | mc2/engram_fetch/op_kernel/arch35/engram_fetch.cpp | Kernel (Entry) | kernel入口新增sfTable参数 | | mc2/engram_fetch/op_api/aclnn_engram_fetch.cpp | Host (API) | aclnn接口新增sfTable参数 | | mc2/common/torch_extension/csrc/elastic_buffer.cpp | Host (C++ Extension) | EngramFetch签名变更 | | mc2/common/torch_extension/elastic_buffer.py | Host (Python) | schema/meta/impl参数变更 | **适用规范文件**: - references/cpp-secure.md (C++安全编码规范, 47条) - references/ascendc-api.md (Ascend C API最佳实践, 9条) - references/ascendc-topk.md (TOPK问题清单, 13条) ## 检视概览 | 统计项 | 数值 | | ---- | ---- | | 发现问题总数 | 2 个 | | 严重级(CRITICAL)问题 | 1 个 | | 中等级(MEDIUM)问题 | 0 个 | | 轻微级(LOW)问题 | 1 个 | | 误报数量 | 0 个 | **核心结论**:本次PR将SF表从attr(int64地址)改为input tensor,整体设计合理。发现1处Critical级指针未判空问题(Tiling侧hiddenSizePtr/numEntriesPerRankPtr解引用前未判空,为PR前已存在问题),1处Low级TilingData结构体字段删除的ABI兼容性存疑。 --- ## 问题详情及修改建议 ### 问题ID:ISSUE-001 | 严重级别:CRITICAL(严重) #### 假设检验过程 **代码段**:engram_fetch_tiling.cpp SetTilingData() 函数中 hiddenSizePtr / numEntriesPerRankPtr 解引用 **假设**:H0: 该代码段是安全的 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 红线规范违反 | TOPK-1 / 3.5 | hiddenSizePtr 通过 attrs->GetAttrPointer<int64_t>() 获取后,直接 *hiddenSizePtr 解引用,未检查指针是否为nullptr | +40% | 40% | | 2 | 上下文防御缺失 | TOPK-1 | 作用域内无对该指针的判空防御代码 | +30% | 70% | | 3 | 同类问题 | TOPK-1 / 3.5 | numEntriesPerRankPtr 同样未判空直接解引用 *numEntriesPerRankPtr | +25% | 95% | **结论**:自信值 **95%** > 60%,**推翻原假设H0**,该代码段存在风险。 --- **关联红线条款**:TOPK-1(必须校验函数返回值)、cpp-secure 3.5(指针使用前判空) **代码路径**:mc2/engram_fetch/op_host/op_tiling/arch35/engram_fetch_tiling.cpp:503-507 **问题类型**:指针未判空直接解引用 **问题描述**:GetAttrPointer<int64_t>() 返回的指针可能为nullptr(当attr缺失时),代码直接解引用 *hiddenSizePtr 和 *numEntriesPerRankPtr,未做指针保护。违反红线规范"指针操作,必须先赋值后访问,并进行指针保护"和TOPK-1"必须校验函数返回值"。 注:此问题为PR前已存在的代码,本次PR未修改这两行。但根据检视规范,仍需指出。 #### 修改建议 **修改前代码**: cpp auto hiddenSizePtr = attrs->GetAttrPointer<int64_t>(ATTR_HIDDEN_SIZE_INDEX); tilingData.hiddenDim = *hiddenSizePtr; auto numEntriesPerRankPtr = attrs->GetAttrPointer<int64_t>(ATTR_NUM_ENTRIES_PER_RANK_INDEX); tilingData.numEntriesPerRank = static_cast<int32_t>(*numEntriesPerRankPtr); **修改后代码**: cpp auto hiddenSizePtr = attrs->GetAttrPointer<int64_t>(ATTR_HIDDEN_SIZE_INDEX); OP_TILING_CHECK(hiddenSizePtr == nullptr, OP_LOGE(nodeName, "hidden_size attr is nullptr"), return ge::GRAPH_FAILED); tilingData.hiddenDim = *hiddenSizePtr; auto numEntriesPerRankPtr = attrs->GetAttrPointer<int64_t>(ATTR_NUM_ENTRIES_PER_RANK_INDEX); OP_TILING_CHECK(numEntriesPerRankPtr == nullptr, OP_LOGE(nodeName, "num_entries_per_rank attr is nullptr"), return ge::GRAPH_FAILED); tilingData.numEntriesPerRank = static_cast<int32_t>(*numEntriesPerRankPtr); **修改说明**:在解引用前添加nullptr校验,返回GRAPH_FAILED,符合红线规范第4条和TOPK-1要求。 --- ### 问题ID:ISSUE-002 | 严重级别:LOW(轻微) #### 假设检验过程 **代码段**:engram_fetch_tiling_data.h TilingData结构体字段删除 **假设**:H0: 该结构体变更不影响兼容性 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反 | cpp-secure 10.4 | 从TilingData结构体中删除了 sfTableAddr 字段(原末尾字段),结构体布局缩小。若存在新旧版本混用场景,可能导致TilingData反序列化错位 | +40% | 40% | | 2 | 上下文防御缺失 | cpp-secure 10.5 | 无版本号或兼容性标记机制 | +20% | 60% | **结论**:自信值 **60%** = 60%,**推翻原假设H0**,该代码段存在风险(边界判定)。 --- **关联条款**:cpp-secure 10.4(结构体字段末尾添加)、cpp-secure 10.5(接口变更考虑兼容性) **代码路径**:mc2/engram_fetch/op_kernel/engram_fetch_tiling_data.h:31-34 **问题类型**:结构体字段删除的ABI兼容性 **问题描述**:本次PR从 EngramFetchTilingData 结构体末尾删除了 uint64_t sfTableAddr 字段。规范10.4要求"对外结构体接口新增字段时必须在结构体最后添加",而删除末尾字段虽然不会影响前面字段的偏移,但会导致结构体大小变化。如果存在编译期和运行期版本不一致的场景(如op_host用新版本编译,op_kernel用旧版本运行),可能导致TilingData解析错位。 注:由于sfTableAddr原来就在结构体最末尾,删除它不会影响其他字段的偏移。且CANN的TilingData序列化机制通常保证host/kernel版本一致,因此风险较低。但根据规范仍需标注为存疑。 #### 修改建议 **修改说明**:确认CANN的TilingData序列化机制是否保证host/kernel版本严格一致。如果是,则此问题可忽略。如果存在版本混用可能,建议保留该字段(设为0不使用),而不是删除。或者确认该PR作为一个整体发布,不存在部分更新的场景。 --- ## 存疑问题(供自主判断) ### 存疑-1:GatherSf中relayQue_复用可能的数据竞争 **代码路径**:mc2/engram_fetch/op_kernel/arch35/engram_fetch_arch35.h:468-476 **问题描述**:GatherSf函数复用 relayQue_(TQueBind<VECIN, VECOUT>)进行SF数据的GM→UB→GM搬运。在 LocalFetchTokens 中,GatherSf在 LocalCopySlice 循环之后调用(line 348),此时relayQue_的AllocTensor/FreeTensor已由LocalCopySlice完成。在 RemoteFetchRank 中,GatherSf在 PrepareRead 之后调用(line 427),PrepareRead不使用relayQue_。因此 relayQue_ 的复用在当前调用顺序下不会产生AllocTensor/FreeTensor配对冲突。但如果未来调用顺序变更(如GatherSf在LocalCopySlice循环内部调用),可能导致relayQue_的AllocTensor在未FreeTensor时再次AllocTensor。建议在注释中说明relayQue_复用约束。 ### 存疑-2:sfBytes为0时DataCopyPad行为 **代码路径**:mc2/engram_fetch/op_kernel/arch35/engram_fetch_arch35.h:461 **问题描述**:当 numSfPacks_ 或 sfElemSize_ 为0时,sfBytes 为0。此时 DataCopyPad 的 blockLen=0 行为未定义。虽然调用前有 hasSf 检查(numSfPacks_ > 0),但如果 sfElemSize_ 为0而 numSfPacks_ > 0,hasSf 仍为true但 sfBytes 为0。建议在hasSf检查中增加 sfElemSize_ > 0 条件。 --- ## 检视检查清单 ### C++安全编码规范 (cpp-secure.md) - [x] 1.1 静态类型安全 - 无联合体/void*滥用 - [x] 1.2 内存安全 - 无越界/野指针/未初始化 - [x] 1.3 禁止未定义行为 - 无UB - [x] 2.1 有符号整数运算不溢出 - hiddenDim*bytesPerElem有溢出保护(line 513) - [x] 2.2 无符号整数运算不回绕 - sfBytes计算为uint32_t乘法,范围可控 - [x] 2.3 除法/余数除零保护 - CeilDiv有y参数,调用方保证非零 - [x] 3.1 禁止未初始化变量 - 成员变量sfTableGM_{nullptr}、fetchedSfGM_{nullptr}、numSfPacks_{0}、sfElemSize_{0}均有默认初始化(engram_fetch_arch35.h:131-134);tilingData中numSfPacks/sfElemSize在SetTilingData中初始化为0(line 500-501) - [x] 3.2 资源释放后指针置新值 - Kernel侧不适用(TQueBind管理生命周期,AllocTensor/FreeTensor配对使用) - [x] 3.3 数组索引校验 - GatherSf中globalIdx来自indicesLocal(i),indices语义为entry索引,外部保证非负;globalTokenIdx由indicesBatchStart+i计算,均为uint32_t无负值风险 - [x] 3.4 禁止sizeof指针 - 无sizeof指针操作 - [x] 3.5 指针使用前判空 - 见ISSUE-001 (hiddenSizePtr/numEntriesPerRankPtr未判空);sfTableGM_在GatherSf调用前有hasSf检查(line 338/404) - [x] 3.6 字符串存储空间 - Kernel侧不适用 - [x] 4.1 外部输入合法性校验 - tiling中有dtype/shape校验 - [x] 4.2 内存操作长度校验 - DataCopyPad使用sfBytes - [x] 10.4 结构体字段末尾添加 - 见ISSUE-002 - [x] 10.5 接口变更兼容性 - 见ISSUE-002 ### Ascend C API最佳实践 (ascendc-api.md) - [x] API-1 禁止SetValue/GetValue - 无使用 - [x] API-2 禁止std::计算函数 - 无使用 - [x] API-3 DataCopy/DataCopyPad对齐 - GatherSf使用DataCopyPad,sfBytes可能非32B对齐,但DataCopyPad支持非对齐 - [x] API-6 AllocTensor/FreeTensor配对 - GatherSf中AllocTensor→EnQue→DeQue→FreeTensor配对完整 - [x] API-7 禁止动态内存分配 - 无new/malloc - [x] API-8 repeatTimes≤255 - 无循环类API使用 - [x] API-10 DataCopyParams vs DataCopyExtParams单位 - LocalCopySlice中DataCopyPad使用DataCopyExtParams(blockLen=字节)正确,DataCopyParams(mte3Params)用于DataCopyPad时blockLen=字节正确 ### TOPK问题清单 (ascendc-topk.md) - [x] TOPK-1 必须校验函数返回值 - 见ISSUE-001 - [x] TOPK-8 gm偏移用int64 - 外部保证indices非负,int32_t→uint64_t转换安全 --- ## 综合结论 ### 总体评价 本次PR将engram_fetch算子的SF表从attr方式(int64地址)改为input tensor方式,整体架构改进合理:避免了aclgraph模式下DataPtrVariable不支持的问题,tensor生命周期由框架管理,tiling侧可从output shape/dtype获取SF参数进行校验。参数链路(op_def → tiling → kernel entry → arch35 Init → GatherSf)一致性良好,各层参数顺序对齐正确。Kernel侧GatherSf使用标准TQueBind流水线(AllocTensor→DataCopyPad→EnQue→DeQue→DataCopyPad→FreeTensor),API使用规范。 ### 问题汇总 | 问题ID | 级别 | 是否PR新增 | 是否阻塞合入 | 修复建议 | |--------|------|-----------|-------------|---------| | ISSUE-001 | CRITICAL | 否(PR前已存在) | 否(非本次引入,建议后续修复) | hiddenSizePtr/numEntriesPerRankPtr解引用前添加nullptr校验 | | ISSUE-002 | LOW | 是(删除sfTableAddr字段) | 否(字段在末尾,不影响其他字段偏移) | 确认CANN TilingData序列化保证host/kernel版本一致即可 | | 存疑-1 | - | 是 | 否 | relayQue_复用约束建议添加注释说明 | | 存疑-2 | - | 是 | 否 | hasSf检查增加sfElemSize_>0条件 | ### 合入建议 **建议直接合入**。ISSUE-001为PR前已存在问题,非本次引入,不阻塞合入但建议后续修复。ISSUE-002和存疑项为低风险,可后续评估。 ### 合规性声明 - C++安全编码规范(47条):ISSUE-001违反3.5(指针判空)和TOPK-1,ISSUE-002涉及10.4/10.5(兼容性),其余条款合规 - Ascend C API最佳实践(9条):全部合规,DataCopyPad/AllocTensor/FreeTensor使用正确 - TOPK问题清单(13条):ISSUE-001违反TOPK-1,其余合规 --- ## 报告生成时间 2026-09-10 18:00:00 ## 报告状态 已完成检视,待修复验证 See merge request: cann/ops-transformer!11683 | 2 months ago | |
engram反向超时DFX Co-authored-by: luozhonglin222<luozhonglin1@huawei.com> # message auto-generated for no-merge-commit merge: !11577 merge master into master engram反向超时DFX Created-by: luozhonglin222 Commit-by: luozhonglin222 Merged-by: cann-robot Description: ## 描述 1.反向超时的DFX 2.UB溢出修复 3.scatter汇总和sort分核一致性修复 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: PR #11577 代码检视报告 ## 检视概览 - **PR**: https://gitcode.com/cann/ops-transformer/pull/11577 - **算子**: engram_fetch_grad(mc2/engram_fetch_grad/) - **代码侧别**: 混合(Tiling 1 文件 + Kernel 4 文件) - **变更规模**: 5 个文件,有效变更约 207 行(+120 / -87) - **变更主题**: ① Host 侧新增 sort/unique 两阶段 UB 池峰值 fail-fast 校验(CalcSortUbBytes 镜像 Kernel GetUbSize),Kernel 侧 unique 阶段 entryBuf_ 由 64KB 收缩为 uniqueEntryBytes_;② 删除 RUNTIME_ABORT 宏与 COMM_RETRY_COUNT 重试,8 处失败点统一 ascendc_assert 直报,TimeoutCheck 增加 TimeoutSite;③ sort ProcessHist/ProcessScatter tile→core 归属由 batch-major 改 core-major;④ numRecvCores_ 扣除 flagCore 修正 - **检视文档**: cpp-secure / cpp-general / ascendc-api / ascendc-perf / ascendc-topk / mc2-specific / regbase-review-checks / simt-api-analysis(compile-secure / python-secure / cpp-style 按声明式匹配跳过) - **总条例数**: 135 条(32 组 / 6 波并行检视) - **检视时间**: 2026-09-09 - **配套产物**: code_summary.md(代码概要+变量溯源)、api_prestudy.md(API 约束预研) ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 123 | 91.1% | | FAIL(发现问题)| 6 | 4.4% | | SUSPICIOUS(需关注/疑似)| 6 | 4.4% | | 范围外备注 | 1 | - | ## 核心结论 **6 个 FAIL 高度同源,可归并为 2 个根因:** - **根因 A(4 个 FAIL:cpp-secure 1.2/1.3/4.1、cpp-general 1.1/12.1)**:本 PR 删除 RUNTIME_ABORT 宏(含 while(true) release 兜底)并将 8 处失败点改为 ascendc_assert。经 CANN 9.0.0 头文件实证(kernel_operator_dump_tensor_intf.h:65-68),未定义 ASCENDC_DUMP 时 ascendc_assert 展开为**空宏**,且本算子构建未定义 ASCENDC_DUMP。release 产物下:commContext(设备侧外部数据)rankSize 一致性校验完全失效 → 除零 UB / workspace displs 越界写;pendingHandles 固定数组(8 元素)越界守卫失效;通信失败/超时静默继续(且删除了原有 3 次重试)。 - **根因 B(1 个 FAIL:cpp-secure 2.2)**:numRecvCores_==0 兜底分支中 totalBlocks_==1 时 numSendCores_ 由 0 改为 1,导致 recvIdx = aivId_ - numSendCores_ 在 aivId_=0 时发生 uint32 回绕,接收循环零迭代,单核形态多 rank 场景远端梯度静默丢失(功能回归)。 **正面确认**:sort tile 归属 core-major 改写修复了 tileOffsets 跨核免屏障假设失效的竞态(多方交叉验证一致);UB 池收缩(entryBuf_ 64KB→uniqueEntryBytes_)Host/Kernel 两侧公式逐项核算等值、构造性安全;新增两道 Host fail-fast 校验(sortUb 峰值 / minUniqueNeed)release 生效,覆盖 Host 可建模部分。 --- ## 发现问题(HIGH 置信度) ### [cpp-secure 2.2] 无符号回绕 —— recvIdx 回绕致单核形态接收零迭代 - **问题描述**:PR 修改 Init() 的单核 fallback(numSendCores_ 旧值 totalBlocks_-1U(totalBlocks_==1 时为 0)改为 1)后,RecvGradFromPeers 中无守卫的 uint32 减法 aivId_ - numSendCores_ 在 totalBlocks_==1 && numRanks_>1 时发生 0-1=0xFFFFFFFF 回绕。totalBlocks_==1 时 isReceiver_ 恒为 true(:525),回绕后的 recvIdx 使 for (wIdx = recvIdx; wIdx < totalWorkUnits; ...) 零迭代——本核静默跳过全部接收,对端发送核在 credit/tokenRead 计数器上自旋直至超时。旧代码该形态 numSendCores_=0、recvIdx=0 可完整覆盖(功能回归);Host 侧无 aivNum 与 rankSize 的关联校验,PR 又为 totalBlocks_<=1 专门设置了同核收发 fallback 分支,说明该形态是被明确支持的目标场景。 - **代码片段**(mc2/engram_fetch_grad/op_kernel/arch35/engram_fetch_grad_arch35.h 行 514-526): cpp numSendCores_ = sendersPerRank_ * numRanks_; if (numSendCores_ > halfBlocks) { numSendCores_ = halfBlocks; } numRecvCores_ = (totalBlocks_ > numSendCores_ + 1U) ? (totalBlocks_ - numSendCores_ - 1U) : 0U; if (numRecvCores_ == 0U) { numRecvCores_ = 1U; numSendCores_ = (totalBlocks_ > 1U) ? (totalBlocks_ - 1U) : 1U; // ← 本 PR 新增:totalBlocks_==1 时 numSendCores_=1 } isSender_ = (aivId_ < numSendCores_) || (totalBlocks_ <= 1U); isReceiver_ = (aivId_ >= numSendCores_ && aivId_ < totalBlocks_ - 1U) || (totalBlocks_ <= 1U); // totalBlocks_==1 时恒 true isFlagCore_ = (aivId_ == totalBlocks_ - 1U); - **代码片段**(mc2/engram_fetch_grad/op_kernel/arch35/engram_fetch_grad_arch35.h 行 968-988): ``cpp __aicore__ inline void EngramFetchGradArch35::RecvGradFromPeers() { if (!isReceiver_) { return; } GM_ADDR localWinBase = (GM_ADDR)ctxPtr_->commBuffer[rankId_]; uint32_t recvIdx = aivId_ - numSendCores_; // ← aivId_=0, numSendCores_=1 时回绕为 0xFFFFFFFF uint32_t totalWorkUnits = (numRanks_ - 1U) * sendersPerRank_; if (totalWorkUnits == 0U) { return; } // Each work unit must be owned by EXACTLY one receiver core: with numRecvCores_ > // totalWorkUnits, recvIdx % totalWorkUnits would map several cores onto the same // (srcRank, senderIdx) unit and race on the tokenRead counters (flow-control slots // get reused while the slower duplicate is still copying -> recvGrad corruption). for (uint32_t wIdx = recvIdx; wIdx < totalWorkUnits; wIdx += numRecvCores_) { // ← 0xFFFFFFFF < totalWorkUnits 恒假,零迭代 uint32_t adjustedSrcRank = wIdx / sendersPerRank_; ` - **假设检验证据**: - 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | uint32 减法无守卫,回绕实证(回绕值用作循环起始索引,命中条例"减法回绕"模式)| | 上下文防御缺失 | +30% | aivId_ < numSendCores_ 场景无钳位/分支防护 | | PR 归属 | +20% | 回绕可达性由本 PR :522 fallback 0→1 直接引入 | | 数据流风险 | +15% | numSendCores_ 值域被 PR 改变 | | 领域关联 | +10% | 领域规则交叉印证(TIL-1 独立检出同一问题)| - 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | -20% | 循环条件 wIdx < totalWorkUnits 兜住内存访问,后果限于功能失效而非越界 | - 自信值 = 40+30+20+15+10-20 = **95% ≥ 70% → 判定违规** - **修复建议**:fallback 分支保持 totalBlocks_==1 时 numSendCores_=0(维持旧覆盖行为),或将接收循环起点改为饱和计算 uint32_t recvIdx = (aivId_ > numSendCores_) ? (aivId_ - numSendCores_) : 0U;;同时建议在 fallback 中保证至少有一个核的 recvIdx 落在 [0, totalWorkUnits) 内。 ### [cpp-secure 4.1] 外部输入校验 —— rankSize 一致性校验 release 归零 - **问题描述**:PR 将 commContext(设备侧外部数据)rankSize 一致性校验的强制力由"release 下降级为确定性挂死(RUNTIME_ABORT 的 while(true) 兜底)"改为纯 ascendc_assert。已验证本算子构建不定义 ASCENDC_DUMP,该断言在 release 产物中被预处理为空宏,外部输入 numRanks_ 在发布形态下**零有效校验**。若 commContext 与 tiling 的 rankSize 不一致(两个独立来源,正是代码注释 :470-471 自证"必须一致性校验,否则…越界"),Kernel 将带非法值继续执行:numRanks_=0 时在 :504 sendersPerRank_ = halfBlocks / numRanks_、:544 tokenSlotSize_ = tokenArea / numRanks_ / NUM_SLOTS 触发设备侧除零 UB;numRanks_ > tilingData->rankSize 时 displs 区(:570-572 按 numRanks_ 规划)、statusBuf/tempBuf/indicesBuf 尺寸全面偏离 Host 按 tilingData->rankSize 规划的 workspace → GM 越界写。旧代码两条路径(debug abort / release 挂死)均不会发生内存越界,本 PR 造成 release 侧安全回退。 - **代码片段**(mc2/engram_fetch_grad/op_kernel/arch35/engram_fetch_grad_arch35.h 行 464-480): cpp aivId_ = GetBlockIdx(); totalBlocks_ = GetBlockNum(); tileBytes_ = TILE_BYTES; ctxPtr_ = (__gm__ EngramCommContext *)commContext; rankId_ = ctxPtr_->rankId; numRanks_ = ctxPtr_->rankSize; // commContext 为设备侧外部数据,与 Host 侧 tiling 的 rankSize(sendCounts.dim0/8)互为独立来源, // 必须一致性校验,否则 workspace 的 displs 区按 Host rankSize 规划而 Kernel 按 numRanks_ 写入会越界 ascendc_assert(numRanks_ != 0U && numRanks_ <= Mc2Kernel::MAX_QP_SIZE && numRanks_ == tilingData->rankSize, "invalid rankSize: commContext=%u, tiling=%u", numRanks_, tilingData->rankSize); channelsPerRank_ = ctxPtr_->channelsPerRank; if (channelsPerRank_ == 0) { channelsPerRank_ = 1; } (原代码为 if (numRanks_ == 0U || numRanks_ > MAX_QP_SIZE || numRanks_ != tilingData->rankSize) { RUNTIME_ABORT(...); },RUNTIME_ABORT 含 while(true) release 兜底) - **假设检验证据**: - 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 外部输入必须有效校验;release 下校验被预处理为空,且 PR 移除了唯一 release 生效的 fail-stop 路径 | | PR 归属 | +20% | 变更在 diff 内 | | 数据流风险 | +15% | numRanks_ 直流除数 :504/:544 与 displs/status/temp/indices 尺寸 :570-572/:588/:600-613 | | 调用链风险 | +15% | 传入 uniqueScatter_/win counter 地址计算贯穿全程 | - 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 防御存在 | 0% | assert 在 release 产物中为空宏,校验有效性验证不通过,不得计分 | | 上游校验 | 0% | Host :276 校验的是 tiling 来源 rankSize,与 commContext 来源非同一变量,不覆盖当前风险变量 | - 自信值 = 40+20+15+15 = **90% ≥ 70% → 判定违规** - **修复建议**:对防越界的外部输入一致性校验保留确定性失败路径,不应用纯 ascendc_assert 承载。建议改为显式分支:校验失败时置错误标志走安全退出路径(如 numRanks_ 无效时跳过通信阶段直接写零输出并 return),或恢复带确定性终止语义的兜底(保留 RUNTIME_ABORT 形态仅用于此类安全校验,与纯日志性 assert 区分)。 ### [cpp-secure 1.2] 内存安全 —— RUNTIME_ABORT→ascendc_assert 后可达越界写 - **问题描述**:PR 将全部 8 处 RUNTIME_ABORT(assert 后 while(true) 无条件死旋,release 下仍确定性挂死、内存安全)替换为 ascendc_assert(release 空宏,已验证)。因此 shipping/release 构建下这些校验完全消失,失败后流程带着非法状态继续执行,产生可达的越界写。最严重一处:pendingHandles_ 固定数组(MAX_PENDING_HANDLES=8,声明于 :156)越界写——发送核 handle 数 = ⌈numRanks_/halfBlocks⌉(SendGradToPeers :859 步长 numSendCores_,SendGradRemote 每次 :957 追加 1 个),当 numRanks_ > 4×totalBlocks(Host 仅校验 rankSize ≤ 1024,tiling.cpp:276,无 rankSize 与核数关系约束;aivNum=48 时 rankSize ∈ (192,1024] 即触发)时 count 可达 ~43 ≫ 8,release 下 :956 直接写越界 280+ 字节,篡改相邻成员(isSender_/gradSortedGM_/recvGradGM_ 等 GM 指针)→ 后续任意 GM 写。次严重:numRanks_ 一致性校验失效(:472)后 displs 区写入越出 Host 规划的 workspace。对比 :474-477 channelsPerRank_ 仍保留 release 生效的 if 回退——同函数内正确的防御范式反衬此处弱化。 - **代码片段**(mc2/engram_fetch_grad/op_kernel/arch35/engram_fetch_grad_arch35.h 行 944-958): cpp int32_t ret = hcomm_.WriteWithNotifyNbi(handle, remoteSlotAddr, srcAddr, dataBytes, remoteCounterAddr, static_cast<uint64_t>(localWriteCnt + 1)); ascendc_assert(ret == 0, "WriteWithNotifyNbi failed, ret=%d, tag=ExTok_data, rankId=%u, dstRank=%u", ret, rankId_, dstRank); localWriteCnt++; totalSent += chunkLen; } RetireCreditCounter(); // 单核 remote handle 数随 numRanks_/numSendCores_ 配置增长,必须守卫固定数组边界 ascendc_assert(pendingHandleCount_ < Mc2Kernel::MAX_PENDING_HANDLES, "pendingHandles overflow: count=%u, max=%u, rankId=%u, dstRank=%u", pendingHandleCount_, Mc2Kernel::MAX_PENDING_HANDLES, rankId_, dstRank); pendingHandles_[pendingHandleCount_] = handle; pendingHandleCount_++; ` - **代码片段**(mc2/engram_fetch_grad/op_kernel/arch35/engram_fetch_ See merge request: cann/ops-transformer!11577 | 2 months ago | |
engram支持mxfp8量化 Co-authored-by: wuchenhao<wuchenhao6@huawei.com> # message auto-generated for no-merge-commit merge: !11544 merge engram-fp8-sf-v2 into master engram支持mxfp8量化 Created-by: wuchenhao123 Commit-by: wuchenhao Merged-by: cann-robot Description: ## 描述 - engram_fetch/engram_fetch_wait 新增 支持FP8_E4M3FN、FP8_E5M2 量化数据类型 - 新增 SF 表(FP32/E8M0)本地 gather:fetch token 数据同时按索引搬运对应 scaling factor - 量化场景 engram_fetch 返回 (fetched, fetched_sf),非量化场景返回 fetched ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5155 ## 测试 本地测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [X] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: - [ ] # 代码检视报告 **项目名称**:CANN ops-transformer engram_fetch FP8量化支持 **检视模块**:PR #11544 (engram-fp8-sf-v2 分支) **检视人**:Turing Team **检视日期**:2026-09-09 ## 检视范围 | 文件 | 侧 | 改动类型 | |------|-----|---------| | mc2/engram_fetch/op_host/engram_fetch_def.cpp | Tiling | dtype/attr 新增 | | mc2/engram_fetch/op_host/op_tiling/arch35/engram_fetch_tiling.cpp | Tiling | tiling逻辑新增 | | mc2/engram_fetch/op_kernel/engram_fetch_tiling_data.h | Kernel | 结构体新增字段 | | mc2/engram_fetch/op_kernel/arch35/engram_fetch_arch35.h | Kernel | SF gather实现 | | mc2/engram_fetch/op_kernel/arch35/engram_fetch.cpp | Kernel | 入口参数变更 | | mc2/engram_fetch_wait/op_host/engram_fetch_wait_def.cpp | Tiling | dtype新增 | | mc2/engram_fetch/op_api/aclnn_engram_fetch.cpp | API | 参数变更 | | mc2/common/torch_extension/csrc/elastic_buffer.cpp | Host | C++ wrapper | | mc2/common/torch_extension/elastic_buffer.py | Host | Python wrapper | ## 检视概览 | 统计项 | 数值 | |--------|------| | 发现问题总数 | 5 个 | | 严重级(CRITICAL)问题 | 2 个 | | 中等级(MEDIUM)问题 | 2 个 | | 轻微级(LOW)问题 | 1 个 | **核心结论**:FP8量化支持实现整体合规性良好,存在2处Critical级指针未保护问题(Tiling侧属性指针解引用前未判空)需优先修复,2处Medium级数值溢出风险需关注,1处Low级代码风格问题。 --- ## 问题详情及修改建议 ### 问题ID:ISSUE-001 | 严重级别:CRITICAL(严重) #### 假设检验过程 **代码段**:SetTilingData() 函数中 hiddenSizePtr 解引用 **假设**:H0: 该代码段是安全的 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 红线规范违反 | RL-004 | auto hiddenSizePtr = attrs->GetAttrPointer<int64_t>(ATTR_HIDDEN_SIZE_INDEX); tilingData.hiddenDim = *hiddenSizePtr; 指针获取后直接解引用,无判空保护 | +40% | 40% | | 2 | 上下文防御缺失 | RL-004 | 同函数内 CheckAttrPtrNullptr() 对 hiddenSizePtr 有判空,但 SetTilingData() 是独立函数,不共享上下文 | +30% | 70% | **结论**:自信值 **70%** > 60%,**推翻原假设H0**,该代码段存在风险。 --- **关联红线条款**:RL-004(指针操作必须先赋值后访问,并进行指针保护) **代码路径**:mc2/engram_fetch/op_host/op_tiling/arch35/engram_fetch_tiling.cpp:504-505 **问题类型**:指针未判空直接解引用 **问题描述**:SetTilingData() 函数中,attrs->GetAttrPointer<int64_t>(ATTR_HIDDEN_SIZE_INDEX) 返回的指针 hiddenSizePtr 在未判空的情况下直接执行 *hiddenSizePtr 解引用。虽然 CheckAttrPtrNullptr() 在 Tiling 流程中先于 SetTilingData() 调用并已校验 hiddenSizePtr 非空,但 SetTilingData() 作为独立函数,其参数来源依赖外部调用顺序保障,违反红线规范"指针操作,使用前必须要判空"。 **注意**:此为 pre-existing 代码(非本次PR新增),但本次PR在同一函数内新增了类似模式的 sfTableAddrPtr 获取逻辑(L530-533),后者正确做了判空。 #### 修改建议 **修改前代码**: cpp auto hiddenSizePtr = attrs->GetAttrPointer<int64_t>(ATTR_HIDDEN_SIZE_INDEX); tilingData.hiddenDim = *hiddenSizePtr; **修改后代码**: cpp auto hiddenSizePtr = attrs->GetAttrPointer<int64_t>(ATTR_HIDDEN_SIZE_INDEX); OP_TILING_CHECK(hiddenSizePtr == nullptr, OP_LOGE_WITH_INVALID_INPUT(nodeName, "hidden_size"), return ge::GRAPH_FAILED); tilingData.hiddenDim = *hiddenSizePtr; **修改说明**:在解引用前添加判空校验,符合红线规范 RL-004。注意此为 pre-existing 问题,可单独修复。 --- ### 问题ID:ISSUE-002 | 严重级别:CRITICAL(严重) #### 假设检验过程 **代码段**:SetTilingData() 函数中 numEntriesPerRankPtr 解引用 **假设**:H0: 该代码段是安全的 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 红线规范违反 | RL-004 | auto numEntriesPerRankPtr = attrs->GetAttrPointer<int64_t>(ATTR_NUM_ENTRIES_PER_RANK_INDEX); tilingData.numEntriesPerRank = static_cast<int32_t>(*numEntriesPerRankPtr); 同样未判空 | +40% | 40% | | 2 | 上下文防御缺失 | RL-004 | CheckAttrPtrNullptr() 有校验,但函数隔离 | +30% | 70% | **结论**:自信值 **70%** > 60%,**推翻原假设H0**,该代码段存在风险。 --- **关联红线条款**:RL-004(指针操作必须先赋值后访问,并进行指针保护) **代码路径**:mc2/engram_fetch/op_host/op_tiling/arch35/engram_fetch_tiling.cpp:507-508 **问题类型**:指针未判空直接解引用 **问题描述**:与 ISSUE-001 同类问题。numEntriesPerRankPtr 获取后直接解引用。pre-existing 代码。 #### 修改建议 **修改前代码**: cpp auto numEntriesPerRankPtr = attrs->GetAttrPointer<int64_t>(ATTR_NUM_ENTRIES_PER_RANK_INDEX); tilingData.numEntriesPerRank = static_cast<int32_t>(*numEntriesPerRankPtr); **修改后代码**: cpp auto numEntriesPerRankPtr = attrs->GetAttrPointer<int64_t>(ATTR_NUM_ENTRIES_PER_RANK_INDEX); OP_TILING_CHECK(numEntriesPerRankPtr == nullptr, OP_LOGE_WITH_INVALID_INPUT(nodeName, "num_entries_per_rank"), return ge::GRAPH_FAILED); tilingData.numEntriesPerRank = static_cast<int32_t>(*numEntriesPerRankPtr); --- ### 问题ID:ISSUE-003 | 严重级别:MEDIUM(中等) #### 假设检验过程 **代码段**:GatherSf() 函数中 sfBytes 乘法运算 **假设**:H0: 该代码段是安全的 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反 | 2.2 | uint32_t sfBytes = static_cast<uint32_t>(numSfPacks_) * static_cast<uint32_t>(sfElemSize_); 两个 uint32_t 乘法可能回绕 | +40% | 40% | | 2 | 上下文防御缺失 | 2.2 | 作用域内无溢出保护 | +30% | 70% | **证据有效性校验**: - numSfPacks_ 来自 tilingData->numSfPacks,Tiling 侧从 fetched_sf shape dim(1) 获取,典型值为 ceil(7168/32)=224 - sfElemSize_ 来自 ge::GetSizeByDataType(),FP32=4,E8M0=1 - 最大乘积 = 224 * 4 = 896,远小于 UINT32_MAX(4294967295) - **业务约束可证明不会溢出** → 排除 **结论**:自信值降至 **0%**,**接受原假设H0**,该代码段安全。但建议加注释说明安全边界。 --- **关联规范条款**:2.2(无符号整数运算不回绕)— 经业务约束验证安全 **代码路径**:mc2/engram_fetch/op_kernel/arch35/engram_fetch_arch35.h:460 **问题类型**:数值溢出风险(经分析实际安全) **问题描述**:sfBytes 的乘法运算虽无显式溢出保护,但 numSfPacks_ 最大值由 hiddenDim/32 决定(hiddenDim 最大约 8192,numSfPacks 最大 256),sfElemSize_ 最大 4,乘积最大 1024,远低于 UINT32_MAX。判定为安全,建议添加注释说明安全边界。 --- ### 问题ID:ISSUE-004 | 严重级别:MEDIUM(中等) #### 假设检验过程 **代码段**:GatherSf() 函数中 globalIdx 为负数时的地址计算 **假设**:H0: 该代码段是安全的 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反 | 1.3 | int32_t globalIdx = indicesLocal(i); 然后 GM_ADDR sfSrc = sfTableGM_ + static_cast<uint64_t>(globalIdx) * sfBytes; 若 globalIdx 为负,static_cast<uint64_t> 会产生超大值 | +40% | 40% | | 2 | 上下文防御缺失 | 1.3 | 作用域内无 globalIdx >= 0 校验 | +25% | 65% | **证据有效性校验**: - globalIdx 来自 indicesLocal(i),indices 来自用户输入的 indices tensor(int32_t) - Tiling 侧 CheckTensorDim 校验了 indices dim 和 numTokens,但未校验 indices 值非负 - 但 engram_fetch 语义上 indices 是 storage entry 索引,负值无意义 - 实际业务场景中 indices 应始终非负,但无显式校验 **结论**:自信值 **65%** > 60%,**推翻原假设H0**,该代码段存在风险。建议在 Tiling 侧或 Kernel 侧添加 indices 值非负校验。 --- **关联规范条款**:1.3(禁止使用未定义行为)+ 4.1(外部输入合法性校验) **代码路径**:mc2/engram_fetch/op_kernel/arch35/engram_fetch_arch35.h:461 **问题类型**:负索引导致地址越界 **问题描述**:GatherSf() 中 globalIdx 为 int32_t 类型,若为负值,static_cast<uint64_t>(globalIdx) 会产生超大地址偏移,导致 GM 越界访问。此为 pre-existing 代码模式(与 LocalFetchTokens 中的 localEntryIdx 同类),本次PR在 GatherSf 中沿用了相同模式。建议在 Tiling 侧添加 indices 值非负校验。 #### 修改建议 **修改建议**:在 Tiling 侧 CheckAttrParams 或 CheckTensorDim 中添加 indices 值范围校验(Tiling 侧无法直接读取 tensor 值,建议在 Python wrapper engram_write 中添加 indices 非负校验,或在 engram_fetch 中校验)。 --- ### 问题ID:ISSUE-005 | 严重级别:LOW(轻微) #### 假设检验过程 **代码段**:engram_fetch_def.cpp fetched_sf 输出声明格式 **假设**:H0: 该代码段是安全的 | 证据序号 | 证据类型 | 规范ID | 证据描述 | 分值增量 | 累计自信值 | |---------|---------|--------|---------|---------|-----------| | 1 | 规范违反 | 通用编码规范 4.2 | this->Output("fetched_sf").ParamType(OPTIONAL).DataTypeList({ge::DT_FLOAT, ge::DT_FLOAT8_E8M0}).FormatList({ge::FORMAT_ND}); 单行过长 | +25% | 25% | **结论**:自信值 **25%** < 60%,**接受原假设H0**,该代码段安全。但建议改善代码风格。 --- **代码路径**:mc2/engram_fetch/op_host/engram_fetch_def.cpp:39 **问题类型**:代码风格(单行过长) **问题描述**:fetched_sf 输出声明单行超过 120 字符,建议换行。同文件其他 Output 声明均为单行,建议保持一致或统一换行。 --- ## 正面发现 以下代码实现符合规范要求,值得肯定: 1. **Tiling 侧 fetchedSfDesc/sfTableAddrPtr 判空**(engram_fetch_tiling.cpp:520-533):新增的 SF 相关 tiling 逻辑正确使用了 nullptr 判空,符合 RL-004 规范。 2. **TilingData 结构体字段末尾添加**(engram_fetch_tiling_data.h:32-34):新增字段 numSfPacks、sfElemSize、sfTableAddr 添加在结构体末尾,符合规范 10.4。 3. **Python 侧 SF 表校验完整**(elastic_buffer.py:669-691):sf 的 device、dim、contiguous、shape、dtype 均有校验,符合规范 4.1。 4. **hiddenBytes 溢出保护**(engram_fetch_tiling.cpp:514-517):hiddenDim * bytesPerElem 乘法前有 INT64_MAX / bytesPerElem 校验,符合规范 2.1。 5. **Tiling 侧 sfBufSize UB 预算计算**(engram_fetch_arch35.h:204-206):SF buffer 大小正确计入 usedUb 预算,避免 UB 越界。 6. **GatherSf 使用 relayQue_ 标准队列操作**(engram_fetch_arch35.h:467-475):AllocTensor → EnQue → DeQue → FreeTensor 配对完整,符合 Ascend C API 最佳实践。 ## 报告生成时间 2026-09-09 15:30:00 See merge request: cann/ops-transformer!11544 | 2 months ago | |
mc2_inference cleancode告警清理 Co-authored-by: sangzhenguo<sangzhenguo@huawei.com> # message auto-generated for no-merge-commit merge: !11110 merge mc2buildwarning into master mc2_inference cleancode告警清理 Created-by: sangzhenguo Commit-by: sangzhenguo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对mc2_inference代码中的 未使用变量、多余参数、魔鬼数字等进行清理 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5114 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11110 | 2 months ago | |
torch_extension资料迁移 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11507 merge mv_torch_docs into master torch_extension资料迁移 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 torch 扩展接口文档从集中目录 torch_extension/cann_ops_transformer/docs/zh/ 迁移到各算子目录 <category>/<op>/docs/,并统一命名为 torchapi_${op_api}.md,使接口文档与 aclnn 文档同目录、与对外 Python API 主名一致。 同步更新: - docs/zh/menu_torch_api.md、docs/zh/torch_api_list.md(链接改写、补齐未入索引接口、menu 字母序) - docs/zh/install/dir_structure.md、torch_extension_guidelines.md(文档落位约定) - 相关算子 README.md 及文档内相对链接 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5123 ## 测试 - 校验 59 篇迁移文档与 menu/list 一一覆盖,相对链接可解析 - 全仓检索确认无残留 cann_ops_transformer/docs/zh 引用 - 对照迁移前后正文:除相对路径改写外无内容篡改 - 文档规则三轮检视通过 ## 文档更新 - 迁移并重命名全部 torch 接口 md 至各算子 docs/torchapi_*.md - 更新 menu_torch_api.md、torch_api_list.md - 更新目录结构说明与 torch_extension 开发规范中的文档路径约定 - 更新相关算子 README 中的接口文档链接 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [x] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11507 | 2 months ago | |
删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11224 merge fix_2 into master 删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联issue: https://gitcode.com/cann/ops-transformer/issues/4946 https://gitcode.com/cann/ops-transformer/issues/4304 ## 描述 承接 !10920(出包恢复 op_kernel 层级):CANN 包内算子/common/3rd 目录现与源码树结构完全一致,kernel 相对路径引用两边解析结果相同,扁平化双路径 __has_include 守卫成为死代码,本 PR 予以清理,并对齐 3rd 出包结构。 ### 改动内容 1. **删除 mc2 扁平化守卫(60 个文件,-360 行)** - 66 处双分支守卫(#if __has_include(扁平路径) ... #else ... #endif)→ 只保留 else 分支(源码树/新包统一路径) - 4 个 v3 算子 .cpp 的三分支守卫(#if/#elif/#else)→ 只保留 else 分支 - 保留非路径用途守卫:CANN 版本探测(version/asc_devkit_version.h 等 25 处)、API 探测(adv_api/hcomm/hcomm.h 等 8 处)、UT 环境(hccl_stub.h 2 处) 2. **cmake 3rd 出包补齐 op_kernel 层级** - custom_build.cmake 3rd install 目的地追加 /op_kernel,消除源码树(mc2/3rd/<lib>/op_kernel/)与包内(原 ascendc/3rd/<lib>/ 扁平)的 300 处相对引用路径不一致 - mc2/3rd 加入 OPS_TRANSFORMER_SHARED_KERNEL_INSTALL_DEPS 白名单(与 mc2/common 同等),消除 depend 安装循环产生的空目录 ascendc/3rd/op_kernel 3. **commAlg 注释 spelling 修复(关联 issue #4304,3 处 1 行)** - switchwing → switching:mc2/common/op_host/op_tiling/mc2_tiling_struct.h、mc2/common/op_kernel/mc2_tiling_struct.h、mc2/grouped_mat_mul_all_reduce/tests/ut/op_kernel/grouped_mat_mul_all_reduce_tiling_def.h - 纯注释改动,无代码逻辑变化 ### 效果 新增/存量算子 kernel include 统一按源码目录结构写相对路径即可,不再需要区分 static_true/static_false;matmul 系算子(引用 3rd)后续切换在线编译无路径障碍。 ## 测试 - ascend950 出包验证(10 个 static_true 算子 + matmul_reduce_scatter):编译出包成功 - 包产物解包检查:算子/common/3rd 均含 op_kernel 层级;跨算子、跨 common、跨 3rd 相对引用包内全部可解析;空目录消除;包内 #if/#endif 配平 ## 文档更新 无 See merge request: cann/ops-transformer!11224 | 2 months ago | |
alltoallv类算子代码重复率清理 Co-authored-by: huangshuai59<huangshuai59@huawei.com> # message auto-generated for no-merge-commit merge: !11711 merge cleancode2 into master alltoallv类算子代码重复率清理 Created-by: huangshuai59 Commit-by: huangshuai59 Merged-by: cann-robot Description: ## 描述 alltoallv类算子代码重复率清理 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5189 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11711 | 2 months ago | |
mc2相关文件,pre-commit规范整改 Co-authored-by: yayahello<zhaopenglei@hisilicon.com> # message auto-generated for no-merge-commit merge: !11337 merge master into master mc2相关文件,pre-commit规范整改 Created-by: yayahello Commit-by: yayahello Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> mc2代码仓,pre-commit 整改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11337 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
mc2相关文件,pre-commit规范整改 Co-authored-by: yayahello<zhaopenglei@hisilicon.com> # message auto-generated for no-merge-commit merge: !11337 merge master into master mc2相关文件,pre-commit规范整改 Created-by: yayahello Commit-by: yayahello Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> mc2代码仓,pre-commit 整改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11337 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
MC2 DFX Co-authored-by: WangShuying5<wangshuying5@huawei.com> # message auto-generated for no-merge-commit merge: !11488 merge DFXRDV into master MC2 DFX Created-by: WangShuying5 Commit-by: WangShuying5 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> MC2 DFX需求,增加aic error后触发exception dump机制,新增 Mc2ExceptionImplTmp(xn/cke 地址 dump)、Mc2DumpTilingData(args/tiling 数据/workspace 逐段 D2H 拷贝落盘)、Mc2DumpUrmaContext(通信上下文与 peermem 窗口分段 dump)和kernel 侧运行时进度打点 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/5252 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟通过 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11488 | 2 months ago | |
perf(mega_moe): overlap shared compute with routing and reduce steady-state dispatch buffers Co-authored-by: junyu_lu<lujunyu11@huawei.com> # message auto-generated for no-merge-commit merge: !11620 merge perf/dispatch_steady_buffer2_20260909 into master perf(mega_moe): overlap shared compute with routing and reduce steady-state dispatch buffers Created-by: junyu_lu Commit-by: junyu_lu Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 优化 Arch35 MTE 路径的前处理与稳态搬运流水,覆盖 A8W8、A8W4 和 A4W4 三个 WAVE 模板。 启用共享专家时,全 AIV 完成量化、同步标志清零及共享输入准备后,由各 block 的 AIV1 执行 routes 和输入跨卡同步,AIC/AIV0 提前进入共享计算。A8W8/A4W4 可重叠共享 GMM1、激活与 routes;A8W4 重叠权重解包、MMAD 与 routes,AIV1 完成 routes 后执行共享激活。 配套调整 routes 专家分核及 UB 预算,增加 AIV1 子组同步,保持后续 epoch 协议一致。未启用共享专家时保留原有前处理顺序。 Dispatch 启动轮沿用 Host 自适应的 2~6 个 buffer,启动搬运排空后切换为 2 个,减少稳态搬运与 GMM 的资源竞争。UB 布局和路由下标 batch 配置保持不变,URMA 路径保持原行为。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11620 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11224 merge fix_2 into master 删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联issue: https://gitcode.com/cann/ops-transformer/issues/4946 https://gitcode.com/cann/ops-transformer/issues/4304 ## 描述 承接 !10920(出包恢复 op_kernel 层级):CANN 包内算子/common/3rd 目录现与源码树结构完全一致,kernel 相对路径引用两边解析结果相同,扁平化双路径 __has_include 守卫成为死代码,本 PR 予以清理,并对齐 3rd 出包结构。 ### 改动内容 1. **删除 mc2 扁平化守卫(60 个文件,-360 行)** - 66 处双分支守卫(#if __has_include(扁平路径) ... #else ... #endif)→ 只保留 else 分支(源码树/新包统一路径) - 4 个 v3 算子 .cpp 的三分支守卫(#if/#elif/#else)→ 只保留 else 分支 - 保留非路径用途守卫:CANN 版本探测(version/asc_devkit_version.h 等 25 处)、API 探测(adv_api/hcomm/hcomm.h 等 8 处)、UT 环境(hccl_stub.h 2 处) 2. **cmake 3rd 出包补齐 op_kernel 层级** - custom_build.cmake 3rd install 目的地追加 /op_kernel,消除源码树(mc2/3rd/<lib>/op_kernel/)与包内(原 ascendc/3rd/<lib>/ 扁平)的 300 处相对引用路径不一致 - mc2/3rd 加入 OPS_TRANSFORMER_SHARED_KERNEL_INSTALL_DEPS 白名单(与 mc2/common 同等),消除 depend 安装循环产生的空目录 ascendc/3rd/op_kernel 3. **commAlg 注释 spelling 修复(关联 issue #4304,3 处 1 行)** - switchwing → switching:mc2/common/op_host/op_tiling/mc2_tiling_struct.h、mc2/common/op_kernel/mc2_tiling_struct.h、mc2/grouped_mat_mul_all_reduce/tests/ut/op_kernel/grouped_mat_mul_all_reduce_tiling_def.h - 纯注释改动,无代码逻辑变化 ### 效果 新增/存量算子 kernel include 统一按源码目录结构写相对路径即可,不再需要区分 static_true/static_false;matmul 系算子(引用 3rd)后续切换在线编译无路径障碍。 ## 测试 - ascend950 出包验证(10 个 static_true 算子 + matmul_reduce_scatter):编译出包成功 - 包产物解包检查:算子/common/3rd 均含 op_kernel 层级;跨算子、跨 common、跨 3rd 相对引用包内全部可解析;空目录消除;包内 #if/#endif 配平 ## 文档更新 无 See merge request: cann/ops-transformer!11224 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
修复Dispatch/Combine空指针解引用问题 Co-authored-by: jiangxiuhan1<jiangxiuhan@huawei.com> # message auto-generated for no-merge-commit merge: !11895 merge issue into master 修复Dispatch/Combine空指针解引用问题 Created-by: jiangxiuhan1 Commit-by: jiangxiuhan1 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4776 https://gitcode.com/cann/ops-transformer/issues/4775 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11895 | 2 months ago | |
dispatch combine去掉david上的自动同步 Co-authored-by: waker<lizhengjun7@h-partners.com> # message auto-generated for no-merge-commit merge: !11265 merge sync-off into master dispatch combine去掉david上的自动同步 Created-by: wanker Commit-by: waker Merged-by: cann-robot Description: ## 描述 dispatch combine去掉david上的自动同步 ## 关联的Issue ## 测试 rdv测试通过 ## 类型标签 <!-- [x] 表示选中 --> - [x ] 🐛 Bug修复 - [x ] ⚡ 性能优化 See merge request: cann/ops-transformer!11265 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
MC2:NpuArch常量代数解决静态编译依赖 Co-authored-by: chenyifan<chenyifan66@h-partners.com> # message auto-generated for no-merge-commit merge: !11781 merge rr_soc_version into master MC2:NpuArch常量代数解决静态编译依赖 Created-by: mutex_lock Commit-by: chenyifan Merged-by: cann-robot Description: ## 描述 将 mc2 / common 中平台架构判断从 NpuArch::DAV_xxx 枚举取值,统一迁移为 opbase 提供的常量 Ops::Base::DAV_xxx(头文件 op_host/util/op_const_def.h),消除对 platform/soc_spec.h 中枚举定义的静态编译依赖。 主要改动: 1. 升级 opbase 依赖(cmake/third_party/opbase.cmake 中 OPBASE_TAG_ID)。 2. mc2 算子 tiling / op_api / infershape / gen_task,以及 common 公共头(如 tiling_util、tiling_base、tiling_templates_registry、aclnn_platform)中,NpuArch::DAV_xxx 替换为 Ops::Base::DAV_xxx。 3. 相关文件去掉 #include "platform/soc_spec.h",改为 #include "op_host/util/op_const_def.h";op_api 侧仅引入常量定义,避免连带引入 platform_util.h 与 aclnn 日志宏冲突。 4. UT stub(tests/ut/framework_normal/op_api/stub/opdev/platform.h)保留 NpuArch 枚举类型,并同步 stub Ops::Base::DAV_xxx 常量,保证单测可编译运行。 不新增/删除业务接口,仅做 NpuArch 常量代数与 include 收敛。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5147 ## 测试 A2/A3/A5 RDV ## 文档更新 ## 类型标签 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [x] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [x] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11781 | 2 months ago | |
修复Dispatch/Combine空指针解引用问题 Co-authored-by: jiangxiuhan1<jiangxiuhan@huawei.com> # message auto-generated for no-merge-commit merge: !11895 merge issue into master 修复Dispatch/Combine空指针解引用问题 Created-by: jiangxiuhan1 Commit-by: jiangxiuhan1 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4776 https://gitcode.com/cann/ops-transformer/issues/4775 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11895 | 2 months ago | |
dispatch combine去掉david上的自动同步 Co-authored-by: waker<lizhengjun7@h-partners.com> # message auto-generated for no-merge-commit merge: !11265 merge sync-off into master dispatch combine去掉david上的自动同步 Created-by: wanker Commit-by: waker Merged-by: cann-robot Description: ## 描述 dispatch combine去掉david上的自动同步 ## 关联的Issue ## 测试 rdv测试通过 ## 类型标签 <!-- [x] 表示选中 --> - [x ] 🐛 Bug修复 - [x ] ⚡ 性能优化 See merge request: cann/ops-transformer!11265 | 2 months ago | |
moe_ep_combine优化 Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !11478 merge pr_10642 into master moe_ep_combine优化 Created-by: Yuyu-Li Commit-by: Yuyu-Li Merged-by: cann-robot Description: ## 描述 moe_ep_combine优化 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5219 ## 测试 二级冒烟 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11478 | 2 months ago | |
perf(mc2): use nbuffer for moe_ep_combine_epilogue Co-authored-by: junnyleo<lijun580@huawei.com> # message auto-generated for no-merge-commit merge: !11864 merge fix/combine into master perf(mc2): use nbuffer for moe_ep_combine_epilogue Created-by: junnyleo Commit-by: junnyleo Merged-by: cann-robot Description: ## 描述 使用剩余ub空间计算最大bufferNum,优化后处理从win区搬运token和weight的流水,使其并行度更高。 ## 关联的Issue 关联Issue [#5253](https://gitcode.com/cann/ops-transformer/issues/5253) ## 测试 完成daily_8p的所有测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11864 | 2 months ago | |
moe_ep_dispatch bugFix Co-authored-by: z1017i<zengzhe4@huawei.com> # message auto-generated for no-merge-commit merge: !11901 merge training_0912_bugfix into master moe_ep_dispatch bugFix Created-by: z1017i Commit-by: z1017i Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> moe_ep_dispatch 算子 hybrid/direct 模板 bug修复 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11901 | 2 months ago | |
modify moe_ep_dispatch dedup and writeRemote Co-authored-by: z1017i<zengzhe4@huawei.com> # message auto-generated for no-merge-commit merge: !11490 merge training_dedup into master modify moe_ep_dispatch dedup and writeRemote Created-by: z1017i Commit-by: z1017i Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: # 代码检视报告 ## 检视概览 - 代码文件:PR #11490(moe_ep_dispatch / moe_ep_dispatch_epilogue / mc2 公共)变更文件:mc2/common/op_host/op_tiling/moe_ep_window_layout.{cpp,h}、mc2/common/torch_extension/elastic_buffer.py、mc2/moe_ep_dispatch/op_host/op_tiling/moe_ep_dispatch_tiling.cpp、mc2/moe_ep_dispatch/op_kernel/moe_ep_dispatch.h、mc2/moe_ep_dispatch/op_kernel/moe_ep_dispatch_tiling.h、mc2/moe_ep_dispatch_epilogue/op_host/op_tiling/moe_ep_dispatch_epilogue_tiling.cpp - 代码侧别:混合(Kernel + Tiling + Host/Python) - 检视文档:ascendc-api.md、ascendc-perf.md、ascendc-red-line.md、ascendc-topk.md、cpp-general.md、cpp-secure.md、cpp-style.md、mc2-specific.md、python-secure.md、regbase-review-checks.md(共 128 条) - 总条例数:113 - 设计文档来源:torch_extension/cann_ops_transformer/docs/zh(ElasticBuffer.md、low_latency_dispatch.md、mega_moe.md 等) - 检视时间:2026-09-09 22:21:07 ## 检视统计 | 状态 | 条例数 | 占比 | |------|------|------| | PASS | 102 | 90.3% | | FAIL(发现问题)| 6 | 5.3% | | SUSPICIOUS(需关注)| 5 | 4.4% | ## 发现问题(HIGH 置信度) ### [GEN-1.3] 清理无效、冗余或永不执行的代码 已修改 - **状态**:SUSPICIOUS | **置信度**:HIGH - **问题描述**:重构后遗留多处只声明不使用/只写不读的无效代码(全仓 grep 证实)。新增常量 WIN_STRIDE(行77)定义后全仓 0 处引用;常量 DATA_BLOCK_NUM(行83)的最后使用点(旧 BufferInit 的 Ceil(epWorldSize_, DATA_BLOCK_NUM))被本 PR 删除;成员 tokenSlotTensor_(行159)、hitPerRankTensor_(行168)的原消费函数 WriteSlotToLocal/旧 DedupAndSendDirect/旧 SendPhase 已被本 PR 删除重写,现为完全未引用;topkIdxTensor_(行160)仅在行946 被赋值一次、无任何读取(死存储);slotCopyParams_(行263)仅在行359 初始化、从未传入任何 DataCopy 调用。命中 1.3.2 只写不读字段模式。 - **代码文件**:mc2/moe_ep_dispatch/op_kernel/moe_ep_dispatch.h - **起始行号**:157 - **中止行号**:171 - **代码片段**: cpp GlobalTensor<ScalesType> scalesGMTensor_; LocalTensor<XType> tokenSlotTensor_; LocalTensor<int32_t> topkIdxTensor_; LocalTensor<int32_t> dstSlotIdxTensor_; LocalTensor<int32_t> metaLocalTensor_; LocalTensor<int32_t> numRecvPerRankTensor_; LocalTensor<int64_t> numRecvPerExpertTensor_; LocalTensor<int32_t> sendCntPerExpertTensor_; LocalTensor<int32_t> sendCntPerRankTensor_; LocalTensor<int32_t> slotIdxPerRankTensor_; LocalTensor<int32_t> hitPerRankTensor_; LocalTensor<int16_t> dstRankTensor_; LocalTensor<int16_t> dstRankIdTensor_; LocalTensor<uint8_t> hcommTensor_; - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 命中 1.3.2 只写不读字段模式。WIN_STRIDE(行77,本次新增)全仓无任何引用;DATA_BLOCK_NUM(行83)使用点被本 PR 从 BufferInit 删除;tokenSlotTensor_(行159)、hitPerRankTensor_(行168)grep 全仓无引用;topkIdxTensor_(行160)仅行946 赋值无读取;slotCopyParams_(行263)仅行359 初始化无使用。 | | PR归属 | +20% | WIN_STRIDE(行77)与 topkIdxTensor_ 死赋值(行946)均为 diff 新增行;其余符号的使用点删除均发生在本 PR diff 范围内(WriteSlotToLocal 整函数删除、旧 SendPhase/DedupAndSendDirect 重写)。 | | 上下文防御缺失 | +30% | 上述符号均为 kernel 模板类私有成员或 MoeEpDispatchImpl 命名空间内常量,仅本翻译单元可见,不属于 ABI/extern C/注册入口白名单场景;无 retained-with-reason 注释,『可能以后会用』不构成保留理由。 | 自信值 = Σ正向 + Σ负向 = 90% ≥ 70% → 判定违规 - **修复建议**:删除 WIN_STRIDE、DATA_BLOCK_NUM、tokenSlotTensor_、hitPerRankTensor_、slotCopyParams_ 等无效声明;删除 ProcessMetaSlot 行946 的 topkIdxTensor_ 死赋值(或恢复其消费逻辑);若确需保留个别字段请补充 retained-with-reason 注释说明。 ### [RL-2] 外部数据作为数组索引时必须确保在数组大小范围内 已修改 - **状态**:FAIL | **置信度**:HIGH - **问题描述**:SetRecvNumPerExpert 中 recvTensorInt32 = tempBuf_.GetWithOffset<int32_t>(recvNumAlign, UB_ALIGN) (moe_ep_dispatch.h:775),张量数据跨度 = UB_ALIGN(32) + epWorldSize_ * moeNumPerRankAlign_ 字节, 其中 epWorldSize_ 与 numLocalExperts 均来自 attrs 外部输入。本 PR 将 PER_GROUP_SIZE 由 40KB 缩减为 32KB(moe_ep_dispatch.h:81),tempBuf_ 容量变为 perGroupSizeAlign_ = 32768 字节(由 :319 公式恒等于 PER_GROUP_SIZE)。当 epWorldSize_ = 1024(tiling 校验允许的上限,moe_ep_dispatch_tiling.cpp:622-625) 且 numLocalExperts <= 8(numExperts ∈ {1024, 2048},满足 % ep == 0 校验,此时 moeNumPerRankAlign_ = 32, expertPerRankAlign_ = 8)时,跨度 = 32 + 1024*32 = 32800 字节 > 32768 字节,DataCopyPad(:783, 按 {ep, moeNumPerRankAlign_, ...} 拷贝 ep*moeNumPerRankAlign_ = 32768 字节)向 UB 缓冲区末尾越界写入 32 字节,踩踏相邻 UB buffer(dstExpBuf_),且后续 Cast(:785)从越界位置读取,导致 numRecvPerExpert 输出错乱。旧代码 PER_GROUP_SIZE = 40KB(tempBuf_ = 40960 字节)时该场景安全(32800 < 40960), 本 PR 缩减 PER_GROUP_SIZE 后未重新校验 SetRecvNumPerExpert 的缓冲区需求,属回归。 - **代码文件**:mc2/moe_ep_dispatch/op_kernel/moe_ep_dispatch.h - **起始行号**:766 - **中止行号**:787 - **代码片段**: cpp template <TemplateMoeEpDispatchTypeClass> __aicore__ inline void MoeEpDispatch<TemplateMoeEpDispatchTypeFunc>::SetRecvNumPerExpert() { uint32_t recvNumAlign = epWorldSize_ * expertPerRankAlign_; GlobalTensor<int32_t> localExpertRecvGMTensor; localExpertRecvGMTensor.SetGlobalBuffer((__gm__ int32_t *)(localCntStateWinAddr_ + cntFlagWinSize_)); numRecvPerExpertTensor_ = numRecvPerExpertBuf_.Get<int64_t>(); LocalTensor<int64_t> tempRecvTensorInt64 = dstExpBuf_.Get<int64_t>(); LocalTensor<int64_t> recvCntTensor = tempBuf_.GetWithOffset<int64_t>(INT64_UB_STRIDE, 0); LocalTensor<int32_t> recvTensorInt32 = tempBuf_.GetWithOffset<int32_t>(recvNumAlign, UB_ALIGN); LocalTensor<int64_t> sharedTmp = recvTensorInt32.template ReinterpretCast<int64_t>(); LocalTensor<uint8_t> sharedTmpInt8 = recvTensorInt32.template ReinterpretCast<uint8_t>(); const uint32_t shape[] = {epWorldSize_, expertPerRankAlign_}; DataCopyParams inRecvCntParams = {static_cast<uint16_t>(epWorldSize_), static_cast<uint16_t>(moeNumPerRankAlign_), static_cast<uint16_t>(moeNumPerRankAlign512_ - moeNumPerRankAlign_), 0U}; DataCopyParams recvPerExpertParams = {1U, static_cast<uint16_t>(moeExpertNumPerRank_ * sizeof(int64_t)), 0U, 0U}; DataCopyPad(recvTensorInt32, localExpertRecvGMTensor, inRecvCntParams, padParams_); SyncFunc<AscendC::HardEvent::MTE2_V>(); Cast(tempRecvTensorInt64, recvTensorInt32, RoundMode::CAST_NONE, recvNumAlign); ReduceSum<int64_t, AscendC::Pattern::Reduce::RA, true>(numRecvPerExpertTensor_, tempRecvTensorInt64, sharedTmpInt8, shape, true); - **假设检验证据**: 正向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 规范违反 | +40% | 以外部输入 epWorldSize_(attr)派生的 recvNumAlign 作为 tempBuf_ 内张量长度(GetWithOffset 第二参数为字节偏移 UB_ALIGN),其跨度 UB_ALIGN + ep*moeNumPerRankAlign_ 在 ep=1024 时为 32800 字节,超过 tempBuf_ 实际容量 32768 字节,DataCopyPad 越界写 32 字节,无任何范围校验 | | 上下文防御缺失 | +30% | 全文件及 Tiling 侧均无「UB_ALIGN + epWorldSize_*moeNumPerRankAlign_ <= perGroupSizeAlign_」的守卫或 OP_CHECK;PER_GROUP_SIZE 由 40KB 缩为 32KB 后未复查 SetRecvNumPerExpert 的缓冲区需求(tempBuf_ 于 BufferInit :455 按 perGroupSizeAlign_ 分配,SetRecvNumPerExpert 在 CommBufferInit 重分配前执行) | | PR 归属 | +20% | PER_GROUP_SIZE 40KB→32KB(moe_ep_dispatch.h:81)与 SetRecvNumPerExpert 的 recvNumAlign/GetWithOffset 行(:769/:775)均在本次 diff 变更范围内;旧实现 tempBuf_=40960B 安全,本 PR 引入回归 | 负向证据: | 证据类型 | 分值 | 证据描述 | |---------|------|---------| | 上游校验 | -0% | moe_ep_dispatch_tiling.cpp:622-625 OP_TILING_CHECK 校验 epWorldSize ∈ [2,1024],但该校验仅约束 ep 范围,不覆盖「ep*nle 对齐字节数 <= tempBuf_ 容量」这一风险变量(校验变量与风险变量不同),按校验有效性验证规则计 0 分 | 自信值 = Σ正向 + Σ负向 = 90% ≥ 70% → 判定违规 - **修复建议**:方案一:增大 tempBuf_ 分配,BufferInit 中 tempBuf_ 大小取 max(perGroupSizeAlign_, UB_ALIGN + epWorldSize_ * moeNumPerRankAlign_);方案二:将 recvTensorInt32 改由独立的 numRecvPerExpertBuf_/dstExpBuf_ 等容量充足的 TBuf 承载(dstExpBuf_ = 2*perGroupSizeAlign_ = 64KB 可容纳);方案三:恢复 PER_GROUP_SIZE 为 40KB;方案四:在 Tiling 侧(CheckComputeAttr 或 BuildAndCheckWindowLayout 后)增加组合校验:UB_ALIGN + epWorldSize * Align32(numLocalExperts*4) <= PER_GROUP_SIZE,不满足时报错拒绝(覆盖 ep=1024 且 numLocalExperts<=8 的配置)。 ### [RL-3] 确保有符号整数运算不溢出 确认无误暂不修改 - **状态**:FAIL | **置信度**:HIGH - **问题描述**:SetSrcTokenIdxAndDstSlot 将 slot 值压缩为 int16 编码:CreateVecIndex(scatterTensor, static_cast<int16_t>(curSlot + epWorldSize_), curCnt)(moe_ep_dispatch.h:885),随后 Scatter 写入 int16 张量 dstRankIdTensor_,再经 Subs/Select 还原(:904-908)并 Cast 为 dst_buffer_slot_idx 输出。 scatter 生成值域为 [curSlot+ep, curSlot+ep+curCnt),curSlot 为 per-rank 去重后的 slot 序号(前缀和起点 + 批内累计),最大值 <= sendCntPerRank[dstRankId] + epWorldSize_ - 1 <= BS + epWorldSize_ - 1。 BS(numTokens = x dim0)仅受 xDim0 <= num_max_tokens_per_rank 约束 (moe_ep_dispatch_tiling.cpp:149-152),而 nmt 在 Tiling 侧仅校验 > 0(:676-678)、Python 侧 elastic_buffer.py 只校验 num_experts/topk/world_size,均无上界,全仓 grep 亦无 num_max_tokens_per_rank 上界(mega_moe.cpp:329 的 4096 上界属另一算子路径)。当 BS + epWorldSize > 32768(int16 最大 32767)时发生 narrowing 溢出:BS+ep ∈ (32768, 65536] 时高位 slot 在 Subs 前的 CompareScalar(GE 0)(:904)判为负,被 Select 置 -1,token 被静默丢弃;更大时回绕为错误 slot, dst_buffer_slot_idx 输出错误索引,下游 combine 按错误 slot 访问接收窗口。旧实现 slot 全程 int32 (SetValue/GetValue int32),int16 编码为本 PR 新引入约束,无任何范围守卫或校验。 - **代码文件**:mc2/moe_ep_dispatch/op_kernel/moe_ep_dispatch.h - **起始行号**:861 - **中止行号**:911 - **代码片段**: ```cpp for (uint32_t rankId = 0; rankId < epWorldSize_; ++rankId) { // 调整处理顺序,先处理其他对端卡,本端卡最后处理,后续处理token可复用 uint32_t dstRankId = rankId >= epRankId_ ? (rankId + 1) : rankId; dstRankId = (rankId == epWorldSize_ - 1) ? epRankId_ : dstRankId; CreateVecIndex(internalIndexTensor, static_cast<int16_t>(0), calCnt); // 生成元素索引 CompareScalar(compareMaskTensor, dstRankIdTensor_, static_cast<int16_t>(dstRankId), AscendC::CMPMODE::EQ, calCntAlign); if (rankId > 0) { SyncFunc<AscendC::HardEvent::MTE3_V>(); } SyncFunc<AscendC::HardEvent::S_V>(); // 需要等待上一轮本端命中判断结束 GatherMask(internalIndexTensor, internalIndexTensor, gatherMaskTensor, true, calCnt, {1, 1, 0, 0}, rsvdCnt); if (dstRankId == epRankId_) { sendLocalCnt = static_cast<uint32_t>(rsvdCnt); } if (rsvdCnt == 0) { continue; } SyncFunc<AscendC::HardEvent::V_S>(); int32_t curSlot = cntLocalTensor.GetValue(dstRankId); int32_t curCnt = static_ See merge request: cann/ops-transformer!11490 | 2 months ago | |
删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !11224 merge fix_2 into master 删除mc2 op_kernel扁平化__has_include守卫,3rd出包对齐op_kernel层级 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 关联issue: https://gitcode.com/cann/ops-transformer/issues/4946 https://gitcode.com/cann/ops-transformer/issues/4304 ## 描述 承接 !10920(出包恢复 op_kernel 层级):CANN 包内算子/common/3rd 目录现与源码树结构完全一致,kernel 相对路径引用两边解析结果相同,扁平化双路径 __has_include 守卫成为死代码,本 PR 予以清理,并对齐 3rd 出包结构。 ### 改动内容 1. **删除 mc2 扁平化守卫(60 个文件,-360 行)** - 66 处双分支守卫(#if __has_include(扁平路径) ... #else ... #endif)→ 只保留 else 分支(源码树/新包统一路径) - 4 个 v3 算子 .cpp 的三分支守卫(#if/#elif/#else)→ 只保留 else 分支 - 保留非路径用途守卫:CANN 版本探测(version/asc_devkit_version.h 等 25 处)、API 探测(adv_api/hcomm/hcomm.h 等 8 处)、UT 环境(hccl_stub.h 2 处) 2. **cmake 3rd 出包补齐 op_kernel 层级** - custom_build.cmake 3rd install 目的地追加 /op_kernel,消除源码树(mc2/3rd/<lib>/op_kernel/)与包内(原 ascendc/3rd/<lib>/ 扁平)的 300 处相对引用路径不一致 - mc2/3rd 加入 OPS_TRANSFORMER_SHARED_KERNEL_INSTALL_DEPS 白名单(与 mc2/common 同等),消除 depend 安装循环产生的空目录 ascendc/3rd/op_kernel 3. **commAlg 注释 spelling 修复(关联 issue #4304,3 处 1 行)** - switchwing → switching:mc2/common/op_host/op_tiling/mc2_tiling_struct.h、mc2/common/op_kernel/mc2_tiling_struct.h、mc2/grouped_mat_mul_all_reduce/tests/ut/op_kernel/grouped_mat_mul_all_reduce_tiling_def.h - 纯注释改动,无代码逻辑变化 ### 效果 新增/存量算子 kernel include 统一按源码目录结构写相对路径即可,不再需要区分 static_true/static_false;matmul 系算子(引用 3rd)后续切换在线编译无路径障碍。 ## 测试 - ascend950 出包验证(10 个 static_true 算子 + matmul_reduce_scatter):编译出包成功 - 包产物解包检查:算子/common/3rd 均含 op_kernel 层级;跨算子、跨 common、跨 3rd 相对引用包内全部可解析;空目录消除;包内 #if/#endif 配平 ## 文档更新 无 See merge request: cann/ops-transformer!11224 | 2 months ago | |
modify quant_reduce_scatter & quant_all_reduce clean code Co-authored-by: yifux<xiongyifu1@huawei.com> # message auto-generated for no-merge-commit merge: !11813 merge pr_11669 into master modify quant_reduce_scatter & quant_all_reduce clean code Created-by: xiongyifu Commit-by: yifux Merged-by: cann-robot Description: ## 描述 清理quant_reduce_scatter & quant_all_reduce的clean code ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5173 ## 测试 线上出子包验证,rdv验证 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11813 | 2 months ago | |
alltoallv类算子代码重复率清理 Co-authored-by: huangshuai59<huangshuai59@huawei.com> # message auto-generated for no-merge-commit merge: !11711 merge cleancode2 into master alltoallv类算子代码重复率清理 Created-by: huangshuai59 Commit-by: huangshuai59 Merged-by: cann-robot Description: ## 描述 alltoallv类算子代码重复率清理 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5189 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11711 | 2 months ago | |
modify quant_reduce_scatter & quant_all_reduce clean code Co-authored-by: yifux<xiongyifu1@huawei.com> # message auto-generated for no-merge-commit merge: !11813 merge pr_11669 into master modify quant_reduce_scatter & quant_all_reduce clean code Created-by: xiongyifu Commit-by: yifux Merged-by: cann-robot Description: ## 描述 清理quant_reduce_scatter & quant_all_reduce的clean code ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/5173 ## 测试 线上出子包验证,rdv验证 ## 文档更新 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [x] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11813 | 2 months ago | |
mc2相关文件,pre-commit规范整改 Co-authored-by: yayahello<zhaopenglei@hisilicon.com> # message auto-generated for no-merge-commit merge: !11337 merge master into master mc2相关文件,pre-commit规范整改 Created-by: yayahello Commit-by: yayahello Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> mc2代码仓,pre-commit 整改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!11337 | 2 months ago | |
移除 mc2 op_kernel 摊平机制,统一编译框架与 include 风格 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !7544 merge compile into master 移除 mc2 op_kernel 摊平机制,统一编译框架与 include 风格 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: ## 背景 ops-transformer 出包时 op_kernel/ 目录被扁平化展开:mc2/common/op_kernel/xxx.h → ascendc/common/xxx.h。对于 static_true(JIT 在线编译)算子,kernel 代码需兼容两种环境: 1. **本地预编译**:源码树,op_kernel/ 层级存在 2. **CANN 包 JIT 编译**:扁平化,op_kernel/ 层级消失 ## 治理原则 ### 核心规则 - **static_true 算子**:需要 __has_include 守卫,兼容两种路径 - **static_false 算子**:不需要守卫,直接用本地 op_kernel/ 路径 - **同目录引用**:不需要守卫 ### 三种标准模式 // 1. op_kernel 层 → common #if __has_include("../common/xxx.h") // CANN(无 op_kernel) #include "../common/xxx.h" #else #include "../../common/op_kernel/xxx.h" // 本地(有 op_kernel) #endif // 2. arch 层 → common #if __has_include("../../common/xxx.h") #include "../../common/xxx.h" #else #include "../../../common/op_kernel/xxx.h" #endif // 3. op_kernel 层 → 兄弟算子 #if __has_include("../sibling_op/xxx.h") #include "../sibling_op/xxx.h" #else #include "../../sibling_op/op_kernel/xxx.h" #endif ### 合并原则 同深度、紧邻的 __has_include 块可合并为一个。**不可合并**的情况: - 两个块之间有其他 #include(依赖排序) - 第一个块在 #if defined(__NPU_ARCH__) 条件编译内 - quantize_functions.h 等特殊依赖 ## 已完成工作清单 ### 1. cmake 出包扁平化 - common/: install 目标去掉 op_kernel 中间层 - 3rd/: install 加尾 /(op_kernel → op_kernel/),展开内容 ### 2. __CCE_KT_TEST__ 守卫还原(4 个文件) matmul_all_reduce 下 common.h + 3 个 *_tiling_data.h,被误删的守卫恢复,并修正 else 分支路径(combined.h 的 ../common/ → ../../common/) ### 3. __has_include 路径纠正 - op_kernel 层:../../common/ → ../common/ - arch 层:../../../common/ → ../../common/ - 覆盖全部 static_true 算子(14 个 → 20 个) ### 4. 同级块合并(8 个文件) 相邻同深度的 __has_include 块合并 ### 5. setup/teardown 预加守卫(4 个算子,8 个文件 → 已纳入守护范围) 已加 __has_include 守卫,后续切 static_true 无需修改 .h 文件: - moe_distribute_combine_setup - moe_distribute_dispatch_setup - moe_distribute_combine_teardown - moe_distribute_dispatch_teardown ### 6. 高风险拆分 moe_distribute_combine_v2_quant.h:quantize_functions.h 从合并块拆出,单独守卫 ### 7. 无效守卫清理 - engram_fetch_wait(纯 static_false):移除守卫,直接用本地路径 ### 8. 新增 EP 算子守护(3 个算子) 新增 3 个 static_true 算子: - moe_ep_dispatch(守卫已正确) - moe_ep_combine(修正 __has_include 路径中多余 op_kernel/ 层级) - moe_ep_dispatch_epilogue(同上) ### 9. MegaMoe 跨算子引用加守卫(2 个文件,4 处) mega_moe/op_kernel/arch35/ 下 mega_moe.h + mega_moe_combine_send.h: - quantize_functions.h 加 __has_include 双路径守卫 - 原裸 "moe_distribute_dispatch_v2/op_kernel/..." 路径(依赖 -Imc2/)改为相对路径 ### 10. MegaMoe CMake 清理 - 删除 -I${CMAKE_CURRENT_SOURCE_DIR}/../../(-Imc2/,仅 mega_moe 使用) - 删除 -I${CMAKE_CURRENT_SOURCE_DIR}/../../3rd(目录不存在,无引用) - 新增 mega_moe_apt_depends,声明 apt 编译依赖 mc2/moe_distribute_dispatch_v2 mc2/moe_distribute_dispatch_v3,确保 opc 编译时跨算子头文件可解析 ## 当前 static_true 算子清单(共 17 个已启用 + 3 个守卫待启用 = 20 个) | 算子 | 目录 | 守卫状态 | |------|------|---------| | AttentionToFFN | mc2/attention_to_ffn/ | ✓ | | DistributeBarrier | mc2/distribute_barrier/ | ✓ | | DistributeBarrierExtend | mc2/distribute_barrier_extend/ | ✓(*) | | FFNToAttention | mc2/ffn_to_attention/ | ✓ | | MegaMoe | mc2/mega_moe/ | ✓ | | MoeDistributeCombine | mc2/moe_distribute_combine/ | ✓ | | MoeDistributeCombineAddRmsNorm | mc2/moe_distribute_combine_add_rms_norm/ | ✓(*) | | MoeDistributeCombineSetup | mc2/moe_distribute_combine_setup/ | ✓(†) | | MoeDistributeCombineTeardown | mc2/moe_distribute_combine_teardown/ | ✓ | | MoeDistributeCombineV2 | mc2/moe_distribute_combine_v2/ | ✓ | | MoeDistributeCombineV3 | mc2/moe_distribute_combine_v3/ | ✓(*) | | MoeDistributeDispatch | mc2/moe_distribute_dispatch/ | ✓ | | MoeDistributeDispatchSetup | mc2/moe_distribute_dispatch_setup/ | ✓(†) | | MoeDistributeDispatchTeardown | mc2/moe_distribute_dispatch_teardown/ | ✓(†) | | MoeDistributeDispatchV2 | mc2/moe_distribute_dispatch_v2/ | ✓ | | MoeDistributeDispatchV3 | mc2/moe_distribute_dispatch_v3/ | ✓(*) | | MoeEpCombine | mc2/moe_ep_combine/ | ✓ | | MoeEpDispatch | mc2/moe_ep_dispatch/ | ✓ | | MoeEpDispatchEpilogue | mc2/moe_ep_dispatch_epilogue/ | ✓ | | MoeUpdateExpert | mc2/moe_update_expert/ | ✓ | > (\*) 守卫仅存在于 .cpp 文件,.h 文件无跨目录引用,无需守卫 > (†) 守卫已就位,当前 jitCompile.flag 为 static_false,后续切换不需改 .h 文件 ## 后续开发注意事项 ### 新增算子 1. 确认 jitCompile.flag(在 op_host/*_def.cpp) 2. static_true → 所有跨 common/兄弟算子的 include 加守卫 3. 同目录引用、系统头文件不需要守卫 ### 切换 static_false → static_true 1. 改 jitCompile.flag 为 "static_true" 2. 扫描全部跨算子 include,加 __has_include 守卫 3. 参照已有 setup/teardown 做法 ### 代码审查要点 - op_kernel 层引用 common:是否用了 ../common/(非 ../../common/) - arch 层引用 common:是否用了 ../../common/(非 ../../../) - #else 分支路径是否包含 op_kernel/ - 同目录引用是否被误加了守卫 See merge request: cann/ops-transformer!7544 | 4 months ago |
| Files | Last commit | Last update |
|---|---|---|
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 2 months ago | ||
| 4 months ago |