| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
Pre-Commit 规范整改 — mc2 公共 Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !1577 merge test into master Pre-Commit 规范整改 — mc2 公共 Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: pre-commit是一个Git Hooks框架,用于在 git commit时自动运行代码检查和格式化工具。: | Hook | 功能 | 说明 | |------|------|------| | **clang-format** | C/C++ 代码格式化 | 自动格式化代码,保持风格一致 | | **OAT Check** | 开源合规检查 | 检测许可证头、禁止二进制文件提交 | 本PR对于MC2文件进行了pre-commit检查 See merge request: cann/ops-transformer!1577 | 4 个月前 | |
D&C + Barrier 图模式 FusionPass Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !8649 merge graph into master D&C + Barrier 图模式 FusionPass Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: # D&C + Barrier 图模式 FusionPass 改造总结 > 状态:旧 torchair 全用例通过、多卡精度通过 ## 1. 背景与目标 A5(Ascend 950)上,MC2 系列算子存在"新老两代"接口: | 老接口(图模式在用) | 新接口(目标) | 差异 | |---|---|---| | MoeDistributeDispatchV2 / CombineV2 | MoeDistributeDispatchV3 / CombineV3 | V3 头部新增 context 输入(Mc2MoeContext)+ ccl_buffer_size 属性,删除 group_ep/group_tp 字符串属性;kernel/tiling 完全复用 V2 | | DistributeBarrier | DistributeBarrierExtend | Extend 头部新增 context 输入,属性不变 | A5 单算子(aclnn)模式已闭环:V2 入口内部经 Mc2Aclnn::Mc2Context::GetMc2ContextTensor 建 context 后转调新接口。**GE 图模式**缺这条路径,本改造用 fusion pass 在图编译期把老节点 1:1 替换为新节点,并提前创建 context(Const 节点承载),与单算子 A5 路径对齐。 ## 2. 实现清单 | 文件 | 说明 | |---|---| | mc2/common/op_graph/mc2_moe_graph_context.{h,cpp} | Mc2MoeGraphContext:dlopen HCCL → 查 rank/channel/window buffer 地址(含 per-rank +1024 偏移)→ 填 Mc2MoeContext → 序列化 int32 数组(GetContextData,按 groupEp 缓存);CreateContextConstNode/FindContextConstNode(Const 名 mc2_moe_context_<groupEp>,唯一命名+建前查重) | | mc2/moe_distribute_combine_v2/op_graph/fusion_pass/ | combine V2→V3 pass | | mc2/moe_distribute_dispatch_v2/op_graph/fusion_pass/ | dispatch V2→V3 pass | | mc2/distribute_barrier/op_graph/fusion_pass/ | barrier→Extend pass | | mc2/common/CMakeLists.txt | context 源文件挂到 graph_plugin_transformer_obj | 三个 pass 同一骨架(graph_base): 1. Run():遍历 graph->GetDirectNode(),按类型过滤老节点(版本/平台/ccu/属性预检) 2. context:GetContextData(按 group 缓存)→ Find/Create Const(**三个 pass 按 group 共享同一个**) 3. 建新节点:OperatorFactory::CreateOperator → port 0 放 context → 输入 desc 按映射拷贝(老 port i → 新 port i+1)→ 属性按名拷贝(D&C 丢 group_ep/group_tp、加 ccl_buffer_size;barrier 原样) 4. 连边:有生产者才连边 → **控制边迁移到新节点** → **摘除老节点输出数据边+控制边** → RemoveNode → 输出边重连 ## 3. 关键技术决策 ### 3.1 为什么 graph_base 而不是 pattern 匹配 pattern 框架(PatternFusionPass)在此场景有三个致命不匹配: - matcher 只校验**连接边数**不校验槽位(pattern_matcher.cc:182),同边数不同槽位的变体会误匹配并**静默错接线**(实测复现:x_active_mask 被接进 scales 槽报 DT_BOOL、combine 四路错位) - 可选输入组合空间爆炸(combine 源码级 2^10≈1024 种) - dispatch 7 输出的边界声明问题 graph_base(FusionBasePass::Run + 手动换节点)对 1:1 替换天然适配:无组合枚举、无边界语义、无错接线可能。 ### 3.2 输入映射:按原型名解析(兼容新旧 torchair 构图) 新旧 torchair 对"可选输入为 None"的构图不同(新版空槽+无效 desc 占位、旧版 compact 不占位),且 GE 的 GetInputsSize() 返回的是**有效 desc 数**而非槽位数(语义坑,曾误判拦截正常图)。 终案:BuildPortMapping——以原型 IR 输入名列表为锚,GetInputIndexByName 解析每个槽位的**节点本地索引**(全槽位图返回 IR 位置、compact 图返回 compact 位置、缺失返回 -1),desc 拷贝与连边按本地索引操作,新节点落位恒为原型槽位+1。必选输入解析失败 → 安全回退(不融合但绝不错接)。 ### 3.3 控制边必须处理(防 IsolateNode 旁路拼环) graph.RemoveNode 内部调 IsolateNode,会把被删节点的输入生产者(含控制边来源)**旁路拼接**到输出消费者。MC2 节点带反向控制边时会拼出环(实测 total 11, itered 7, exist closed loop)。 对策(RemoveNode 之前):迁移控制边到新节点(AddControlEdge)→ 摘除老节点输出数据边(RemoveEdge)→ 摘除控制边(RemoveEdge(src,-1,dst,-1))→ 再 RemoveNode,无拼接对象。 ### 3.4 context Const:唯一命名 + 建前查重 曾因两个 pass 各自创建**同名** Const 导致 GE BFS 拓扑的 breadth_node_map(按节点名做 key)互相覆盖,误报假环。终案:Const 名 mc2_moe_context_<group> 唯一化 + 建前按名查重,dispatch/combine/barrier 三个 pass 同通信域共享同一个 Const。 ### 3.5 兼容性六层防护 1. 编译期 #if CANN_VERSION_NUM >= 90000000(老 CANN 头编空) 2. 运行时 stage 动态降级(aclsysGetVersionNum <9.0.0 → kBeforeInferShape,应对 kCompatibleInherited 老 GE 不存在) 3. 运行时执行空跑(Run() 版本早退) 4. A5 平台门(IsTargetPlatformNpuArch(NPUARCH_A5)) 5. HCCL 库 dlopen 失败降级(保持老节点) 6. HCCL 版本门 #if HCOMM_VERSION_NUM >= 89999700(老 HCCL 头文件下 context 类不存在时保持老节点,不编译炸) ### 3.6 注册名沿用老名字 GE 的 fusion pass 白名单(fusion_config.json,随内置包发布)里是 6 月老提交留下的名字(MoeDistributeCombineV2FusionPass/MoeDistributeDispatchV2FusionPass/DistributeBarrierFusionPass),pass 类名与之对齐才能过白名单;且同名注册先到先得,内置包优先。 ## 4. 踩坑记录(排查过程) | 现象 | 根因 | |---|---| | scales DT_BOOL、combine 输入四路错位 | pattern matcher 同边数误匹配变体 + 占位符顺序错接线 → 弃 pattern 转 graph_base | | node input size 9 != expected 18 误拦截正常图 | GetInputsSize() 语义是"有效 desc 数"非槽位数 → 改按名解析,不做形态判断 | | 融合后拓扑排序报环(第一次) | RemoveNode 触发 IsolateNode 旁路拼接控制边成环 → 控制边迁移+先摘边再删 | | 同样报环(第二次,detach 后仍现) | 两个 pass 创建同名 Const,BFS breadth_node_map 按名 key 覆盖 → 唯一命名+查重 | | pass 注册了但 Patterns() 不执行 | 白名单 fusion_config.json 只有老 pass 名 → 改回老名字 | | custom 包 fusion pass 不生效 | custom 打包不链 graph_plugin_obj → cust_proto 链入(ops-nn 同款),装完即用 | ## 5. 验证结论 - 旧 torchair(compact 构图)全用例通过,多卡精度通过——证明 V3/Extend 的 context 直驱通信正确、A5 MTE kernel 自同步完备(此前担心的 gen_task 缺失问题不成立) - 三种真实组合验证:必选集、x_active_mask、{tp_send_counts, x_active_mask, elastic_info, const_expert_alpha_1} 均正确转换(此前 pattern 版错接线的场景) ## 6. 遗留事项 1. 新 torchair(占位构图)回归一轮(理论更顺) 2. context 地址时效:Const 内嵌编译时刻设备地址,编译缓存(om)跨 HCCL 重建复用会失效——仅支持在线编译场景 3. 无 UT:建议补 tests/ut/op_graph 用例(映射表、属性重映射、回退路径) 4. canndev 侧为"D&C 共享、barrier 独立",本实现为三 pass 全共享(语义等价或更优,barrier 常单独跑不受影响) ## 7. 验证命令 bash bash build.sh --opgraph --soc=ascend950 -j16 nm -D -C build/libopgraph_transformer.so | grep -c "FusionPass" export ASCEND_GLOBAL_LOG_LEVEL=1 && export ASCEND_SLOG_PRINT_TO_STDOUT=1 # 图编译日志 grep:replace ... with MoeDistributeCombineV3/DistributeBarrierExtend success See merge request: cann/ops-transformer!8649 | 3 个月前 | |
fix(mc2): 修复MC2算子错误日志规范问题 Co-authored-by: hello_simida<wangyi206@huawei.com> # message auto-generated for no-merge-commit merge: !10297 merge fix/mc2-log into master fix(mc2): 修复MC2算子错误日志规范问题 Created-by: hello_simida Commit-by: hello_simida Merged-by: cann-robot Description: ## 描述 依据 CANN 日志规范评测报告,整改 MC2 系列算子的错误日志文案,共涉及 53 个文件: - 修复日志文案拼写错误(如 AlGaterMatmul、excute、Recieved、nulld、workspce 等) - 修复语法错误与格式串截断导致的占位符失效(如 moe_distribute_dispatch_v2_tiling.cpp 中多段字符串字面量拆分问题) - 移除日志中的内部敏感词 inner error - 中文日志文案改为英文(含全角冒号改半角) - 自定义打印(printf/std::cerr/std::cout)改为统一日志接口 - 删除冗余重复日志 ## 关联的Issue Fixes #4433 ## 测试 仅修改日志文案与格式串,未涉及算子计算逻辑变更。日志格式串修改已逐一核对占位符与实际参数匹配。 ## 文档更新 无 ## 类型标签 - [x] 🐛 Bug 修复 - [x] 🧹 代码清理 See merge request: cann/ops-transformer!10297 | 2 个月前 | |
950 megaMoe支持win区dump torch Co-authored-by: wangchenfeng6<wangchenfeng6@h-partners.com> # message auto-generated for no-merge-commit merge: !9974 merge master into master 950 megaMoe支持win区dump torch Created-by: wangchenfeng6 Commit-by: wangchenfeng6 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9974 | 2 个月前 | |
Batch moe ep combine token writes Co-authored-by: Shawn Lee<lixi8@huawei.com> Co-authored-by: Yuyu-Li<liyuyu6@huawei.com> # message auto-generated for no-merge-commit merge: !10118 merge moe_ep_combine_batch_writenbi into master Batch moe ep combine token writes Created-by: Yuyu-Li Commit-by: Yuyu-Li;Shawn Lee Merged-by: cann-robot Description: ## 描述 Batch moe ep combine token writes ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/4574 ## 测试 二级冒烟 ## 文档更新 NA ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!10118 | 2 个月前 | |
950 megaMoe支持win区dump torch Co-authored-by: wangchenfeng6<wangchenfeng6@h-partners.com> # message auto-generated for no-merge-commit merge: !9974 merge master into master 950 megaMoe支持win区dump torch Created-by: wangchenfeng6 Commit-by: wangchenfeng6 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!9974 | 2 个月前 | |
D&C + Barrier 图模式 FusionPass Co-authored-by: gitcode_lijd<lijiandong20@huawei.com> # message auto-generated for no-merge-commit merge: !8649 merge graph into master D&C + Barrier 图模式 FusionPass Created-by: gitcode_lijd Commit-by: gitcode_lijd Merged-by: cann-robot Description: # D&C + Barrier 图模式 FusionPass 改造总结 > 状态:旧 torchair 全用例通过、多卡精度通过 ## 1. 背景与目标 A5(Ascend 950)上,MC2 系列算子存在"新老两代"接口: | 老接口(图模式在用) | 新接口(目标) | 差异 | |---|---|---| | MoeDistributeDispatchV2 / CombineV2 | MoeDistributeDispatchV3 / CombineV3 | V3 头部新增 context 输入(Mc2MoeContext)+ ccl_buffer_size 属性,删除 group_ep/group_tp 字符串属性;kernel/tiling 完全复用 V2 | | DistributeBarrier | DistributeBarrierExtend | Extend 头部新增 context 输入,属性不变 | A5 单算子(aclnn)模式已闭环:V2 入口内部经 Mc2Aclnn::Mc2Context::GetMc2ContextTensor 建 context 后转调新接口。**GE 图模式**缺这条路径,本改造用 fusion pass 在图编译期把老节点 1:1 替换为新节点,并提前创建 context(Const 节点承载),与单算子 A5 路径对齐。 ## 2. 实现清单 | 文件 | 说明 | |---|---| | mc2/common/op_graph/mc2_moe_graph_context.{h,cpp} | Mc2MoeGraphContext:dlopen HCCL → 查 rank/channel/window buffer 地址(含 per-rank +1024 偏移)→ 填 Mc2MoeContext → 序列化 int32 数组(GetContextData,按 groupEp 缓存);CreateContextConstNode/FindContextConstNode(Const 名 mc2_moe_context_<groupEp>,唯一命名+建前查重) | | mc2/moe_distribute_combine_v2/op_graph/fusion_pass/ | combine V2→V3 pass | | mc2/moe_distribute_dispatch_v2/op_graph/fusion_pass/ | dispatch V2→V3 pass | | mc2/distribute_barrier/op_graph/fusion_pass/ | barrier→Extend pass | | mc2/common/CMakeLists.txt | context 源文件挂到 graph_plugin_transformer_obj | 三个 pass 同一骨架(graph_base): 1. Run():遍历 graph->GetDirectNode(),按类型过滤老节点(版本/平台/ccu/属性预检) 2. context:GetContextData(按 group 缓存)→ Find/Create Const(**三个 pass 按 group 共享同一个**) 3. 建新节点:OperatorFactory::CreateOperator → port 0 放 context → 输入 desc 按映射拷贝(老 port i → 新 port i+1)→ 属性按名拷贝(D&C 丢 group_ep/group_tp、加 ccl_buffer_size;barrier 原样) 4. 连边:有生产者才连边 → **控制边迁移到新节点** → **摘除老节点输出数据边+控制边** → RemoveNode → 输出边重连 ## 3. 关键技术决策 ### 3.1 为什么 graph_base 而不是 pattern 匹配 pattern 框架(PatternFusionPass)在此场景有三个致命不匹配: - matcher 只校验**连接边数**不校验槽位(pattern_matcher.cc:182),同边数不同槽位的变体会误匹配并**静默错接线**(实测复现:x_active_mask 被接进 scales 槽报 DT_BOOL、combine 四路错位) - 可选输入组合空间爆炸(combine 源码级 2^10≈1024 种) - dispatch 7 输出的边界声明问题 graph_base(FusionBasePass::Run + 手动换节点)对 1:1 替换天然适配:无组合枚举、无边界语义、无错接线可能。 ### 3.2 输入映射:按原型名解析(兼容新旧 torchair 构图) 新旧 torchair 对"可选输入为 None"的构图不同(新版空槽+无效 desc 占位、旧版 compact 不占位),且 GE 的 GetInputsSize() 返回的是**有效 desc 数**而非槽位数(语义坑,曾误判拦截正常图)。 终案:BuildPortMapping——以原型 IR 输入名列表为锚,GetInputIndexByName 解析每个槽位的**节点本地索引**(全槽位图返回 IR 位置、compact 图返回 compact 位置、缺失返回 -1),desc 拷贝与连边按本地索引操作,新节点落位恒为原型槽位+1。必选输入解析失败 → 安全回退(不融合但绝不错接)。 ### 3.3 控制边必须处理(防 IsolateNode 旁路拼环) graph.RemoveNode 内部调 IsolateNode,会把被删节点的输入生产者(含控制边来源)**旁路拼接**到输出消费者。MC2 节点带反向控制边时会拼出环(实测 total 11, itered 7, exist closed loop)。 对策(RemoveNode 之前):迁移控制边到新节点(AddControlEdge)→ 摘除老节点输出数据边(RemoveEdge)→ 摘除控制边(RemoveEdge(src,-1,dst,-1))→ 再 RemoveNode,无拼接对象。 ### 3.4 context Const:唯一命名 + 建前查重 曾因两个 pass 各自创建**同名** Const 导致 GE BFS 拓扑的 breadth_node_map(按节点名做 key)互相覆盖,误报假环。终案:Const 名 mc2_moe_context_<group> 唯一化 + 建前按名查重,dispatch/combine/barrier 三个 pass 同通信域共享同一个 Const。 ### 3.5 兼容性六层防护 1. 编译期 #if CANN_VERSION_NUM >= 90000000(老 CANN 头编空) 2. 运行时 stage 动态降级(aclsysGetVersionNum <9.0.0 → kBeforeInferShape,应对 kCompatibleInherited 老 GE 不存在) 3. 运行时执行空跑(Run() 版本早退) 4. A5 平台门(IsTargetPlatformNpuArch(NPUARCH_A5)) 5. HCCL 库 dlopen 失败降级(保持老节点) 6. HCCL 版本门 #if HCOMM_VERSION_NUM >= 89999700(老 HCCL 头文件下 context 类不存在时保持老节点,不编译炸) ### 3.6 注册名沿用老名字 GE 的 fusion pass 白名单(fusion_config.json,随内置包发布)里是 6 月老提交留下的名字(MoeDistributeCombineV2FusionPass/MoeDistributeDispatchV2FusionPass/DistributeBarrierFusionPass),pass 类名与之对齐才能过白名单;且同名注册先到先得,内置包优先。 ## 4. 踩坑记录(排查过程) | 现象 | 根因 | |---|---| | scales DT_BOOL、combine 输入四路错位 | pattern matcher 同边数误匹配变体 + 占位符顺序错接线 → 弃 pattern 转 graph_base | | node input size 9 != expected 18 误拦截正常图 | GetInputsSize() 语义是"有效 desc 数"非槽位数 → 改按名解析,不做形态判断 | | 融合后拓扑排序报环(第一次) | RemoveNode 触发 IsolateNode 旁路拼接控制边成环 → 控制边迁移+先摘边再删 | | 同样报环(第二次,detach 后仍现) | 两个 pass 创建同名 Const,BFS breadth_node_map 按名 key 覆盖 → 唯一命名+查重 | | pass 注册了但 Patterns() 不执行 | 白名单 fusion_config.json 只有老 pass 名 → 改回老名字 | | custom 包 fusion pass 不生效 | custom 打包不链 graph_plugin_obj → cust_proto 链入(ops-nn 同款),装完即用 | ## 5. 验证结论 - 旧 torchair(compact 构图)全用例通过,多卡精度通过——证明 V3/Extend 的 context 直驱通信正确、A5 MTE kernel 自同步完备(此前担心的 gen_task 缺失问题不成立) - 三种真实组合验证:必选集、x_active_mask、{tp_send_counts, x_active_mask, elastic_info, const_expert_alpha_1} 均正确转换(此前 pattern 版错接线的场景) ## 6. 遗留事项 1. 新 torchair(占位构图)回归一轮(理论更顺) 2. context 地址时效:Const 内嵌编译时刻设备地址,编译缓存(om)跨 HCCL 重建复用会失效——仅支持在线编译场景 3. 无 UT:建议补 tests/ut/op_graph 用例(映射表、属性重映射、回退路径) 4. canndev 侧为"D&C 共享、barrier 独立",本实现为三 pass 全共享(语义等价或更优,barrier 常单独跑不受影响) ## 7. 验证命令 bash bash build.sh --opgraph --soc=ascend950 -j16 nm -D -C build/libopgraph_transformer.so | grep -c "FusionPass" export ASCEND_GLOBAL_LOG_LEVEL=1 && export ASCEND_SLOG_PRINT_TO_STDOUT=1 # 图编译日志 grep:replace ... with MoeDistributeCombineV3/DistributeBarrierExtend success See merge request: cann/ops-transformer!8649 | 3 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 4 个月前 | ||
| 3 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 2 个月前 | ||
| 3 个月前 |