| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
提交dispatch & combiene UBX机型适配代码 Co-authored-by: zzg_code<zengzhiguo1@huawei.com> Co-authored-by: rabbit_ZAR<zhouaoran@huawei.com> # message auto-generated for no-merge-commit merge: !14671 merge ubx_roce into master ubx_roce Created-by: zzg_code Commit-by: zzg_code;rabbit_ZAR Merged-by: cann-robot Description: ## 描述 为满足 A5 多机 MoE 场景下 Dispatch 与 Combine 的 RoCE 通信需求, 新增机内 UB_MEM、机间 RoCE 的分层通信路径,通过 comm_alg="hierarchy" 选择相应实现。 主要改动: 1. 扩展通信 Context,增加 RoCE 注册窗口、跨机通道及拓扑信息管理, 向 kernel 传递机内窗口、机间窗口、通信句柄和每机 rank 数。 2. 新增 A5 RoCE Dispatch/Combine 内核,并接入 V3 算子入口: - Dispatch 完成路由统计、跨机 token 发送和机内专家分发。 - Combine 完成专家结果收集、跨机回传和最终结果合并。 - 配套调整 assistInfoForCombine 布局及两端的数据解析。 3. 新增 Combine 的 enable_pre_reduce 控制: - true:先在机内聚合,再跨机发送。 - false:保留各路由结果,回传后按路由合并。 新增 aclnnMoeDistributeCombineV6 接口显式传入该参数; 旧接口保持默认 true,false 限用于 A5 hierarchy 路径。 4. 补充 Host tiling 校验,包括多机拓扑、通信窗口容量、UB 占用、 assistInfoForCombine 长度及可选输入约束,并同步调整 tiling key、 算子属性定义、二进制配置和 Python/C++ 调用封装。 5. 新增 RoCE Host tiling UT,覆盖正常配置、非法拓扑、单机拒绝、 窗口不足、辅助信息长度不足,以及预聚合模式下的权重输入约束。 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/6856 ## 测试 已对本次 A5 Dispatch/Combine 跨机 RoCE 修改进行静态检视,主要意见如下: 1. 二维 mask 与共享专家组合存在语义问题。某个 token 对应的 K 个 mask 全为 false 时,Dispatch 仍可能将其计入共享专家发送计数和位图,Combine 也会将共享专家槽位纳入接收计划,与接口约定的“该 token 不参与通信”不一致。建议统一两端的 token 有效性判定,并补充对应回归用例。 2. 通信路径选择已贯通。A5 下通过 comm_alg="hierarchy" 选择 RoCE,op_api 获取通信 Context 和每机 rank 数,Host tiling 校验后生成对应 tiling key,V3 kernel 入口分派至新增 RoCE 实现。 3. Context 与 kernel 的地址、句柄索引保持一致。机内 UB_MEM 窗口与机间 RoCE 窗口分别管理,跨机通道按跳过本 server 的顺序组织,Dispatch 与 Combine 使用相同的索引规则访问对端资源。 4. Dispatch 与 Combine 的辅助信息布局同步调整。Host 容量校验、Python 输出分配和 kernel 解析均适配新的路由记录及计数、位图信息;新增 UT 包含辅助信息长度不足的拒绝场景。 5. 预聚合开关已完成接口传递。新增 V6 接口显式接收 enable_pre_reduce,旧接口保持默认 true;false 限用于 A5 hierarchy 路径。Host 对预聚合模式下需要的 expand_scales 检查存在性、类型和长度。 6. Host 校验覆盖多机拓扑、通信窗口容量、UB 占用、共享专家部署及不支持的可选输入。Python/C++ 封装参数顺序、算子属性索引和新增 tiling key 注册在已检查路径中一致。 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他,请描述: See merge request: cann/ops-transformer!14671 | 18 天前 |