Closed
[Requirement|需求建议]: Dispatch &Combine提交ROCE跨机代码 #6856
zzg_codeAdd on 18 days agoClosed at 17 days ago
18 days ago Added label: requirement
18 days ago Assign zzg_code as responsible person
周云飞
18 days ago Comments:
18 days ago Comments:
感谢提出 Dispatch & Combine 支持 RoCE 跨机通信的需求。该需求涉及跨机数据分发与结果合并,目前提供的信息还不足以确定具体算子范围及通信接口,也不能据此判断现有实现是否已覆盖目标场景。
一个可行的方向是,在明确目标算子后,为 Dispatch 和 Combine 配套设计跨机通信路径,保证两端的数据布局、通信完成通知和结果合并顺序一致,同时保留现有调用方式的兼容性。是否需要新增接口或独立实现,还需要结合通信依赖和目标硬件评估,暂不预设必须另起一套代码。
为明确实现范围,请补充具体的 Dispatch/Combine 算子名称或接口、目标芯片与 CANN 版本,以及预期的跨机规模和网络配置。这些信息有助于区分现有能力适配与新增通信路径两类工作,并进一步评估实现成本及兼容性影响。


17 days ago Close issue
17 days ago Added label: resolved
周云飞
4 days ago Comments:
4 days ago Comments:
PR #14671 已合入,提交了 A5 多机 MoE 场景下 Dispatch 和 Combine 的 RoCE 跨机通信实现,可通过 comm_alg="hierarchy" 选择机内 UB_MEM、机间 RoCE 的分层通信路径。
相关改动还包括扩展通信 Context、调整 Combine 辅助信息布局及 Host 校验,并新增 Combine V6 接口传入 enable_pre_reduce;旧接口保持默认开启预聚合。
静态检视指出,二维 mask 与共享专家组合时仍可能存在 token 有效性判定不一致的问题,需进一步处理。
关联 PR:PR #14671


Backgroud(背景信息)
目前dispatch & combine需要支持roce通信,针对新的需求开发新的代码。
Benefit / Necessity (价值/作用)
无
Design(设计方案)
无