Merged
perf(hccl): optimize parallel AllGather CCU data movement and scheduling #7357
perf(hccl): optimize parallel AllGather CCU data movement and scheduling #7357
Merged
xfou@hwAdd on 12 days ago
xfou@hw
xfou@hw
12 days ago

描述

优化 Parallel AllGather 的 CCU 数据搬运和发送等待编排,改善 Mesh/NHR 两路通信的执行效率。在已测的 8p/16p、单卡 1 - 8 MiB 场景中,优化版本的耗时已与 HCCL 接近。

优化内容

  • Parallel Mesh stage 0 使用 GroupCopy 搬运本 rank 数据;stage 1 保持 inplace,跳过本地拷贝。
  • Mesh 采用 HCCL 的首轮独立发射、后续循环展开、GroupCopy、批量等待顺序,unroll 从 1 调整为 4,允许多轮 Write 在等待前提交。
  • Parallel NHR 采用 HCCL 的 slice 外层、repeat 内层、逐片发送等待顺序,保持地址推进与完成事件对应。
  • 新增 Parallel 专用 RunParallelStep / RunParallelNhr,普通 NHR 保持原实现。

影响范围

  • 仅修改两个 AllGather kernel 源文件及 Mesh 内部头文件,不修改公共 GroupCopy、KFC Server、mission 数、阶段间同步协议或对外接口。
  • Mesh 的 unroll 常量由普通 Mesh 共用,因此普通 Mesh 的批量发射及 event 数量也会变化,原批处理逻辑保留。
  • Parallel Mesh 的 level-1 rank 数超过 4 时返回 CCU_E_PARA,避免超过展开容量后漏发。

关联的Issue

暂无独立 Issue。

测试

  • 8p、4×2、单卡 8 MiB:用户反馈 HCCL 对齐版本运行正常,耗时与 HCCL 不相上下;未提供精确耗时及原始记录,因此不列提升百分比。
  • 上述实测发生在 NHR 调用隔离之前。本 PR 隔离后保留 Parallel 编排,普通 RunStep / RunNhr 已与基线逐字核对一致;隔离版本尚未重新上机回归。
  • Mesh、NHR 两个修改后的翻译单元 HOST_COMPILE 编译通过,git diff --check 通过。
  • 完整补丁应用结果与 PR 提交一致。
  • 全量 ST、普通 Mesh 回归及资源容量验证尚未完成。

文档更新

1105 基线完整补丁及说明。

类型标签

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for xfou@hw's contribution.)
xfou@hwxfou@hw
12 days ago Created pull request, commit bfc1dafc
atomgit-bot
atomgit-bot
12 days ago Comments:

变更摘要

本 PR 对 HCCL 侧 Parallel AllGather 中 Mesh 与 NHR 两条路径的 CCU 调度顺序进行对齐与性能调整:为 Parallel Mesh 路径提供独立的展开式 Write/GroupCopy/Wait 编排,为 Parallel NHR 路径提供“slice 外层、repeat 内层、逐片等待”的执行顺序,并将 Mesh 展开常量由 1 提升至 4,同时对 Parallel Mesh 的 level-1 rank 规模增加预检查。普通 NHR 的 RunStep/RunNhr 与公共 GroupCopy、阶段间同步协议、对外接口均保持不变。

主要改动

  • 新增 Parallel Mesh 专用调度: 在 ccu_kernel_kfc_all_gather_mesh1d_mem2mem.cc 中新增 DoParallelAllGatherGroupCopy 与 DoParallelRepeatAllGather,按“首轮 Write、后续展开 Write、CCU_WHILE 包裹的 GroupCopy、批量 WaitEvent”三阶段编排,并在 stage 0 本地拷贝一次、inplace 场景跳过本地拷贝。
  • Parallel Mesh 调用点切换: 两个 stage(part0Size、part1Size 非零时)的执行入口由 DoRepeatAllGather(ctx, false) 改为 DoParallelRepeatAllGather(ctx)。
  • Mesh 展开常量调整: AG_M2M_UNROLL_NUM 由 1 改为 4,使每批次最多展开 4 次 Write/LocalCopy/Wait 流水;该常量与普通 Mesh 共用,会同时影响普通 Mesh 的批量发射与 event 资源数量。
  • Parallel Mesh 参数校验: CcuKfcParallelAllGatherMesh1DMem2MemKernel 入口新增检查,当 rankSizeLevel1 超过 AG_M2M_UNROLL_NUM 时打印 HCCL_ERROR 并返回 CcuResult::CCU_E_PARA,避免展开容量不足导致漏发。
  • 新增 Parallel NHR 专用执行流程: 在 ccu_kernel_kfc_all_gather_nhr1d_multi_jetty_mem2mem.cc 中新增 RunParallelStep / RunParallelNhr,按 slice 外层、repeat 内层并在每片后等待的顺序执行,最后复用 bit0 完成本地 GroupCopy 的 event 记录与等待;Parallel NHR 两个阶段的调用由 RunNhr(ctx) 改为 RunParallelNhr(ctx),普通 NHR 路径不受影响。
likedislike
Incorrect?
atomgit-bot
atomgit-bot
12 days ago Comments:

代码审查

审查结论

变更文件逐一确认

  1. impl/adv_api/detail/hccl/cc/src/ops/all_gather/template/ccu/kernel/ccu_kernel_kfc_all_gather_mesh1d_mem2mem.cc —— 已审查(新增 DoParallelAllGatherGroupCopy / DoParallelRepeatAllGather、新增 level-1 上限早退、两处调用点替换),发现 2 个问题(P2×1、P3×1)。
  2. impl/adv_api/detail/hccl/cc/src/ops/all_gather/template/ccu/kernel/ccu_kernel_kfc_all_gather_mesh1d_mem2mem.h —— 已审查(AG_M2M_UNROLL_NUM 1→4,并追踪到普通 Mesh 内核的共用点),发现 1 个问题(P3)。
  3. impl/adv_api/detail/hccl/cc/src/ops/all_gather/template/ccu/kernel/ccu_kernel_kfc_all_gather_nhr1d_multi_jetty_mem2mem.cc —— 已审查(新增 RunParallelStep / RunParallelNhr,与 RunStep/RunNhr 逐行对比,含事件位预算、repeatFlag 语义、地址递推、两阶段 isInputOutputEqual 门控),发现 1 个问题(P2)。

已核对未报告的项

  • 并行 Mesh 的批内地址递推(src/dst 各 unroll 递增)、waitRepeatNum/tmpRepeatNum 成对推进、event 索引上限(unrollIdx*eventNumPerIter + rankIdx/16 始终 < 4*eventNumPerIter)与 repeat 跨度一致,未发现越界或漏等。
  • 并行 NHR 的 sliceIdx == ctx.rankId 源地址选择、outputSliceOffset/myRankInputSliceOffset 计算、WriteSlice 的 (1<<jettyNum)-1 等待掩码与 jettyNum<=16 校验一致,未发现数据错位。
  • 两阶段同步协议(meshPhaseDoneAddr / nhrPhaseDoneAddr、PreSync/PostSync)未被本 diff 改动。

统计与总体判断

  • P0:0;P1:0;P2:2;P3:2。
  • 总体风险:中等。算法主体(slice/repeat 顺序、地址递推、事件复用)与修改前等价,但有两处需要介入点:并行 Mesh 用“kernel 内早退 + 调用方丢弃返回值”来实现容量上限,会把原本能跑的大 level-1 配置变成静默挂死(需上移到 host 侧校验或恢复外层批处理);并行 NHR 丢掉已有的步内流水,与本 PR 的性能目标方向相反,且 PR 自述该分叉后版本尚未上机,建议在合入前补齐普通 Mesh 回归与并行 NHR 的耗时对比。
类型 数量
🔴 阻塞 0
🟡 建议 2

💬 仅评论

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
12 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
12 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-cann/asc-devkit ✅ jiangxinyu3, 苏建加 (2/2) ✅ jiangxinyu3 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

xfouhw, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robotCollaborators
12 days ago Set zengjuan,zhanghao_0689,suqwe,wulinyu,kong0808,dengjing_aoe,YeZZzzz1,yangbinhua,zhudi22,chenyiyuan,xun_zhuge,XuebinYang,sjtulxh,bianque,houyuyang,Lycheeeee,YANXI_ZHAO,chentianyu19,shi_nanxiang,wuyang_hw,jiangxinyu3,ascendhjh,hujiawen_kaven,wangxiaozhi,DragonBornHD84,louyuxuan,hyolee,chenma,yukangchen as approver
CANN-robotCANN-robotCollaborators
12 days ago Set zengjuan,zhanghao_0689,suqwe,wulinyu,kong0808,dengjing_aoe,YeZZzzz1,yangbinhua,zhudi22,chenyiyuan,xun_zhuge,XuebinYang,sjtulxh,bianque,houyuyang,Lycheeeee,YANXI_ZHAO,chentianyu19,shi_nanxiang,wuyang_hw,jiangxinyu3,ascendhjh,hujiawen_kaven,wangxiaozhi,DragonBornHD84,louyuxuan,hyolee,chenma,yukangchen as approver
atomgit-bot
atomgit-bot12 days agoStart code review2
impl/adv_api/detail/hccl/cc/src/ops/all_gather/template/ccu/kernel/ccu_kernel_kfc_all_gather_nhr1d_multi_jetty_mem2mem.cc
@@ -281,0 +318,4 @@
318+ CCU_CHK_RET(WriteSlice(ctx, stepInfo.toRank, src, dst));
319+ ctx.repeatFlag = 1U;
320+ }
321+ }
atomgit-bot
atomgit-bot12 days agoComments:

🟡 Medium Priority

变更点:新增的 RunParallelStep(第 293-321 行)固定采用"slice 外层、repeat 内层、每片每轮都 WriteSlice 并在片内等待"的串行结构;并行 kernel 的 491/505 行把原本调用的 RunNhr(内部走 RunStep 的步内流水分支)替换为 RunParallelNhr → RunParallelStep。

证据链:

  1. RunStep(第 157-193 行)在同文件里已实现步内流水:sliceNum * jettyNum <= NHR_MJ_EVENT_BIT_BUDGET(16) 时,一轮 repeat 内先发射全部 slice(各占独立事件位),轮末只做一次 ccu::EventWait(ctx.event, waitMask);注释也写明"消除'发一个等一个'的完成等待空转间隙"。
  2. RunParallelStep 无条件走 WriteSlice(第 134-139 行),即 IssueSlice 后立即 EventWait((1<<jettyNum)-1),既不再使用 NHR_MJ_EVENT_BIT_BUDGET 分流,也不做步末批量等待。

失败模式(性能回归,非数据错误):每个 NHR step 的等待次数从"repeat 轮数"放大为"slice 数 × repeat 轮数"。NHR AllGather 中每个 step 的 txSliceIdxs 随 step 递增(累计片数可达数片),并行多 jetty 场景下每片的往返完成延迟无法被后续片的发射掩盖,正是本 PR(perf 目标)要消除的空转;对 level-1 卡数较大、slice 数较多的场景,并行 NHR 阶段耗时可能比修改前的 RunNhr 更差。PR 描述的"性能与 HCCL 不相上下"是在 NHR 分叉之前的版本上验证的,分叉后的顺序尚未上机。

建议:让 RunParallelStep 保留 RunStep 的步内流水(slice 内层 + 轮末一次 EventWait,事件位按 sliceSeq*jettyNum 展开),只在超出 16 位事件预算时回退为逐片 WriteSlice;避免并行路径丢失已有的批量等待优化。

likedislike
Incorrect?
xfou@hw
xfou@hw
12 days ago Comments:

“分叉后版本尚未上机”的前提已经过时:测试方已明确确认,包含 RunParallelStep / RunParallelNhr 隔离的完整补丁也已验证正常。早先 PR 描述中的测试状态没有及时反映这条后续反馈。

另外,分叉不是新引入一套调度:已将最初实测版本的 RunStep/RunNhr 与当前 PR 的 RunParallelStep/RunParallelNhr 做逐函数比较,除函数名及对应调用名外,函数体完全一致,两个 Parallel stage 的调用也已核对。分叉只是恢复普通 NHR 的原逻辑,同时让 Parallel 保留已验证的 HCCL 编排。

该逐片等待顺序直接对应 HCCL 的 NHR MultiJetty 实现。本次是在整体编排、链路竞争和 GroupCopy 行为上做性能对齐,不能仅凭静态 EventWait 数量增加就认定端到端性能必然回退。测试方此前已确认对齐版本耗时与 HCCL 接近;实际收益归因还不能拆成单项,但同样没有证据支持立即恢复旧流水。

likedislike
atomgit-bot
atomgit-bot12 days agoStart code review2
impl/adv_api/detail/hccl/cc/src/ops/all_gather/template/ccu/kernel/ccu_kernel_kfc_all_gather_mesh1d_mem2mem.cc
@@ -327,0 +391,4 @@
391+ if (rankSizeLevel1 > AG_M2M_UNROLL_NUM) {
392+ HCCL_ERROR("Parallel Mesh level-1 size[%u] exceeds unroll[%u]", rankSizeLevel1, AG_M2M_UNROLL_NUM);
393+ return CcuResult::CCU_E_PARA;
394+ }
atomgit-bot
atomgit-bot12 days agoComments:

🟡 Medium Priority

变更点:ccu_kernel_kfc_all_gather_mesh1d_mem2mem.cc:391-393 新增 if (rankSizeLevel1 > AG_M2M_UNROLL_NUM) { HCCL_ERROR(...); return CcuResult::CCU_E_PARA; },同时 430/447 行把原来的 DoRepeatAllGather(含外层 CCU_WHILE 批处理,可支持任意 repeat 数)换成不含外层循环的 DoParallelRepeatAllGather(最多只会发射 AG_M2M_UNROLL_NUM=4 次 repeat)。

证据链:

  1. 并行 Mesh 第二阶段的 repeat 次数来自 phase1RepeatNumInv = UINT64_MAX - rankSizeLevel1(第 420 行),即 repeat 数 == rankSizeLevel1;DoParallelRepeatAllGather 只有 for (i = 0; i < AG_M2M_UNROLL_NUM; ++i) 的展开,没有外层 while,因此 repeat > 4 时会漏发(这正是新守卫想拦的条件)。
  2. 但唯一的构建期调用点 impl/adv_api/detail/hccl/cc/src/ops/kfc_server/template/ccu/kernel/ccu_kernel_kfc_server.cc:245 直接调用 CcuKfcParallelAllGatherMesh1DMem2MemKernel(...) 且完全丢弃返回值(没有 CCU_CHK_RET/判错),所以新增的 CCU_E_PARA 不会传播成 HCCL_E_PARA,也不会触发算法回退。
  3. 早退位置在任何指令发射之前,函数尾部(第 434 行)的 ccu::Store(meshPhaseDoneAddr, one) 以及 PreSync/PostSync/所有 Write/GroupCopy 都不会被发射。

失败模式:当选中 CcuSchedAllGatherParallelMeshNHRMultiLink(UBX + MESH_1D_CLOS 单层拓扑)且 level-1 卡数 > 4(例如 mesh 2 × clos 8 之类的矩形配置)时,Mesh mission 的 CCU 程序为空,不写 meshPhaseDoneAddr;NHR mission 在 nhr kernel 第 497 行 CCU_WHILE(meshDone != 1U) 处无限空转,同时全局输出缺少 Mesh 阶段写回的数据 → 表现为通信挂死/超时或结果错误,而不是一个可诊断的参数错误。相对修改前(DoRepeatAllGather 的外层 WHILE 支持任意 repeat 数)这是功能回归,且新增上限没有任何测试覆盖。

建议:把容量校验上移到 host 侧并让并行算法返回 HCCL_E_PARA 以便回退(或恢复 DoParallelRepeatAllGather 外层 CCU_WHILE 以支持任意 repeat 数);若保留早退,必须让 ccu_kernel_kfc_server.cc 的调用点检查返回值,避免 mesh 程序残缺后 NHR 阶段死等 meshPhaseDoneAddr。

likedislike
Incorrect?
xfou@hw
xfou@hw
12 days ago Comments:

本次优化目标已由测试方明确:UBX 16p 机型,16p 使用 4×4 拓扑,8p 使用 4×2 拓扑。因此 rankSizeLevel1 分别是 4、2,均不会触发新增的 >4 早退。这里限制的是 level-1 子域规模,不是总 rank 数;16p 不等于需要展开 16 个 repeat。

算法注册也限定了 UBX(TopoMatchUBX / FLAG_UBX)。意见列出的 2×8 等配置并非本次确认的目标拓扑,不能用该假设推断已验证的 4×2、4×4 路径会缺失 Mesh 程序或挂死。当前两种拓扑的 repeat 均被 unroll=4 完整覆盖。

关于代码层面的边界需要说清楚:若将来允许 level-1>4,当前 dispatch 丢弃返回值的风险确实应处理;本回复不否认该条件下的问题,也不把“总卡数<=16”当成“level-1<=4”的通用证明。本次依据是已确认的目标 UBX 拓扑。请区分目标场景的正确性和扩展拓扑的支持问题,本次不再为未覆盖拓扑改变已验证的 CCU 编排。

likedislike
xfou@hwxfou@hw
12 days ago Change title to "perf(hccl): optimize parallel AllGather CCU data movement and scheduling", originally titled "perf(hccl): align parallel AllGather CCU scheduling with HCCL".
xfou@hwxfou@hw
12 days ago Modify description of pull request
xfou@hw
xfou@hw
12 days ago Comments:

/compile

likedislike
xfou@hwxfou@hw
12 days ago Pre merge succeeded (commit_id: b898d10c591f75ee017c4f5bcae59b40855d32a3)
CANN-robot
CANN-robotCollaborators
12 days ago Comments:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robotCollaborators
12 days ago Added label: ci-pipeline-running
xfou@hwxfou@hw
12 days ago Modify description of pull request
CANN-robotCANN-robotCollaborators
12 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
12 days ago Added label: ci-pipeline-passed
izanaami
izanaamiCollaborators
12 days ago Comments:

/lgtm
/approve

likedislike
CANN-robotCANN-robotCollaborators
12 days ago Added label: approved
suqwe
suqweCollaborators
12 days ago Comments:

/lgtm

likedislike
CANN-robotCANN-robotCollaborators
12 days ago Added label: lgtm
CANN-robot
CANN-robotCollaborators
12 days ago Comments:

The MR can not be merged, because of CodeReview discussion not resolved

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike
xfou@hw
xfou@hw
12 days ago Comments:

针对两条代码行检视意见补充说明,请结合本次目标机型、实际拓扑及最新验证结果重新判断。

1. Mesh level-1 > 4 的意见(mesh1d_mem2mem.cc:394,评论 199689595)

本次优化目标已由测试方明确:UBX 16p 机型,16p 使用 4×4 拓扑,8p 使用 4×2 拓扑。因此 rankSizeLevel1 分别是 4、2,均不会触发新增的 >4 早退。这里限制的是 level-1 子域规模,不是总 rank 数;16p 不等于需要展开 16 个 repeat。

算法注册也限定了 UBX(TopoMatchUBX / FLAG_UBX)。意见列出的 2×8 等配置并非本次确认的目标拓扑,不能用该假设推断已验证的 4×2、4×4 路径会缺失 Mesh 程序或挂死。当前两种拓扑的 repeat 均被 unroll=4 完整覆盖。

关于代码层面的边界需要说清楚:若将来允许 level-1>4,当前 dispatch 丢弃返回值的风险确实应处理;本回复不否认该条件下的问题,也不把“总卡数<=16”当成“level-1<=4”的通用证明。本次依据是已确认的目标 UBX 拓扑。请区分目标场景的正确性和扩展拓扑的支持问题,本次不再为未覆盖拓扑改变已验证的 CCU 编排。

2. NHR 逐片等待的意见(nhr1d_multi_jetty_mem2mem.cc:321,评论 199689597)

“分叉后版本尚未上机”的前提已经过时:测试方已明确确认,包含 RunParallelStep / RunParallelNhr 隔离的完整补丁也已验证正常。早先 PR 描述中的测试状态没有及时反映这条后续反馈。

另外,分叉不是新引入一套调度:已将最初实测版本的 RunStep/RunNhr 与当前 PR 的 RunParallelStep/RunParallelNhr 做逐函数比较,除函数名及对应调用名外,函数体完全一致,两个 Parallel stage 的调用也已核对。分叉只是恢复普通 NHR 的原逻辑,同时让 Parallel 保留已验证的 HCCL 编排。

该逐片等待顺序直接对应 HCCL 的 NHR MultiJetty 实现。本次是在整体编排、链路竞争和 GroupCopy 行为上做性能对齐,不能仅凭静态 EventWait 数量增加就认定端到端性能必然回退。测试方此前已确认对齐版本耗时与 HCCL 接近;实际收益归因还不能拆成单项,但同样没有证据支持立即恢复旧流水。

尤其需要区分:目前反馈的 1105→1110、16p 性能变化,两侧应用的是同一补丁;上述 NHR 编排在两侧相同,不能拿它直接解释版本间差异。

因此,本次不采纳把 Parallel 改回旧流水的建议,保留 HCCL 对齐且已上机验证的执行顺序;普通 NHR 的 RunStep/RunNhr 保持基线原样。请据此重新评估这条性能回归判断。

likedislike
izanaamiizanaamiCollaborators
12 days ago Resolved final issue
CANN-robotCANN-robotCollaborators
12 days ago Merged pull request