Merged
ccuHalfAllToAllVMesh1D Algorithm migration #6844
ccuHalfAllToAllVMesh1D Algorithm migration #6844
Merged
zzzzx9Add on Oct 20
zzzzx9
zzzzx9Collaborators
Oct 20

描述

ccuHalfAllToAllVMesh1D算法迁移

关联的Issue

测试

文档更新

类型标签

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for zzzzx9's contribution.)
zzzzx9zzzzx9Collaborators
Oct 20 Created pull request, commit b7325479
atomgit-bot
atomgit-bot
Oct 20 Comments:

变更摘要

本 PR 将 CcuHalfAll2AllVMesh1D 算法迁移到 CCU 路径,为 HCCL_CMD_HALF_ALLTOALLV(MC2 变长 AllToAll)新增执行器、KFC 模板与设备侧 kernel,并打通 host 侧参数准备、算法注册与 KFC Server 转发链路。变长分片的大小/偏移由 AIC 运行时写入设备内存的 varData 变长区,host 侧不再解引用相关指针,因此单独实现了执行器与 kernel;同时引入本端 window 基址 localWinAddr 的建图期传递,以及面向双 mission 并发的预备开关与 mission 参数。

主要改动

  • 新增专用执行器与模板: 新增 InsV2HalfAlltoAllVSoleExecutor 及其头文件,Orchestrate 中校验 varMemSize == ALL_TO_ALL_V_VECTOR_NUM * rankSize * sizeof(u64)、send/recv 数据类型一致,并以 perRankCapacity = inputSize / rankSize 对齐到 HCCL_MIN_SLICE_ALIGN 作为 slice 参数上界后单次调用 KernelRun;新增 CcuTempKfcHalfAlltoAllVMesh1D 模板,CalcRes 中固定 ccuKernelNum 为 1,并通过 HcclGetHcclBuffer 取 cclBuffer 填充 kernelInfo.localWinAddr。

  • 新增设备侧 kernel: 新增 ccu_kernel_kfc_half_alltoallv_mesh1d.cc/.h,实现 CcuKfcHalfAlltoAllVMesh1DKernel,包含 InitResource、LoadArgsFromMem(用 ccu::Load 批量读入 2*rankSize 数组)、PreSync(广播本端 peerBuffer 与 token)、DoHalfAlltoAllVWrite/Wait、PostSync,并按 missionNum/missionIndex 支持单/双 mission 分支与空分片 curCount == 0 的处理。

  • 接入 CCU 参数准备与能力判断: 新增 PrepareParamForHalfAlltoAllV 并注册到 opParamPrepareFuncMap,param.varMemSize 设为 ALL_TO_ALL_V_VECTOR_NUM * rankSize * sizeof(u64),all2AllVDataDes 的四个 count/displs 指针置空;IsCcuKfcSupportedOp 增加 HCCL_CMD_HALF_ALLTOALLV,GetMc2OpTypeName 返回 AllToAllvWrite。

  • 算法注册与 KFC Server 适配: hccl_alloc_ctx_res.h 的 algorithmMap 与 hccl_tiling.cpp 的 REGISTERED_CCU_ALGORITHMS 均新增 CcuHalfAll2AllVMesh1D;CcuTempKfcServer 与 InheritKfcServerKernelArg 识别 CcuKernelHalfAlltoAllVMesh1D,新增 localWinAddr 字段继承,DispatchKfcSubKernel 增加 HCCL_CMD_HALF_ALLTOALLV 分支转发 missionNum/missionIndex。

  • 双 mission 预备与 slave 循环调整: alg_param.h 新增 ENABLE_DUAL_MISSION_CONCURRENT 与 KFC_SERVER_MISSION_NUM;ccu_kernel_kfc_server.cc 的 MissionPreSync/MissionPostSync 改为返回 CcuResult 并加入双 mission 栅障同步逻辑,SlaveKfcServerGenCircularQueue 调整为先加载参数、仅在非哨兵轮次进入 barrier,并增加 paramAddr/queueIdx 的 wraparound。

  • 测试补充: 在 test_hccl_tiling.cpp 中新增 HalfAlltoAllVCcuMsUsesCcuNewVersion 与 HalfAlltoAllVCcuSchedUsesCcuNewVersion 两个用例,验证 HCCL_CMD_HALF_ALLTOALLV 与 CcuHalfAll2AllVMesh1D 在 5U/6U 场景下走 CCU 新版本 tiling。

likedislike
Incorrect?
atomgit-bot
atomgit-bot
Oct 20 Comments:

代码审查

✅ 未发现问题

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
Oct 20 Added label: stat/needs-squash
CANN-robotCANN-robotCollaborators
Oct 20 Added label: cann-cla/yes
188 messages are collapsed here。 See more
CANN-robotCANN-robotCollaborators
20 days ago Added label: approved
zzzzx9zzzzx9Collaborators
20 days ago Modify description of pull request
kong0808
kong0808Collaborators
20 days ago Comments:

/lgtm

likedislike
CANN-robotCANN-robotCollaborators
20 days ago Added label: lgtm
CANN-robotCANN-robotCollaborators
20 days ago Merged pull request