Pull Request has been successfully merged by CANN-robot.
(Thank you for zzzzx9's contribution.)变更摘要
本 PR 将 CcuHalfAll2AllVMesh1D 算法迁移到 CCU 路径,为 HCCL_CMD_HALF_ALLTOALLV(MC2 变长 AllToAll)新增执行器、KFC 模板与设备侧 kernel,并打通 host 侧参数准备、算法注册与 KFC Server 转发链路。变长分片的大小/偏移由 AIC 运行时写入设备内存的 varData 变长区,host 侧不再解引用相关指针,因此单独实现了执行器与 kernel;同时引入本端 window 基址 localWinAddr 的建图期传递,以及面向双 mission 并发的预备开关与 mission 参数。
主要改动
-
新增专用执行器与模板: 新增
InsV2HalfAlltoAllVSoleExecutor及其头文件,Orchestrate中校验varMemSize == ALL_TO_ALL_V_VECTOR_NUM * rankSize * sizeof(u64)、send/recv 数据类型一致,并以perRankCapacity = inputSize / rankSize对齐到HCCL_MIN_SLICE_ALIGN作为 slice 参数上界后单次调用KernelRun;新增CcuTempKfcHalfAlltoAllVMesh1D模板,CalcRes中固定ccuKernelNum为 1,并通过HcclGetHcclBuffer取cclBuffer填充kernelInfo.localWinAddr。 -
新增设备侧 kernel: 新增
ccu_kernel_kfc_half_alltoallv_mesh1d.cc/.h,实现CcuKfcHalfAlltoAllVMesh1DKernel,包含InitResource、LoadArgsFromMem(用ccu::Load批量读入 2*rankSize 数组)、PreSync(广播本端peerBuffer与token)、DoHalfAlltoAllVWrite/Wait、PostSync,并按missionNum/missionIndex支持单/双 mission 分支与空分片curCount == 0的处理。 -
接入 CCU 参数准备与能力判断: 新增
PrepareParamForHalfAlltoAllV并注册到opParamPrepareFuncMap,param.varMemSize设为ALL_TO_ALL_V_VECTOR_NUM * rankSize * sizeof(u64),all2AllVDataDes的四个 count/displs 指针置空;IsCcuKfcSupportedOp增加HCCL_CMD_HALF_ALLTOALLV,GetMc2OpTypeName返回AllToAllvWrite。 -
算法注册与 KFC Server 适配:
hccl_alloc_ctx_res.h的algorithmMap与hccl_tiling.cpp的REGISTERED_CCU_ALGORITHMS均新增CcuHalfAll2AllVMesh1D;CcuTempKfcServer与InheritKfcServerKernelArg识别CcuKernelHalfAlltoAllVMesh1D,新增localWinAddr字段继承,DispatchKfcSubKernel增加HCCL_CMD_HALF_ALLTOALLV分支转发missionNum/missionIndex。 -
双 mission 预备与 slave 循环调整:
alg_param.h新增ENABLE_DUAL_MISSION_CONCURRENT与KFC_SERVER_MISSION_NUM;ccu_kernel_kfc_server.cc的MissionPreSync/MissionPostSync改为返回CcuResult并加入双 mission 栅障同步逻辑,SlaveKfcServerGenCircularQueue调整为先加载参数、仅在非哨兵轮次进入 barrier,并增加paramAddr/queueIdx的 wraparound。 -
测试补充: 在
test_hccl_tiling.cpp中新增HalfAlltoAllVCcuMsUsesCcuNewVersion与HalfAlltoAllVCcuSchedUsesCcuNewVersion两个用例,验证HCCL_CMD_HALF_ALLTOALLV与CcuHalfAll2AllVMesh1D在 5U/6U 场景下走 CCU 新版本 tiling。


/lgtm


描述
ccuHalfAllToAllVMesh1D算法迁移
关联的Issue
测试
文档更新
类型标签