已合并
fix allreduce err #4672
hu-yiliang11创建于 8月18日
fix allreduce err #4672
已合并
hu-yiliang11创建于 8月18日
hu-yiliang11
8月18日

描述

A3超节点内双机开启HCCL_OP_EXPANSION_MODE=AIV,HCCL_INTER_HCCS_DISABLE=TRUE,执行卡死问题修复
不应该选择msehaiv的executor

变更类型

请选择本次引入的变更类型:

关联的Issue

https://gitcode.com/cann/hcomm/issues/770

测试

已完成的测试用例和场景:
1.
2.

补充的UT用例:

文档更新

合入检查

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 hu-yiliang11 的贡献)
Hhu-yiliang11
8月18日 创建了 pull request,commit dc9d307f
atomgit-bot
atomgit-bot
8月18日 评论:

变更摘要

本 PR 修复 A3 超节点内双机场景下,开启 HCCL_OP_EXPANSION_MODE=AIV 且 HCCL_INTER_HCCS_DISABLE=TRUE 时执行卡死的问题。核心改动是在 AllReduceOperator::SelectAlgfor91093 的算法选择条件中新增 !GetExternalInputInterHccsDisable() 判断:当节点间 HCCS 被禁用时,不再选择 msehaiv 的 executor,从而避免该配置组合下的执行卡死。

主要改动

  • 算法选择条件新增拦截判断:在 AllReduceOperator::SelectAlgfor91093 的 executor 选择条件末尾追加 && !GetExternalInputInterHccsDisable(),当 HCCL_INTER_HCCS_DISABLE=TRUE(节点间 HCCS 禁用)时不进入该分支。
  • 规避 msehaiv executor 误选:通过上述条件,在 HCCL_OP_EXPANSION_MODE=AIV 与 HCCL_INTER_HCCS_DISABLE=TRUE 同时开启的双机场景下,跳过 msehaiv 的 executor 选择路径,修复执行卡死问题。
likedislike
不准确?
atomgit-bot
atomgit-bot
8月18日 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
CANN-robotCANN-robot成员
8月18日 添加了label:cann-cla/yes
CANN-robot
CANN-robot成员
8月18日 评论:

CLA Signature Pass

gcw_NcEfY7mt, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
此处折叠了45条消息 查看更多
CANN-robot
CANN-robot成员
8月19日 评论:
流水线 PR-pipeline_cann_hcomm#18213 [ commitID:ef03a0f7 ] 已完成
likedislike
chenliang267
chenliang267成员
8月19日 评论:

/lgtm

likedislike
陈浩
陈浩成员
8月20日 评论:

/approve

likedislike
CANN-robotCANN-robot成员
8月20日 添加了label:lgtmapproved
CANN-robotCANN-robot成员
8月20日 合入了pull request