已合并
fix allreduce err #4672
hu-yiliang11创建于 8月18日
fix allreduce err #4672
已合并
Pull Request已成功合入, 合并人@CANN-robot
(感谢 hu-yiliang11 的贡献)8月18日 创建了 pull request,commit dc9d307f
atomgit-bot
8月18日 评论:
8月18日 评论:
变更摘要
本 PR 修复 A3 超节点内双机场景下,开启 HCCL_OP_EXPANSION_MODE=AIV 且 HCCL_INTER_HCCS_DISABLE=TRUE 时执行卡死的问题。核心改动是在 AllReduceOperator::SelectAlgfor91093 的算法选择条件中新增 !GetExternalInputInterHccsDisable() 判断:当节点间 HCCS 被禁用时,不再选择 msehaiv 的 executor,从而避免该配置组合下的执行卡死。
主要改动
- 算法选择条件新增拦截判断:在
AllReduceOperator::SelectAlgfor91093的 executor 选择条件末尾追加&& !GetExternalInputInterHccsDisable(),当HCCL_INTER_HCCS_DISABLE=TRUE(节点间 HCCS 禁用)时不进入该分支。 - 规避 msehaiv executor 误选:通过上述条件,在
HCCL_OP_EXPANSION_MODE=AIV与HCCL_INTER_HCCS_DISABLE=TRUE同时开启的双机场景下,跳过 msehaiv 的 executor 选择路径,修复执行卡死问题。


不准确?
atomgit-bot
8月18日 评论:
8月18日 评论:
8月18日 添加了label:cann-cla/yes
CANN-robot
8月18日 评论:
8月18日 评论:
此处折叠了45条消息 查看更多
CANN-robot
8月19日 评论:
8月19日 评论:
流水线 PR-pipeline_cann_hcomm#18213 [ commitID:ef03a0f7 ] 已完成


chenliang267
8月19日 评论:
8月19日 评论:
/lgtm


陈浩
8月20日 评论:
8月20日 评论:
/approve


8月20日 添加了label:lgtmapproved
8月20日 合入了pull request
描述
A3超节点内双机开启HCCL_OP_EXPANSION_MODE=AIV,HCCL_INTER_HCCS_DISABLE=TRUE,执行卡死问题修复
不应该选择msehaiv的executor
变更类型
请选择本次引入的变更类型:
关联的Issue
https://gitcode.com/cann/hcomm/issues/770
测试
已完成的测试用例和场景:
1.
2.
补充的UT用例:
文档更新
合入检查