已关闭
[Bug-Report|缺陷反馈]: all_to_all_single算子在不同卡数场景下性能劣化严重 #152
WBiXin创建于  6月12日关闭于  7月6日
WBiXin
WBiXin
6月12日 创建

Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.

Describe the current behavior / 问题描述 (Mandatory / 必填)

客户编写脚本测试all_to_all_single算子性能,发现不同卡数场景下性能差距较大,部分测试结果如下所示:

rank数/数据量 1250M数据量通信耗时
16 9.68
32 10.0
48 97
64 10.27
96 106.3360
112 101.5465
128 10.3397
144 117.7753
160 10.3854
240 113.5704
256 12.7470

Environment / 环境信息 (Mandatory / 必填)

硬件型号:910C
CANN:8.5.1

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

测试脚本参考:
c77bedc96eaa4aadaa2b9ad123ba27d6.txt

Describe the expected behavior / 预期结果 (Mandatory / 必填)

不同卡数场景下性能不应有10倍的劣化

参考:

rank数/数据量 1250M数据量通信耗时
16 9.68
32 10.0
48 97
64 10.27
96 106.3360
112 101.5465
128 10.3397
144 117.7753
160 10.3854
240 113.5704
256 12.7470

Special notes for this issue/备注 (Optional / 选填)

likedislike
Leewis成员
6月12日 评论:

@weixin_51503402 您好,感谢对于社区的关注与反馈哈,当前issue所提问题已收到,目前已有相关同事分析确认,待确认后反馈问题情况。

likedislike
LLeewis成员
6月12日 issue类型由 任务 改变为 缺陷
LLeewis成员
6月12日 关联了看板:HCCL
陈浩
陈浩成员
6月18日 评论:

@weixin_51503402 您好,可以麻烦你您提供一下profiling吗?我们需要通过这个文件来分析一下性能情况;

likedislike
LLeewis成员
6月22日 将 chenhao_ 设为负责人
LLeewis成员
6月22日 添加了label:wait-feedback
WBiXin
WBiXin
6月23日 评论:

已反馈并提供profiling

likedislike
CANN-robotCANN-robot成员
6月23日 删除了label:wait-feedback
LLeewis成员
7月6日 issue状态由 待办的 改变为 已完成
LLeewis成员
7月6日 关闭了 issue
yangzhen92a
7月8日 评论:

咋回事,没解决就强行关闭了???

likedislike
LLeewis成员
20 天前 移除了看板:HCCL