已关闭
[Question|问题咨询]: `AllGather + MatMul` 是怎样做到通信未全部结束就开始计算的？ #71
ZengZihao创建于 4 天前关闭于 4 天前
Khalil3606
4 天前 评论：
4 天前 评论：
收到，已记录；稍后会在此补充分析结果。
Khalil3606
4 天前 评论：
4 天前 评论：
输入 A 按行和通信轮次切成多个区域，AIV 把某一轮数据收集到当前 stage 后通知 AIC。AIC 只计算已经就绪的行块，同时 AIV 可以继续准备下一 stage：
时间 1：AIV 收集块 0
时间 2：AIC 计算块 0，AIV 收集块 1
时间 3：AIC 计算块 1，AIV 收集块 2
最终效果仍等价于使用完整 A 做 MatMul，但不必等完整 AllGather 结束才启动所有计算。尾部不足一个通信块时，Kernel 通过 actual shape 处理剩余行。
4 天前 将 Khalil3606 设为负责人
4 天前 issue类型由 任务 改变为 咨询
4 天前 issue状态由 进行中 改变为 已解决
4 天前 关闭了 issue
感谢提出问题，我们将安排人答复！
Welcome to ask questions and discuss with other members.
问题描述 / Question Description (Mandatory / 必填)
AllGather + MatMul是怎样做到通信未全部结束就开始计算的？环境信息 / Environment (Optional / 选填)
已尝试的方法 / Attempts Made (Optional / 选填)