已开启
build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径 #229
hedongdong创建于 6月17日
6月17日 添加了label:bug
Hhedongdong
6月17日 关联了pull request:fix: 修复 build #158 门禁失败用例 — FSDP+EP loss、MRS output_m 顺序、worker 路径、shmem 打包
6月17日 关联了pull request:fix: 修复 build #158 门禁失败用例 — FSDP+EP loss、MRS output_m 顺序、worker 路径、shmem 打包
Hhedongdong
6月17日 修改标题为 “build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径”,原标题为“build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径、shmem 打包缺失”
6月17日 修改标题为 “build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径”,原标题为“build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径、shmem 打包缺失”
6月17日 修改了issue 的描述
该问题是怎么引起的?
Jenkins build #158 门禁失败,涉及 3 类问题:
FSDP+EP 训练 loss 放大(Torch)— EP AlltoAll 的 token 重复放大 + fully_shard 对 DTensor 参数的 SUM reduce-op 导致 loss 不匹配。
MatmulReduceScatter output_m 元组顺序错误(MindSpore)— DP+TP 联合分片时 output_m tensor_map 写成 (comm_mesh_dim, dp_mesh_dim),正确应为 (dp_mesh_dim, comm_mesh_dim),导致 full_tensor() 重建行序异常。
msrun worker 文件路径(MindSpore)— test_moe.py 使用相对路径引用 worker,msrun 从项目根目录运行 pytest 时找不到。
重现步骤
在 Ascend 910B 环境下运行 build #158 对应门禁测试。
报错信息