已开启
build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径 #229
hedongdong创建于  6月17日
hedongdong成员
6月17日 创建

该问题是怎么引起的?

Jenkins build #158 门禁失败,涉及 3 类问题:

  1. FSDP+EP 训练 loss 放大(Torch)— EP AlltoAll 的 token 重复放大 + fully_shard 对 DTensor 参数的 SUM reduce-op 导致 loss 不匹配。

  2. MatmulReduceScatter output_m 元组顺序错误(MindSpore)— DP+TP 联合分片时 output_m tensor_map 写成 (comm_mesh_dim, dp_mesh_dim),正确应为 (dp_mesh_dim, comm_mesh_dim),导致 full_tensor() 重建行序异常。

  3. msrun worker 文件路径(MindSpore)— test_moe.py 使用相对路径引用 worker,msrun 从项目根目录运行 pytest 时找不到。

重现步骤

在 Ascend 910B 环境下运行 build #158 对应门禁测试。

报错信息

  • FSDP+EP: standalone 与 FSDP+EP 的 loss 不匹配
  • MRS: full_tensor() 重建错误,max_diff ~120.5
  • MoE: msrun 找不到 worker 文件
likedislike
Hhedongdong成员
6月17日 添加了label:bug
Hhedongdong成员
6月17日 关联了pull request:fix: 修复 build #158 门禁失败用例 — FSDP+EP loss、MRS output_m 顺序、worker 路径、shmem 打包
Hhedongdong成员
6月17日 修改标题为 “build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径”,原标题为“build #158 门禁失败:FSDP+EP loss 放大、MRS output_m 顺序错误、worker 路径、shmem 打包缺失”
Hhedongdong成员
6月17日 修改了issue 的描述