已开启
[Bug] MindSpore FSDP register_hook 每次前向传播累积导致性能劣化 #210
hedongdong创建于  6月12日
hedongdong成员
6月12日 创建

该问题是怎么引起的?

MindSpore FSDP Scheduler 中 _backward_pre_hook 使用 register_hook 注册钩子,
每次前向传播都会在 tensor 上累积新的 hook,未被清理,导致随着训练步数增加性能逐渐劣化。

重现步骤

  1. 使用 MindSpore 后端启动 FSDP 训练
  2. 多次执行前向传播
  3. 观察 hook 数量累积及训练速度下降

报错信息

无明显报错,但训练速度随步数增加显著下降。

likedislike
Hhedongdong成员
6月12日 添加了label:bug
Hhedongdong成员
6月12日 关联了pull request:fix(mindspore-fsdp): prevent hook accumulation causing performance degradation