已关闭
[Bug]: 单卡梯度累积场景下，开启mtp、aux loss等精度未对齐 #2380
niujunhao创建于 6月22日关闭于 6月26日
niujunhao
6月26日 评论：
6月26日 评论：
验证
单卡 10 step、deterministic: True、seed=42、同一 checkpoint 加载，对比
gbs=4, lbs=1（累积=4）与 gbs=4, lbs=4（不累积）：
| 对比 | max |Δgrad_norm| | 结论 |
|---|---|---|
| 修复后 累积 vs 不累积 | 2.8e-03 | 一致（bf16 噪声量级） |
| 未修复 累积 vs 不累积 | 2.7e+00 | grad_norm 系统性偏大约 1.6~1.8 倍 |
loss 与 load_balancing_loss 在两种配置下也都一致（max Δ ~7e-04）。
Checklist
🐞 问题详细描述
单卡梯度累积场景下，开启mtp、aux loss等精度未对齐多卡和非梯度累积场景
详细的环境信息描述
Ascend
其他辅助信息
版本信息
master
Thanks for contributing 🎉!