已关闭
[Bug]: expert_bias计算与静态图和magatron未对齐 #2329
zzzkeke创建于 6月8日关闭于 6月8日
6月8日 添加了label：bug
6月8日 添加了label：bug
6月8日 问题后端类型 由 [] 改变为 [Ascend]
6月8日 关联分支 由 [] 改变为 [master]
6月8日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Train]
6月8日 修改了issue 的描述
6月8日 修改标题为 “[Bug]: expert_bias计算与静态图和magatron未对齐”，原标题为“[Bug]: expert_bias计算与静态图未对齐”
6月8日 关闭了 issue
6月8日 issue状态由 TODO 改变为 DONE
Checklist
🐞 问题详细描述
在expert_bias计算过程中，静态图没有做零均值归一化，动态图做了，导致expert_bias_delta不一致，最终更新expert_bias也不一致,下述图片分别为动态图和静态图打印的expert_bias_delta和更新后的expert_bias(其中expert_bias_new为expert_bias_delta, expert_bias为更新后的expert_bias):
详细的环境信息描述
NPU
其他辅助信息
版本信息
master
Thanks for contributing 🎉!