已关闭
[Bug]: 更新expert_bias时引入冗余获取model_config代码和mtp_loss打印与megatron未对齐 #2353
zzzkeke创建于  6月15日关闭于  6月17日
zzzkeke
zzzkeke成员
6月15日 创建

Checklist

🐞 问题详细描述

  1. 更新expert_bias时,使用cfg = model.get_gpt_transformer_config()获取模型配置,与后面代码model_config = deepcopy(model.get_gpt_transformer_config())重复,因此需要删除冗余的代码,只需要获取一次,重复使用;
  2. mtp_loss打印与megatron未对齐:由于当前mtp_loss打印时乘上了系数,但是megatron没有乘上系数,因此,需要进行mtp_loss的精度对齐时,需要手动修改代码,为动态图删除系数或者megatron乘上系数,因此,需要对动态图代码进行修改,打印时不需要乘上系数。

详细的环境信息描述

NPU

其他辅助信息

版本信息

master

Thanks for contributing 🎉!

likedislike
zzzkekezzzkeke成员
6月15日 添加了label:bug
zzzkekezzzkeke成员
6月15日 添加了label:bug
zzzkekezzzkeke成员
6月15日 问题后端类型 由 [] 改变为 [Ascend]
zzzkekezzzkeke成员
6月15日 关联分支 由 [] 改变为 [master]
zzzkekezzzkeke成员
6月15日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Train]
zzzkekezzzkeke成员
6月17日 issue状态由 TODO 改变为 ACCEPTED
zzzkekezzzkeke成员
6月17日 issue状态由 ACCEPTED 改变为 WIP
zzzkekezzzkeke成员
6月17日 issue状态由 WIP 改变为 DONE
zzzkekezzzkeke成员
6月17日 关闭了 issue