已关闭
[Bug]: 修复deepseekv4缺少部分loss #2407
lanshaozuishuai创建于 7月1日关闭于 7月2日
7月1日 添加了label:bug
7月1日 添加了label:bug
7月1日 问题后端类型 由 [] 改变为 [Ascend]
7月1日 关联分支 由 [] 改变为 [master]
7月1日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Train]
7月2日 将 lanshaozuishuai 设为负责人
7月2日 issue状态由 TODO 改变为 ACCEPTED
7月2日 issue状态由 ACCEPTED 改变为 WIP
7月2日 issue状态由 WIP 改变为 ACCEPTED
7月2日 issue状态由 ACCEPTED 改变为 WIP
7月2日 issue状态由 WIP 改变为 DONE
7月2日 关闭了 issue
lanshaozuishuai
7月2日 评论:
7月2日 评论:
pr: https://gitcode.com/mindspore/mindformers/pull/8465: MoE/MTP/index loss 追踪重构为模型实例方法并修复 recompute 重复累加问题
合入后,需要在deepseekv4中添加对应接口,才能打印完整的loss信息。
已合入修复pr: https://gitcode.com/mindspore/mindformers/pull/8465


Checklist
🐞 问题详细描述
因pr:[bugfix][pynative] 将 MoE/MTP/index loss 追踪重构为模型实例方法并修复 recompute 重复累加问题重构,deepseekv4未接入对应接口导致部分loss缺失
详细的环境信息描述
master分支
其他辅助信息
版本信息
master分支
Thanks for contributing 🎉!