已关闭
[Bug]: 修复deepseekv4缺少部分loss #2407
lanshaozuishuai创建于  7月1日关闭于  7月2日
lanshaozuishuai成员
7月1日 创建

Checklist

🐞 问题详细描述

因pr:[bugfix][pynative] 将 MoE/MTP/index loss 追踪重构为模型实例方法并修复 recompute 重复累加问题重构,deepseekv4未接入对应接口导致部分loss缺失

详细的环境信息描述

master分支

其他辅助信息

版本信息

master分支

Thanks for contributing 🎉!

likedislike
Llanshaozuishuai成员
7月1日 添加了label:bug
Llanshaozuishuai成员
7月1日 添加了label:bug
Llanshaozuishuai成员
7月1日 问题后端类型 由 [] 改变为 [Ascend]
Llanshaozuishuai成员
7月1日 关联分支 由 [] 改变为 [master]
Llanshaozuishuai成员
7月1日 关联组件 由 [] 改变为 [B-SIG-MindFormers-Train]
Llanshaozuishuai成员
7月2日 将 lanshaozuishuai 设为负责人
Llanshaozuishuai成员
7月2日 issue状态由 TODO 改变为 ACCEPTED
Llanshaozuishuai成员
7月2日 issue状态由 ACCEPTED 改变为 WIP
Llanshaozuishuai成员
7月2日 issue状态由 WIP 改变为 ACCEPTED
Llanshaozuishuai成员
7月2日 issue状态由 ACCEPTED 改变为 WIP
Llanshaozuishuai成员
7月2日 issue状态由 WIP 改变为 DONE
Llanshaozuishuai成员
7月2日 关闭了 issue
lanshaozuishuai成员
7月2日 评论:

pr: https://gitcode.com/mindspore/mindformers/pull/8465: MoE/MTP/index loss 追踪重构为模型实例方法并修复 recompute 重复累加问题
合入后,需要在deepseekv4中添加对应接口,才能打印完整的loss信息。
已合入修复pr: https://gitcode.com/mindspore/mindformers/pull/8465

likedislike