已关闭
[dev] deepseek在checkrules时校验失败 #83
wei_zhuoyi创建于  2025年2月22日关闭于  2025年3月21日
wei_zhuoyi成员
2025年2月22日 创建

deeppseekv3中实际层数由mtp_depth和num_layers决定,check_rule当前未将mtp_depth纳入num_layers中,会导致pp切分满足pp<=num_layers+mtp_depth但>num_layers时校验不通过,例如214并行,num_layers=3,mtp_depth=1时会报错
输入图片说明

likedislike
Wwei_zhuoyi成员
2025年2月22日 创建了Question
此处折叠了12条事件消息 查看更多
Hhsshuai成员
2025年3月11日 将里程碑从 B-SIG-MindFormers 修改为B-SIG-MindFormers-Train
司小南(机器人)
司小南(机器人)成员
2025年3月11日 评论:

请参考以下典型优秀案例进行问题单根因分析,如未按此模板进行根因分析,转回归会被打回,更多问题单规范请参看https://e.gitee.com/mind_spore/docs/2489468/file/5767947?sub_id=11382313&scope=undefined

Appearance & Root Cause
问题:pangu_sigma2.3编译耗时优化未达预期
根因:
1、 2.3上某些pass相比于2.2版本的实现,存在性能劣化
2、 2.3版本把trace功能下掉了,导致前端编译劣化

Fix Solution
1、修复性能劣化的前端图优化pass
2、通过支持boost infer功能把trace功能下掉导致的性能劣化拿回来

Fix Description & Test Suggestion
https://gitee.com/mindspore/mindspore/pulls/70920 PR合入后daily包回归
测试建议:该问题可以通过特性用例防护,增加****场景。

Self-test Report & DT Review
目前前后端耗时在12分钟以内。
是否需要补充 ST/UT:否 如果选择否,请补充理由
原因:非基本功能问题

Introduction Analysis
引入类型:特性合入引入
引入PR:https://e.gitee.com/mind_spore/repos/mindspore/mindspore/pulls/xxx
PR合入时间:年/月/日
问题是否偶现:是/否

likedislike
朱林洪成员
2025年3月12日 将计划截止日期从 2024-12-31 修改为2025-03-17
wei_zhuoyi成员
2025年3月20日 评论:

Appearance & Root Cause
问题:deepseek在checkrules时校验失败
根因:
1、 deeppseekv3中实际层数由mtp_depth和num_layers决定,check_rule当前未将mtp_depth纳入num_layers中

Fix Solution
1、把num_layers的判断拆出来写到PretrainModel里面check_pipeline_stage, basetrainer.create_network中调用
2、deepseek重载check_pipeline_stage,加入对mtp_depth的校验

Fix Description & Test Suggestion
https://gitee.com/mindspore/mindformers/pulls/5418

Self-test Report & DT Review
3+1层deepseek3,8卡2142并行:正常
输入图片说明

2+1层deepseek3,8卡2142并行,调整offset=(2+1)%4=3:check_rule拦截
输入图片说明

4层llama3,8卡214并行:正常
输入图片说明

3层llama3,8卡124并行,调整offset=3%4=3:check_rule拦截
输入图片说明
是否需要补充 ST/UT:否 如果选择否,请补充理由
原因:已充分验证

Introduction Analysis
引入类型:特性合入引入
引入PR:https://e.gitee.com/mind_spore/repos/mindspore/mindspore/pulls/xxx
PR合入时间:2025年/3月/20日
问题是否偶现:否

likedislike
Wwei_zhuoyi成员
2025年3月21日 添加了 &nbsp; rct/oldrelease 标签
此处折叠了7条事件消息 查看更多
AAtomGit-Bot
2025年12月14日 关联了看板:MindSpore Bug Tracking System