已关闭
Empty算子输出仍然为StubTensor,需要进一步去除。 #129
hwcaifubi创建于  2025年3月13日关闭于  2025年8月5日
hwcaifubi
hwcaifubi成员
2025年3月13日 创建

1.Describe the current behavior / 问题描述 (Mandatory / 必填)

样例: (根据实际修改和增删)

mixtral网络8x7B 16卡,配置执行参数:cell共享+梯度累加4+dp1mp4ep1pp4mb4gas1bs2,训练报 RuntimeError: Exec graph failed

2.Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment / 硬件环境(Mandatory / 必填):
    Hardware (e.g.Ascend910B1/Mac CPU)

    样例:

后端类型 硬件具体类别
Ascend 910B1
CPU Mac CPU/Win CPU
  • Software Environment / 软件环境 (Mandatory / 必填):
    迭代版本新增问题样例:(根据实际修改和增删)
Software Version(根据实际修改,必填)
MindSpore MindSpore 2.4.0.BXXX
MindFormers XXXXXX
MindIE XXXXXX
CANN MILAN&Florence-ASL/ABL XXXXXX
Python Python XXXXXX
OS platform Ubuntu XXXXXX
GCC/Compiler version XXXXXX

bugfix版本问题引入样例:(根据实际修改和增删)

Software Version(根据实际修改,必填)
MindSpore MindSpore 2.4.0.BXXXXXX (成功)master_202407131XXXXXX _a4230c71d(失败)
CANN Milan_C18/2XXXXXX (成功) Milan_C18/2XXXXXX (失败)
CANN 归档地址
MindIE 1.0.RC2.XXXXXX (成功) 1.0.RC2.XXXXXX (失败)
Python Python XXXXXX
OS platform Ubuntu XXXXXX
GCC/Compiler version XXXXXX

3.Related testcase / 关联用例 (Mandatory / 必填)

  • Testcase Name/ 用例名 (Mandatory / 必填):
    -- Testcase Name(e.g.test_mf_llama_7b_wiki4096_train_cell_dp1mp4pp4mb4_910_16p_0005): *
  • Excute Mode / 执行模式 (Mandatory / 必填):
    -- Excute Mode(e.g., Graph\PyNative): *
    -- Excute Mode(e.g., O0\O1\O2):O*
  • 数据集名字和路径 (Mandatory / 选填):
  • 权重文件名字和路径 (Mandatory / 选填):

4.Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

测试步骤:来自文本用例
用例执行命令:来自CI日志或者用户执行命令

5.Describe the expected behavior / 预期结果 (Mandatory / 必填)

【预期结果】:qwen1_5 推理精度正常

6.Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

报错关键日志截图:
image

完整日志(通过附件上传):

image

7.Special notes for this issue/备注 (Optional / 选填)

**【定位人】**吴某某(根据实际修改)

likedislike
hwcaifubihwcaifubi成员
2025年3月13日 添加了问题后端类型的 Ascend 选项
hwcaifubihwcaifubi成员
2025年3月13日 创建了Bug-Report
hwcaifubihwcaifubi成员
2025年3月13日 添加了关联分支的 master 选项
hwcaifubihwcaifubi成员
2025年3月13日 关联了MindSpore/mindspore Pull Request !82897
司小南(机器人)
司小南(机器人)成员
2025年3月13日 评论:

请参考以下典型优秀案例进行问题单根因分析,如未按此模板进行根因分析,转回归会被打回,更多问题单规范请参看https://e.gitee.com/mind_spore/docs/2489468/file/5767947?sub_id=11382313&scope=undefined

Appearance & Root Cause
问题:pangu_sigma2.3编译耗时优化未达预期
根因:
1、 2.3上某些pass相比于2.2版本的实现,存在性能劣化
2、 2.3版本把trace功能下掉了,导致前端编译劣化

Fix Solution
1、修复性能劣化的前端图优化pass
2、通过支持boost infer功能把trace功能下掉导致的性能劣化拿回来

Fix Description & Test Suggestion
https://gitee.com/mindspore/mindspore/pulls/70920 PR合入后daily包回归
测试建议:该问题可以通过特性用例防护,增加****场景。

Self-test Report & DT Review
目前前后端耗时在12分钟以内。
是否需要补充 ST/UT:否 如果选择否,请补充理由
原因:非基本功能问题

Introduction Analysis
引入类型:特性合入引入
引入PR:https://e.gitee.com/mind_spore/repos/mindspore/mindspore/pulls/xxx
PR合入时间:年/月/日
问题是否偶现:是/否

likedislike
AAtomGit-Bot
2025年3月13日 添加了   gitee 标签
hwcaifubihwcaifubi成员
2025年8月5日 将状态从 TODO 修改为DONE
Iivss成员
2025年9月11日 移除了gitee(已删除)标签