已关闭
[ST][MS][冒烟] telechat2-7b MindIE服务化部署报错显存不足 #18
wang_xingyan创建于  2025年1月17日关闭于  2025年4月3日
wang_xingyan
wang_xingyan
2025年1月17日 创建

1.Describe the current behavior / 问题描述 (Mandatory / 必填)

[ST][MS][冒烟] telechat2-7bMindIE服务化部署报错显存不足

2.Environment / 环境信息 (Mandatory / 必填)

  • Hardware Environment / 硬件环境(Mandatory / 必填):
    Hardware (e.g.Ascend910B1/Mac CPU)

    样例:

后端类型 硬件具体类别
Ascend 910B2
CPU Mac CPU/Win CPU
  • Software Environment / 软件环境 (Mandatory / 必填):
    迭代版本新增问题样例:(根据实际修改和增删)
Software Version(根据实际修改,必填)
MindSpore master c97ced345ad
MindFormers dev_6374db9
MindIE MindIE 1.0.T71
CANN CANN 8.0.T63
Python Python 3.9.3
OS platform Ubuntu 20.04
GCC/Compiler version 7.3

3.Related testcase / 关联用例 (Mandatory / 必填)

  • Testcase Name/ 用例名 (Mandatory / 必填):
    -- Testcase Name(e.g.test_mf_llama_7b_wiki4096_train_cell_dp1mp4pp4mb4_910_16p_0005): *
  • Excute Mode / 执行模式 (Mandatory / 必填):
    -- Excute Mode(e.g., Graph\PyNative): *
    -- Excute Mode(e.g., O0\O1\O2):O*

4.Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

(1)部署mindspore、mindformers、mindie
(2)拉起telechat2-7b推理服务

5.Describe the expected behavior / 预期结果 (Mandatory / 必填)

【预期结果】:服务成功拉起,推理精度正常

6.Related log / screenshot / 日志 / 截图 (Mandatory / 必填)

7.Special notes for this issue/备注 (Optional / 选填)

**【定位人】**吴某某(根据实际修改)

likedislike
AAtomGit-Bot
2023年11月20日 创建了Question
此处折叠了6条事件消息 查看更多
wang_xingyanwang_xingyan
2025年1月17日 将计划开始日期设置为2025-01-17
司小南(机器人)
司小南(机器人)成员
2025年3月3日 评论:

请参考以下典型优秀案例进行问题单根因分析,如未按此模板进行根因分析,转回归会被打回,更多问题单规范请参看https://e.gitee.com/mind_spore/docs/2489468/file/5767947?sub_id=11382313&scope=undefined

Appearance & Root Cause
问题:pangu_sigma2.3编译耗时优化未达预期
根因:
1、 2.3上某些pass相比于2.2版本的实现,存在性能劣化
2、 2.3版本把trace功能下掉了,导致前端编译劣化

Fix Solution
1、修复性能劣化的前端图优化pass
2、通过支持boost infer功能把trace功能下掉导致的性能劣化拿回来

Fix Description & Test Suggestion
https://gitee.com/mindspore/mindspore/pulls/70920 PR合入后daily包回归
测试建议:该问题可以通过特性用例防护,增加****场景。

Self-test Report & DT Review
目前前后端耗时在12分钟以内。
是否需要补充 ST/UT:否 如果选择否,请补充理由
原因:非基本功能问题

Introduction Analysis
引入类型:特性合入引入
引入PR:https://e.gitee.com/mind_spore/repos/mindspore/mindspore/pulls/xxx
PR合入时间:年/月/日
问题是否偶现:是/否

likedislike
朱朱林洪成员
2025年3月12日 将里程碑从 B-SIG-MindFormers 修改为B-SIG-MindFormers-Infer
Rrenyujin成员
2025年3月18日 将里程碑从 B-SIG-MindFormers-Infer 修改为B-SIG-InferOuter
Rrenyujin成员
2025年3月18日 将里程碑从 B-SIG-InferOuter 修改为B-SIG-Infer
AAtomGit-Bot
2025年3月18日 关联了MindSpore/mindformers Pull Request !5672
uhuuhuuhuuhu
2025年3月20日 将里程碑从 B-SIG-Infer 修改为B-ComponentTest
uhuuhu
uhuuhu
2025年3月20日 评论:

Appearance & Root Cause
问题:telechat2-7b MindIE服务化部署报错显存不足
根因:
1、使用empty算子初始化parameter的过程中显存多次申请释放,使得显存碎片增加,导致可用显存减少

Fix Solution
1、初始化网络时调用的cpu的empty算子,编译时再做device的映射,不会在device上产生多余显存占用

Fix Description & Test Suggestion
https://gitee.com/mindspore/mindformers/pulls/5672 PR合入后daily包回归

Self-test Report & DT Review
修改后telechat7b、llama70b显存、内存占用不会增长
是否需要补充 ST/UT:否
原因:非基本功能问题

Introduction Analysis
引入类型:功能合入引入
引入PR:https://gitee.com/mindspore/mindformers/pulls/5217
PR合入时间:2025年1月6日
问题是否偶现:否

likedislike
uhuuhuuhuuhu
2025年3月20日 将问题重现类型设置为有条件必然重现
此处折叠了9条事件消息 查看更多
uhuuhuuhuuhu
2025年3月20日 将任务状态从 TODO 修改为VALIDATION
uhuuhu
uhuuhu
2025年3月20日 评论:
zhang_linzhang_lin
2025年3月21日 将里程碑从 B-ComponentTest 修改为B-SolutionTest
Yymh_6366
2025年3月24日 将负责人从 uuhuu 修改为wangxingyan
wang_xingyan
wang_xingyan
2025年4月3日 评论:

回归时间:2025.4.3
回归结果:继承DTS2025011320753回归结果
回归结论:回归通过

likedislike
wang_xingyanwang_xingyan
2025年4月3日 将任务状态从 VALIDATION 修改为DONE
Iivss成员
2025年9月10日 移除了rct/refactor(已删除)标签
Iivss成员
2025年9月10日 移除了rca/resapp/use/rls(已删除)标签
Iivss成员
2025年9月10日 移除了ctl/rdselftest(已删除)标签
AAtomGit-Bot
2025年12月14日 关联了看板:MindSpore Bug Tracking System