Star87

Star87

已开启

[Feature]: 【社区任务】MindSpeed使用体验 #160

wuweiqiang24创建于 5月18日

wuweiqiang24成员

5月18日创建

5月18日创建

任务描述

根据MindSpeed环境搭建、快速上手和特性指南等文档体验MindSpeed仓库功能，对功能或文档提出改进建议，issue 参考：
https://gitcode.com/Ascend/MindSpeed-LLM/issues/1289

验收标准

一、任务交付件
基于开原仓库MindSpeed进行功能体验，主要体验点如下：
（1）体验预训练/微调等相关流程，涵盖后端mcore、FSDP2、MindSpore
（2）或者对使用指导提出改进建议（文档缺失、步骤不清、配置说明不完整等）
二、验收标准：
任务完成标准：Issue确认有效，PR完成合入

PR 合入

本地完成测试验证后，向MindSpeed的main分支发起PR。

对接人

待补充

欢迎加入社区，感谢您对社区的贡献 🎉!

ascend-robot成员

5月18日添加了label：feature

5月18日添加了label：feature

wuweiqiang24成员

5月18日修改了issue 的描述

5月18日修改了issue 的描述

6月5日评论：

6月5日评论：

认领这个任务

6月25日评论：

6月25日评论：

认领这个任务

6月25日评论：

6月25日评论：

认领这个任务

@copperplate_

欢迎认领任务，请参考https://gitcode.com/Ascend/MindSpeed/issues/153 社区任务池明确该任务的：

完成的截止日期
开发进展反馈
微信答疑群
任务交付注意事项

等信息。如果您同时认领了多项任务，但无法都能进行投入，可以在部分任务中回复退出.

麻烦您加入到对应微信群，群备注名修改为"社区任务+您的gitcode账号", 后续有相关消息和问题都可以在微信群咨询答疑。等您加入到微信群后，我这边会在社区任务池里面登记任务责任人。

6月25日评论：

6月25日评论：

认领这个任务

欢迎您参加任务认领，当前一个任务只能分配一个开发，根据任务认领时间确认，您可以后续看看该任务是否释放退出，会认领其他社区任务。

6月25日评论：

6月25日评论：

认领这个任务

@copperplate_

关于任务进展反馈的要求，您这边的开始时间可以从今天开始算，因为之前您认领任务时，这块细节还没敲定。

6月27日评论：

6月27日评论：

认领这个任务

Liz成员

6月27日评论：

6月27日评论：

认领这个任务

欢迎您参加任务认领，当前一个任务只能分配一个开发，根据任务认领时间确认，您可以后续看看该任务是否释放退出，或认领其他社区任务。

6月29日评论：

6月29日评论：

认领这个任务

Liz成员

6月30日评论：

6月30日评论：

认领这个任务

欢迎您参加任务认领，当前一个任务只能分配一个开发，根据任务认领时间确认，您可以后续看看该任务是否释放退出，或认领其他社区任务。

ascend-robot成员

7月3日关联了看板：MindStudio ISSUE管理

7月3日关联了看板：MindStudio ISSUE管理

7月5日评论：

7月5日评论：

已经配置好环境，准备依次验证

G gp513成员

7月11日 issue类型由 Bug-Report 改变为任务

7月11日 issue类型由 Bug-Report 改变为任务

7月13日评论：

7月13日评论：

已经完成快速上手部分内容，后面基于特性指南进行进一步体验，今天之内更新完整设计文档

7月19日评论：

7月19日评论：

FSDP2、MindSpore正在进一步体验

7月27日评论：

7月27日评论：

正在体验mindspore

8月3日评论：

8月3日评论：

mindspore还没验完

8月3日评论：

8月3日评论：

我要认领这个任务

8月11日评论：

8月11日评论：

已初步完成，正在整理

27 天前评论：

27 天前评论：

您好，由于上周较忙以及资源受限，部分代码在重新打开环境后遗失，我将于这周准备好推送

20 天前评论：

20 天前评论：

您好，由于资源受限，重新验证后还有部分文档未写完这周推送

Liz成员

12 天前评论：

12 天前评论：

您好，由于资源受限，重新验证后还有部分文档未写完这周推送

您好，请问本周的任务进展

11 天前评论：

11 天前评论：

您好这几天由于处理开学事宜，有所搁置，这两天完成文档准备提交屏幕截图 2026-07-31 131850.png

6 天前评论：

6 天前评论：

由于资源限制模型设置较小，基于快速开始样例开启一下特性来查看验证结果

最佳性能特性：Flash Attention
速度提升 12%（324.4ms → 285.5ms）
显存降低 10.3%
Loss 收敛正常
推荐：生产环境优先启用

✅ 显存优化特性
重计算系列：
选择性重计算：-9.6% 显存，但速度慢 15.7%
完全重计算：-9.6% 显存，但速度慢 30.8%
结论：当前模型规模下，重计算收益有限

序列并行：
显存降低 3.5%
速度略慢 9.3%
适用场景：需要轻度显存优化时使用

⚠️ 问题特性
虚拟流水线（16层）：
速度慢 76%
显存增加 87%
原因：层数从 8 增加到 16，参数量翻倍，且虚拟流水线需要更多通信
建议：保持 8 层配置，或调整虚拟流水线参数

分布式优化器：
性能基本持平（+2.1%）
显存无变化
原因：当前配置下，优化器状态分片收益不明显
适用场景：更大规模训练

后面换更大模型进一步验证