👋 您好，欢迎向 MindSpeed MM 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅 处理时效： 维护团队将在 24 小时内 查看并回复您的问题（工作日）。
🚨 紧急联系： 如果您的问题非常紧急，可通过以下方式联系我们：
💬 微信： WeChat
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
/label add good-first-issue
你好，任务认领
认领这个任务
你好，任务认领
欢迎认领任务，请参考https://gitcode.com/Ascend/MindSpeed-MM/issues/356 社区任务池明确该任务的：
- 完成的截止日期
- 开发进展反馈
- 微信答疑群
- 任务交付注意事项
等信息。如果您同时认领了多项任务，但无法都能进行投入，可以在部分任务中回复退出.
麻烦您加入到对应微信群，群备注名修改为"社区任务+您的gitcode账号", 后续有相关消息和问题都可以在微信群咨询答疑。 等您加入到微信群后，我这边会在社区任务池里面登记任务责任人。
认领这个任务
欢迎参加认领社区任务，当前一个任务只分配一个开发，根据评论认领时间确定，您可以后续观察该任务是否被释放退出，或者认领其他任务 https://gitcode.com/org/Ascend/discussions/4
认领这个任务
认领这个任务
阶段汇报
已完成 InternVL3.5-30B（裁剪为8 层 LLM，以支持显存资源受限下实现）的 pure FSDP2初步实现，保持 MoE 128 experts、全参数训练。完成 fused MoE、运行时权重加载、FSDP 分片及通信预取优化。
已完成 pure FSDP2 与 Megatron-FSDP2 的 2000 步对比训练：平均 loss 相对误差为 1.118%，满足小于 2% 的精度要求；
第 100--200 步平均耗时 native 为 660.030 ms，Megatron 为 663.215 ms，性能绝对差距 0.480%。
当前已保留最终训练日志和对齐结果，后续继续进行结果整理与稳定性复核。
@kill2013110 请您在完成任务后填表登记：MM社区任务管理 https://www.kdocs.cn/l/cdATVWqoh385
InternVL3.5 pure FSDP2 实验结果
代码：MR !2988；开发与性能实践：Issue #625。
2026-10-20 完成八组各 2000 步实验，图像统一直接 resize 至 448×448，不补边。两种基线均关闭重计算，重计算消融与全特性组开启；数据、权重、loss 计算、优化器、学习率、融合注意力及公共运行配置已核对一致。
| 组别 | 末步 loss | 平均相对绝对误差 | 最大单步误差 | 平均耗时（ms/step） | 峰值已分配显存（GiB） | 峰值预留显存（GiB） |
|---|---|---|---|---|---|---|
| ① Megatron-FSDP2 | 2.014370 | — | — | 660.541 | 49.72 | 55.88 |
| ② FSDP2 无特性 | 2.007227 | 0.272261% | 1.348118% | 628.040 | 50.49 | 56.93 |
| ② + CP | 2.007450 | 0.424275% | 3.299014% | 659.524 | 50.50 | 57.03 |
| ② + EP | 2.013388 | 0.275837% | 1.828831% | 420.254 | 47.26 | 51.88 |
| ② + 激活重计算 | 2.000396 | 0.260847% | 1.430421% | 684.182 | 49.62 | 54.63 |
| ② + ChunkLoss | 2.012492 | 0.262497% | 1.459302% | 631.554 | 50.30 | 56.17 |
| ② + 激活值卸载 | 2.008251 | 0.269438% | 2.093314% | 644.371 | 50.44 | 56.93 |
| ③ FSDP2 全特性 | 2.009159 | 0.419536% | 2.410166% | 594.920 | 45.95 | 50.34 |
误差为全部 2000 步相对 Megatron 的平均相对绝对误差，分母为候选组 loss。CP、激活值卸载和全特性组分别有 2、1、4 步单步误差超过 2%；七组平均误差均低于 2%。耗时取第 100–200 步，显存取完整训练期间两张卡的最大值，每组运行一次。
实验使用两张 64 GiB Ascend NPU、语言模型前 8 层、24 层视觉编码器和 128 experts；global batch=2，seed=42，BF16 参数、FP32 梯度规约。默认配置保留 model.num_hidden_layers: null。
提交：91adac2aa584c232224608a2ae0b0d6e449f44e6。
@kill2013110 您好！
MindSpeed-MM 邀请您参加 2026-08-20 16:00 召开的WeLink会议
会议主题：MindSpeed MM 社区例会
会议内容：
1.社区关键issue解答
2.代码合入评审
会议链接：https://meeting.huaweicloud.com:36443/#/j/980887584
会议纪要&签到链接：https://etherpad.ascend.osinfra.cn/p/sig-MindSpeed-MM
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
基于MindSpeed MM开放仓库的FSDP2源码，补齐模型的端侧功能。
本期任务的具体信息如下：
（1）模型名称：internvl3.5
（2） MindSpeed MM开放仓库的模型源码链接：
https://gitcode.com/Ascend/MindSpeed-MM/blob/master/examples/internvl3.5/finetune_internvl3_5.sh
（3） 开发平台：Atlas 800T A2或者A3
一、任务交付件
本期任务为基于MindSpeed MM开放仓库代码进行功能扩展，请合入开发代码。将megatron-FSDP2后端的模型迁移到仓上纯FSDP2分支。主要开发点如下：
（1） 模型训练脚本和yaml参数配置
（2） 模型优化实现
特性：
需要适配仓上当前现有特性，如CP，EP，chunkloss，recompute，async activation offload等，在开启特性后能体现出显存优化或性能优化，并确保精度对齐
二、验收标准：
1）精度/性能要求
精度：
对比megatron-FSDP2后端训练2000步平均误差小于2%
性能：
不低于megatron-FSDP2后端性能
2）实践文档：
开发模型实践1篇，性能优化实践1篇
3）任务完成标准
本次任务完成标准为：
精度/一、任务交付件
本期任务为基于MindSpeed MM开放仓库代码进行功能扩展，请合入开发代码。将megatron-FSDP2后端的模型迁移到仓上纯FSDP2分支。主要开发点如下：
（1） 模型训练脚本和yaml参数配置
（2） 模型优化实现
二、验收标准：
1）精度/性能要求
精度：
对比megatron-FSDP2后端训练2000步平均误差小于2%
性能：
不低于megatron-FSDP2后端性能
2）实践文档：
开发模型实践1篇，性能优化实践1篇
3）任务完成标准
本次任务完成标准为：
精度/性能（根据实际要求）达标，PR完成合入，实践文档提交到仓库issue。
替代方案
补充说明
欢迎加入社区，感谢您对社区的贡献 🎉!
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
基于MindSpeed MM开放仓库的FSDP2源码，补齐模型的端侧功能。
本期任务的具体信息如下：
（1）模型名称：internvl3.5
（2） MindSpeed MM开放仓库的模型源码链接：
https://gitcode.com/Ascend/MindSpeed-MM/blob/master/examples/internvl3.5/finetune_internvl3_5.sh
（3） 开发平台：Atlas 800T A2或者A3
一、任务交付件
本期任务为基于MindSpeed MM开放仓库代码进行功能扩展，请合入开发代码。将megatron-FSDP2后端的模型迁移到仓上纯FSDP2分支。主要开发点如下：
（1） 模型训练脚本和yaml参数配置
（2） 模型优化实现
二、验收标准：
1）精度/性能要求
精度：
对比megatron-FSDP2后端训练2000步平均误差小于2%
性能：
不低于megatron-FSDP2后端性能
2）实践文档：
开发模型实践1篇，性能优化实践1篇
3）任务完成标准
本次任务完成标准为：
精度/一、任务交付件
本期任务为基于MindSpeed MM开放仓库代码进行功能扩展，请合入开发代码。将megatron-FSDP2后端的模型迁移到仓上纯FSDP2分支。主要开发点如下：
（1） 模型训练脚本和yaml参数配置
（2） 模型优化实现
二、验收标准：
1）精度/性能要求
精度：
对比megatron-FSDP2后端训练2000步平均误差小于2%
性能：
不低于megatron-FSDP2后端性能
2）实践文档：
开发模型实践1篇，性能优化实践1篇
3）任务完成标准
本次任务完成标准为：
精度/性能（根据实际要求）达标，PR完成合入，实践文档提交到仓库issue。
替代方案
补充说明
欢迎加入社区，感谢您对社区的贡献 🎉!