已开启
[Feature]: docs:FSDP2后端迁移文档 #382
yeqm创建于  5月18日
yeqm成员
5月18日 创建

提交提案之前,请先检索仓库内是否已有相同的提案,如已有请在同一提案中进行讨论。

💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案

提供MindSpeed-MM FSDP2后端模型迁移指南

一、任务交付件
交付MindSpeed-MM FSDP2后端模型迁移指南。

二、验收标准:

  1. 可操作性:根据指南能端到端完成一个新模型迁移,
  2. 基础功能(融合算子,EP等)具备;
  3. 精度对齐,

2)实践文档:
开发模型实践1篇,性能优化实践1篇
3)任务完成标准
本次任务完成标准为:
精度/性能(根据实际要求)达标,PR完成合入,实践文档提交到仓库issue。

替代方案

补充说明

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
Yyeqm成员
5月18日 添加了label:feature
yeqm成员
5月18日 评论:

👋 您好,欢迎向 MindSpeed MM 提交 Issue!

我们已收到您的反馈,感谢你对开源社区的支持。🎉

📅 处理时效: 维护团队将在 24 小时内 查看并回复您的问题(工作日)。

🚨 紧急联系: 如果您的问题非常紧急,可通过以下方式联系我们:

💬 微信: WeChat

请确保 Issue 描述清晰,包含复现步骤和日志,这将帮助我们更快定位问题。谢谢!

likedislike
Ronald1995
6月11日 评论:

/label add good-first-issue

likedislike
ascend-robotascend-robot成员
6月11日 添加了label:good-first-issue
jacky_leeie
6月25日 评论:

认领这个任务

likedislike
Ronald1995
6月25日 评论:

认领这个任务

@jacky_leeie

欢迎认领任务,请参考https://gitcode.com/Ascend/MindSpeed-MM/issues/356 社区任务池明确该任务的:

  • 完成的截止日期
  • 开发进展反馈
  • 微信答疑群
  • 任务交付注意事项

等信息。如果您同时认领了多项任务,但无法都能进行投入,可以在部分任务中回复退出.

麻烦您加入到对应微信群,群备注名修改为"社区任务+您的gitcode账号", 后续有相关消息和问题都可以在微信群咨询答疑。 等您加入到微信群后,我这边会在社区任务池里面登记任务责任人。

likedislike
gcw_MTeIQk9o
6月29日 评论:

认领这个任务

likedislike
ascend-robotascend-robot成员
7月3日 关联了看板:MindStudio ISSUE管理
Robin
Robin
7月4日 评论:

认领这个任务

likedislike
Jjacky_leeie
7月6日 关联了pull request:feat(fsdp2): 新增 Qwen2.5-VL 插件式 FSDP2 迁移与实践文档 (Issue #382)
jacky_leeie
7月6日 评论:

FSDP2 后端迁移实践交付

已按仓内《FSDP2 迁移指南》端到端将 Qwen2.5-VL 接入新版插件式 FSDP2 后端,并在 2×Ascend 910(CANN 9.0.0)上完成最小 E2E 训练验证。

👉 PR:https://gitcode.com/Ascend/MindSpeed-MM/merge_requests/2776

交付内容

  • 模型插件 mindspeed_mm/fsdp/models/qwen2_5_vl/:注册 HF Qwen2_5_VLForConditionalGeneration(走 ModelHub transformers 路径,无需复制 modeling)+ NPU 亲和融合算子(RMSNorm/vision-RoPE/SwiGLU,精度等价)。
  • 示例 examples/qwen2.5vl/qwen2_5_vl_3b_fsdp2_plugin.{yaml,sh}:数据分支 A 完全复用 huggingface(template=qwen2vl、collator 复用 DataCollatorForQwen2vl)。
  • 实践文档 docs/zh/practice/:
    • qwen2_5_vl_fsdp2_model_development.md(模型开发实践)
    • qwen2_5_vl_fsdp2_performance_tuning.md(性能优化实践)

验证结果

  • 端到端跑通 30/30 iteration,forward→loss→backward→optimizer step 正常,loss 为有效训练信号(0.67~1.21),稳态 ~629 ms/iter。
  • 性能:NPU 融合算子实测单步 670.6 ms → 629.1 ms(↑6.2%)。
  • 精度对齐:同种子逐 iteration 对比融合前后 loss,差异稳定在 ~1e-3(bf16 舍入),无系统性偏移。

未触碰框架核心代码,仅新增插件包、示例与文档。烦请评审,谢谢!

likedislike
young256young256成员
7月8日 关联了里程碑:MindSpeed 26.2.0
且奏长歌
且奏长歌成员
8月3日 评论:

@jacky_leeie
请您在完成任务后填表登记:MM社区任务管理 https://www.kdocs.cn/l/cdATVWqoh385

likedislike
8月3日 评论:

我要认领这个任务

likedislike
且奏长歌
且奏长歌成员
8月19日 评论:

@jacky_leeie 您好!

MindSpeed-MM 邀请您参加 2026-08-20 16:00 召开的WeLink会议

会议主题:MindSpeed MM 社区例会

会议内容:
1.社区关键issue解答
2.代码合入评审

会议链接:https://meeting.huaweicloud.com:36443/#/j/980887584

会议纪要&签到链接:https://etherpad.ascend.osinfra.cn/p/sig-MindSpeed-MM

likedislike
且奏长歌且奏长歌成员
9月16日 关联了里程碑:MindSpeed 26.3.0
jacky_leeie
14 天前 评论:

PR !2776 评审整改与交付更新(2026-10-13)

PR !2776 已追加并推送提交 53639ea,针对 PR 的人工评审意见完成本轮代码/示例/说明整改。

  • 规范 _v1 YAML/Shell 命名,补 README_v1.md;启动端口改为 6000,参数数组替代 ShellCheck 抑制,训练失败正确返回非零。
  • Dense Qwen2.5-VL 不再配置 EP;视觉塔默认可训练,可选冻结,并验证了图像 forward/backward 下的梯度。
  • 补 load、保存/恢复 optimizer/RNG、Chunk Loss/recompute/offload、profiler 和 memory 参数;YAML 已通过真实参数类型解析。
  • 适配 HF forward 与框架 Chunk Loss head 的接口,验证 loss/梯度;不兼容的 raw loss、cache/logits 裁剪和通用 Chunk MBS 组合提前报错。
  • 完整实践按题目要求提交到 issue:开发实践 #789、性能优化与精度验证 #790。仓内实践旧链接仅保留入口,README 负责操作说明。
  • 提供历史 NPU 四个已记录点的图表,以及本轮真实 CPU 30 步完整图/CSV/指标 JSON;明确两组数据的来源和验证范围。

本轮验证结果:20 项 CPU 数值回归通过,1 项 NPU 专项因无设备跳过。真实 HF 小型图文模型的 Chunk Loss、重计算、全部参数梯度、ViT 冻结/不冻结验证通过;30 次 AdamW 更新的最大绝对 loss 差 4.76837158203125e-7。脚本参数与失败退出码、Python 编译、链接及 diff 检查通过。

当前机器无 NPU/GPU,未宣称本轮已完成 NPU FA/Chunk Loss、完整 3B FSDP2/HCCL 或性能复测;历史 670.6→629.1 ms 与四个 loss 点不作为当前提交的新实测验收结论。PR 的对应线程已补回复,仍需维护者复核、目标 NPU 验证与最终合入验收。

远端状态:本轮提交的文档 CI四项均通过,CLA 为 ascend-cla/yes。追加修正后 PR 共两条提交,机器人标记 stat/needs-squash;请维护者按仓库流程 squash 合入。人工意见仍需检视人复核确认,PR 尚未合入。

likedislike
zhaoyuhang22成员
14 天前 评论:

感谢补充信息,我们已记录本次更新并会继续核查;有进展会在本 Issue 中同步。

likedislike