👋 您好，欢迎向 MindSpeed MM 提交 Issue！
我们已收到您的反馈，感谢你对开源社区的支持。🎉
📅 处理时效： 维护团队将在 24 小时内 查看并回复您的问题（工作日）。
🚨 紧急联系： 如果您的问题非常紧急，可通过以下方式联系我们：
💬 微信： WeChat
请确保 Issue 描述清晰，包含复现步骤和日志，这将帮助我们更快定位问题。谢谢！
/label add good-first-issue
认领这个任务
认领这个任务
欢迎认领任务，请参考https://gitcode.com/Ascend/MindSpeed-MM/issues/356 社区任务池明确该任务的：
- 完成的截止日期
- 开发进展反馈
- 微信答疑群
- 任务交付注意事项
等信息。如果您同时认领了多项任务，但无法都能进行投入，可以在部分任务中回复退出.
麻烦您加入到对应微信群，群备注名修改为"社区任务+您的gitcode账号", 后续有相关消息和问题都可以在微信群咨询答疑。 等您加入到微信群后，我这边会在社区任务池里面登记任务责任人。
认领这个任务
欢迎参加认领社区任务，当前一个任务只分配一个开发，根据评论认领时间确定，您可以后续观察该任务是否被释放退出，或者认领其他任务 https://gitcode.com/org/Ascend/discussions/4
认领这个任务
认领这个任务
任务进展更新与设计文档（2026-07-05）
一、本周进展更新
当前已完成任务需求拆解、参考实现梳理、技术路线确认，资源申请/环境准备推进中。
本任务当前处于资源申请/环境准备阶段，尚未开始有效训练验证。现阶段主要围绕 Qwen3-VL-30B 官方训练实现、MindSpeed-MM 训练框架、Megatron 后端适配方向、并行策略和验收指标进行前期梳理，为后续在 Atlas 800T A2/A3 平台上开展开发和验证做准备。
阶段性进展如下：
- 已梳理任务目标：基于 MindSpeed-MM 开放仓库，将
Qwen3-VL-30B开源训练代码迁移到 Ascend 平台并支持Megatron后端。 - 已梳理参考实现：参考
Qwen3-VL官方qwen-vl-finetune训练实现，后续将围绕 MindSpeed-MM 的训练入口和配置体系进行适配。 - 已确认技术路线：围绕
Megatron后端训练链路、PP/TP/EP等并行策略、模型训练配置和性能优化逐步推进。 - 已开始推进资源申请和环境准备，后续将在资源就绪后开展基础训练链路打通、功能验证和性能/精度评估。
下一阶段计划：
- 完成 Atlas 800T A2/A3 训练环境和依赖版本确认。
- 梳理 MindSpeed-MM 中多模态模型训练流程与
Megatron后端运行方式。 - 完成
Qwen3-VL-30B训练配置、并行策略和基础运行链路的初步适配。 - 在链路稳定后开展精度误差、训练稳定性和性能指标验证。
二、设计文档
1. 目标
本设计目标是基于 MindSpeed-MM 开放仓库，将 Qwen3-VL-30B 官方开源训练代码迁移到 Ascend 平台，支持 Megatron 后端训练，并结合 PP/TP/EP 等并行策略完成大模型训练链路适配、性能优化和实践文档沉淀。
任务完成后，期望在 MindSpeed-MM 中形成一套可复现的 Qwen3-VL-30B 训练方案，覆盖训练配置、并行策略、模型适配、运行说明、精度验证和性能评估。
2. 技术路线
整体路线以 MindSpeed-MM 现有训练框架为基础，以 Qwen3-VL-30B 官方 qwen-vl-finetune 实现为参考，以 Megatron 后端和 Ascend 平台训练能力为核心进行迁移适配。
第一阶段聚焦基础适配：
- 确认 Atlas 800T A2/A3 环境、依赖版本和训练运行条件。
- 梳理官方参考实现中的模型结构、训练流程、数据输入和关键训练参数。
- 对齐 MindSpeed-MM 的训练配置体系和
Megatron后端运行方式。 - 完成
Qwen3-VL-30B在目标框架下的基础训练链路设计。
第二阶段聚焦并行策略和训练稳定性：
- 围绕
PP/TP/EP等并行策略设计适合Qwen3-VL-30B的训练配置。 - 验证模型初始化、参数切分、训练前向/反向、优化器更新和 checkpoint 等关键流程。
- 处理迁移过程中可能出现的模型结构差异、数据处理差异、算子兼容和并行通信问题。
- 保证训练流程能够在目标硬件环境中稳定运行。
第三阶段聚焦精度和性能优化：
- 按任务要求对比参考实现训练结果，评估训练误差。
- 结合 Ascend 平台特点调整训练配置和并行策略。
- 分析训练吞吐、显存占用、通信开销和端到端效率。
- 沉淀开发模型实践文档和性能优化实践文档。
3. 验证方案
验证工作将围绕功能正确性、训练稳定性、精度误差和性能表现展开。
功能正确性方面，重点验证 Qwen3-VL-30B 能否在 MindSpeed-MM 中通过 Megatron 后端完成训练启动、数据读取、前向计算、反向传播、参数更新和 checkpoint 保存等关键流程。
训练稳定性方面，重点观察长时间训练过程中是否存在显存不足、通信异常、算子不兼容、梯度异常或进程退出等问题。
精度方面，将按照任务要求对比参考实现训练 5000 步后的结果，目标是平均误差满足验收要求。
性能方面，将在训练链路稳定后统计训练吞吐和端到端运行效率，目标是满足任务要求中相对 A100 的性能指标。
4. 交付内容
预计交付内容包括：
Qwen3-VL-30B在 MindSpeed-MM 上的训练脚本和 yaml 参数配置。- 基于
Megatron后端的模型训练适配。 - 面向 Ascend 平台的模型优化实现。
- 精度与性能验证结果。
- 开发模型实践文档。
- 性能优化实践文档。
- 相关 PR，并推进合入 MindSpeed-MM
main分支。
5. 风险与应对
主要风险包括 Ascend 训练资源到位时间、Qwen3-VL-30B 多模态训练链路复杂度、Megatron 后端并行策略配置复杂度、官方参考实现与 MindSpeed-MM 框架之间的差异，以及性能指标达成的不确定性。
应对方式上，将优先完成基础训练链路打通，再逐步推进并行策略和性能优化；对迁移过程中的问题进行分层定位，分别处理模型、数据、训练后端、并行策略、算子和环境问题，确保开发过程可拆解、可验证、可持续推进。
项目进展（2026-07-13）
状态概览
| 项目 | 当前状态 |
|---|---|
| 目标 | 将 Qwen3-VL-30B 迁移到 MindSpeed-MM，支持 Megatron Core 及 PP、TP、EP 并行 |
| 当前阶段 | 模型适配与低成本链路验证 |
| 本周结论 | Qwen3-VL-2B TP2、PP2 与 tiny-MoE EP1/EP2 均已打通，正在收敛官方数值差异 |
| 当前分支 | codex/qwen3vl-mcore |
| 验收状态 | 未验收；10/100 步数值对齐、30B 实模、5000 步精度及性能仍待验证 |
本周完成事项
| 方向 | 进展 | 状态 |
|---|---|---|
| 30B 训练入口 | 新增 Qwen3-VL-30B 权重转换脚本、训练脚本和 SFT YAML 配置 | 已完成骨架 |
| 模型适配 | 修复 MoE grouped expert spec、DeepStack 重计算和不均匀 PP checkpoint 分片 | 已完成定向验证 |
| 配置与数据 | 完善 YAML/CLI 优先级、官方 smart-resize、占位符空白和严格视觉塔冻结 | 已完成定向验证 |
| 测试建设 | 新增单元测试、系统测试入口和官方/Megatron 双格式 loss 对齐工具 | 53 项定向单测通过 |
| 远端环境 | 完成 Python、CANN、PyTorch、MindSpeed-MM 和 Megatron 依赖准备 | 已完成 |
| 验证模型 | 通过 ModelScope 下载 Qwen3-VL-2B-Instruct | 已完成 |
| EP 验证 | tiny MoE EP1/EP2 同初值同数据三步数值对齐 | 已通过 |
| TP 验证 | Qwen3-VL-2B TP=2 转换、训练、保存和恢复 | 已通过 |
| PP 验证 | Qwen3-VL-2B PP=2 转换、三步训练及 checkpoint 保存 | 已通过 |
关键验证数据
Tiny MoE EP1/EP2
| 指标 | 结果 |
|---|---|
| 训练步数 | 各 3 步 |
| 首步相对误差 | 0.011% |
| 三步平均相对误差 | 0.0094% |
| NaN / skipped step | 0 / 0 |
| Checkpoint | iteration 3 保存成功 |
该结果证明基础 EP、HCCL 和 Megatron 训练链路可用，但不能替代 Qwen3-VL-30B 验收。
Qwen3-VL-2B TP=2
| 指标 | 结果 |
|---|---|
| 权重转换 | 成功 |
| 数据严格对齐后的三步 Loss | 4.097857 → 3.412176 → 1.408339 |
| 前向 / 反向 / 优化器 | 均可执行 |
| Checkpoint round-trip | iteration 1 保存成功；恢复后完成 iteration 2 并再次保存 |
首次保存曾出现 deepstack layer 分片索引冲突；修复后保存与恢复链路均已通过。
Qwen3-VL-2B PP=2
| 指标 | 结果 |
|---|---|
| LLM 分层 | 10 + 18 |
| ViT 分层 | 24 + 0 |
| 三步 Loss | 5.061316 → 4.361483 → 1.923632（数据最终对齐前） |
| Checkpoint | iteration 3 保存成功 |
PP2 验证过程中修复了动态序列配置、ViT 总层轴、不均匀 decoder 层轴及 SwiGLU factory shard 映射。最终数据对齐后的 PP2 仍需重跑。
官方输入与权重对齐
| 项目 | 结果 |
|---|---|
| token IDs / labels | 逐 token 完全一致 |
pixel_values / image_grid_thw |
逐元素完全一致 |
| HF→MCore→HF 权重 | 625/625 tensor 的 key、shape、dtype 和元素完全一致 |
| 当前首步 loss 相对误差 | 8.57%，尚未达标 |
当前差异已经收敛到前向算子/模型实现路径。下一步比较官方 SDPA/eager 与 MCore eager/Flash，排除短跑 scheduler 取整影响后再进入 10/100 步。
风险与待办
| 风险或缺口 | 影响 | 处理计划 |
|---|---|---|
| 官方与 MCore 首步 loss 仍差 8.57% | 尚未达到预设 0.1% 首步门槛 | 做 SDPA/eager、Flash 和 fused rotary 消融，逐层定位前向差异 |
| 本地仍有较多未提交改动 | 暂不适合发起 PR | 完整测试、diff 审查后拆分小提交 |
| 30B 实模尚未运行 | 无法判断真实显存、稳定性和性能 | 大规模资源就绪后执行转换与训练 |
| 5000 步及参考精度未验证 | 尚未满足精度验收 | 建立固定数据和参考实现对齐后长跑 |
| 尚无性能标杆结果 | 尚未满足性能验收 | 记录完整环境和端到端吞吐，获取可比基线 |
下周计划
- 完成官方 SDPA/eager 与 MCore eager/Flash 首步消融并修复真实前向缺口。
- 重跑最终数据路径下的 TP2、PP2 和 tiny-MoE EP1/EP2 3/10/100 步验收。
- 提取 loss、grad norm、单步耗时、吞吐和显存数据，补齐两篇 Issue 文档。
- 完成全量 diff 审查、单测和 checkpoint round-trip 后提交本地分支。
- 在正式卡数资源就绪后启动 30B 5000 步精度与性能验证。
项目进展（2026-07-20）
状态概览
| 项目 | 当前状态 |
|---|---|
| 目标 | 将 Qwen3-VL-30B 迁移到 MindSpeed-MM，支持 Megatron Core 及 PP、TP、EP 并行 |
| 当前阶段 | 两卡分项验收完成，进入精度缺口定位与 PR 收口 |
| 本周结论 | 数据、PP2、TP2、EP2、checkpoint 和性能验证均已闭环；官方 SDPA 与 MCore PP2 首步接近，但 100 步训练轨迹未达到 1% 对齐 |
| 当前分支 | codex/qwen3vl-mcore |
| 最新提交 | 0c8f988a chore: complete Qwen3-VL two-card validation |
| 验收状态 | 两卡功能与性能预验收通过；5000 步精度、30B 实模、正式卡数性能和上游 PR 尚未完成 |
本周完成事项
| 方向 | 进展 | 状态 |
|---|---|---|
| 公开数据 | 固定 revision 的 ChartQA 子集扩展至 256 条不重复图片，生成并逐文件复验 SHA256 manifest | 已完成 |
| 官方基线 | 官方 Qwen3-VL-2B、SDPA、原生 BF16 AdamW 完成同机 100 步训练 | 已完成 |
| PP 验证 | MCore PP2 完成 100 步训练、稳定性检查和 checkpoint 保存 | 已完成 |
| TP 验证 | MCore TP2 完成 100 步；完整保存并恢复模型、optimizer、RNG 和 scheduler，续跑至 iteration 101 | 已完成 |
| EP 验证 | tiny Qwen3-VL-MoE 使用共同初始 checkpoint，完成 EP1/EP2 的 10 步与 100 步严格对齐 | 已完成 |
| 性能采样 | 排除前 10 个预热步，采集官方、PP2、TP2 的单步耗时、吞吐和 HBM 峰值 | 已完成 |
| 验收工具 | 增加稳健 loss 指标、性能汇总和 HBM 轮询工具，并修复旧输出文件污染 manifest 的问题 | 已完成 |
| 测试与审查 | 本地 18 项、远端 Ascend 环境 22 项测试通过；规范与规格双轴审查无剩余 P0/P1 | 已完成 |
| 文档 | 更新 README、训练实践草稿和性能优化实践草稿 | 已完成 |
两卡验收结果
数据与可复现性
| 项目 | 结果 |
|---|---|
| 数据集 | swift/ChartQA |
| 固定 revision | 3ed25883ff5a9c95b6db600eb920844330703392 |
| 不重复图片数 | 256 |
| 源 shard SHA256 | 169979f8a8c64ba93ac1be22916bf9b49c9c2e4c57f5c0104e6f671f2aacd83a |
| 标注 SHA256 | 74b42ae5f5b5ac1b55347752a5624e71bfa1f6064e5f72241550d66a29bdba48 |
| manifest SHA256 | 98b3c5e913ae21a0c340acce1a9c873c8556e2a2847c9d937bef83ccbea05f67 |
manifest 覆盖当前标注引用的 256 个图片文件及标注文件，不包含缓存或历史输出。第三方图片仅保留在远端测试目录，不进入 PR。
官方 SDPA 与 MCore PP2
| 指标 | 结果 |
|---|---|
| 首步绝对误差 | 0.00722 |
| 首步相对误差 | 0.202% |
| 100 步平均每步相对误差 | 49.16% |
| 100 步相对误差中位数 | 34.56% |
| 全程平均绝对误差 | 0.28525 |
| 全程归一化绝对误差 | 37.35% |
| 官方首 10 / 尾 10 步平均 loss | 1.01291 → 0.55660 |
| PP2 首 10 / 尾 10 步平均 loss | 1.09393 → 0.64318 |
两侧均稳定收敛，且前三步相对误差分别为 0.20% / 2.73% / 1.68%。参数更新后曲线逐渐分离，部分 minibatch 出现较大尖峰，因此当前不能宣称达到参考实现的 1% 精度要求。
TP2 checkpoint 保存与恢复
TP2 完成 100/100 步，无 NaN、skipped step 或 OOM。iteration 100 保存约 24 GiB 的完整 checkpoint，随后明确加载 distributed optimizer、RNG 和 checkpoint scheduler。
恢复运行从 iteration 100 继续至 101，使用原调度器的 lr=0 完成更新并再次保存约 24 GiB checkpoint。转换得到的 release checkpoint 仍可作为 iteration 0 初始权重加载。
tiny-MoE EP1/EP2
tiny-MoE 先以 EP1、学习率 0 生成共同初始 checkpoint，再让 EP1 和 EP2 分别加载。共同 checkpoint 的文件清单 SHA256 为 d986773b802f4a733f6eb9e87d39208e1efe428f270dcbecf994e7cb51b93708。
| 指标 | 10 个新增训练步 | 100 个新增训练步 |
|---|---|---|
| 首步相对误差 | 0 |
0 |
| 平均绝对误差 | 0.000437 |
0.000737 |
| 平均每步相对误差 | 0.00363% |
0.00689% |
| 归一化绝对误差 | 0.00362% |
0.00679% |
该结果证明 EP1/EP2 在共同初值、共同数据和相同优化配置下高度一致。它只用于验证专家并行数值对齐，不能替代官方实现与 MCore 的模型精度验收。
稳态性能
以下结果统一使用 global batch size 2，并排除前 10 个预热步。HBM 由 0.5 秒间隔的 npu-smi 采样得到。
| 场景 | 平均单步时间 | 中位数 / P95 | 吞吐 | HBM 两卡峰值 |
|---|---|---|---|---|
| 官方 2B SDPA | 305.1 ms |
302.3 / 318.8 ms |
6.556 samples/s |
26,391 / 25,862 MiB |
| MCore 2B PP2 | 265.1 ms |
262.5 / 287.5 ms |
7.544 samples/s |
22,494 / 26,679 MiB |
| MCore 2B TP2 | 410.0 ms |
395.4 / 467.9 ms |
4.878 samples/s |
21,407 / 20,882 MiB |
PP2 在当前两卡配置下达到官方同机吞吐的 1.151x，TP2 为 0.744x。该结果只反映 2B 两卡分项验证，不能外推至正式 30B、TP2-PP4-EP2 拓扑。
精度口径与当前判断
需求中的“对比参考实现训练 5000 步平均误差小于 1%”缺少公式，可能指原始逐步平均相对误差、整体归一化误差，或滑动平均 loss 曲线误差。三种口径可能给出不同结论。
当前建议先向验收方书面确认：样本是否必须逐步一致、loss 聚合位置、近零 loss 处理方式、平滑窗口和最终判定公式。在口径确认前，同时保留以下指标：
- 原始逐步平均相对误差，反映最严格的 step-wise 对齐；
- 全程归一化绝对误差，降低近零 loss 的放大效应；
- 首尾窗口和滑动平均曲线，判断总体收敛趋势；
- 最后固定窗口的平均 loss 差，衡量最终训练状态。
本轮官方/MCore 的 49.16% 是原始 100 步逐点相对误差平均值；它不表示最终模型精度下降 49%，但足以说明两套实现的训练更新尚未严格对齐。
风险与真实缺口
| 风险或缺口 | 当前影响 | 处理计划 |
|---|---|---|
| 官方/MCore 参数更新后轨迹分离 | 当前无法满足按逐步 loss 解释的 1% 精度要求 | 逐项核对 optimizer、梯度聚合、batch 语义、LR 步进和 attention 数值差异 |
| 5000 步验收口径不明确 | 可能出现实验完成但统计口径不被认可 | 在长跑前取得验收方书面公式与阈值确认 |
| 30B 实模尚未运行 | 真实显存、MoE 通信、PP bubble 和稳定性未知 | 正式资源就绪后先做转换与短跑，再决定 5000 步窗口 |
| 当前只有两卡 | 无法验证正式 TP2-PP4-EP2 组合 | 获得至少 4 卡后优先补组合拓扑；16 卡资源就绪后执行正式配置 |
| 无同配置 A100 标杆 | 原始 0.8x A100 门槛无法直接验证 |
保留同机官方基线，并与验收方确认替代性能口径 |
| PR 尚未发起 | 代码尚未进入社区检视流程 | 完成精度缺口判断和最终 diff 复核后推送 fork 并发起 PR |
下周计划
- 与验收方确认 5000 步“平均误差小于 1%”的正式公式、近零规则、样本对齐要求和统计窗口。
- 用共同初值和共同 batch 做单步更新拆解，对比 loss、grad norm、梯度聚合、optimizer state、参数增量和 LR scheduler。
- 分别运行 LR=0、单步更新和短程多步实验，定位差异首次明显放大的模块与 iteration。
- 只有在 100 步指标达到确认阈值后，再启动 5000 步长跑，避免消耗资源复现已知偏差。
- 将最终命令、环境、manifest、日志摘要、精度曲线和性能数据整理为两篇 Issue，并准备上游 PR 描述。
- 获取更多 NPU 后补 TP/PP/EP 组合拓扑，正式资源就绪后验证 Qwen3-VL-30B。
本周进展
-
完成前期两卡实验结果整理，归档 ChartQA 固定数据、官方/MCore loss 对齐、TP/PP/EP 功能验证、checkpoint 恢复、性能和 HBM 数据。
-
将项目迁移到 4-NPU Atlas 800T 环境，完成 CANN、PyTorch、torch-npu、MindSpeed、Megatron-Core 和项目虚拟环境核对；四卡 HCCL all-reduce 及 28 项定向测试通过。
-
在新环境重新核验 ChartQA、Qwen3-VL-2B 和共享 30B 权重，固定 revision 与关键 SHA256 均与原环境一致。
-
完成 Qwen3-VL-2B 的 TP2-PP2 四卡训练验证。3 步训练、iteration 3 保存与恢复、续跑至 iteration 4 均成功，独立 100 步运行也已完成。
-
TP2-PP2 排除预热后的平均单步时间为 490.24 ms，吞吐为 4.080 samples/s；四卡 HBM 峰值约 13.9–16.3 GiB。
-
tiny-MoE EP1/EP2 在共同初始 checkpoint 上完成 100 步对齐，平均相对误差为 0.00937%；官方 SDPA 三步冒烟也已在新环境通过。
-
在 NPU0–1 和 NPU2–3 上并行完成官方 SDPA/MCore PP2 的同机同数据 100 步复验。首步相对误差为 1.852%，100 步平均每步相对误差为 48.52%，归一化绝对误差为 36.25%；官方首/尾 10 步均值为 1.02115→0.57865，PP2 为 1.08624→0.69693。结果与旧机 49.16% 的逐步误差量级一致，确认是待定位的真实实现缺口。
下周计划
-
基于共同 batch 继续定位官方 SDPA 与 MCore 参数更新后的 loss 轨迹差异，重点核对 optimizer、梯度聚合、LR 步进和 attention 数值路径。
-
在四卡环境补充必要的 TP/PP/EP 组合回归，并对 Qwen3-VL-30B 做权重转换和低成本可行性检查。
-
汇总最终命令、环境版本、固定数据、精度曲线、性能和已知限制，整理训练实践与性能优化实践 Issue。
-
完成代码与测试收口，按小提交整理分支，推送 fork 并向 MindSpeed-MM 主分支发起 PR。
@gcw_DZ93mYcV
请您在完成任务后填表登记：MM社区任务管理 https://www.kdocs.cn/l/cdATVWqoh385
@gcw_DZ93mYcV
请您在完成任务后填表登记：MM社区任务管理 https://www.kdocs.cn/l/cdATVWqoh385
@WendongPang
任务预计还要1～2周完成，卡点主要在申请gpu资源。
项目 1 周进展（2026-08-03）
本周进展
-
完成 Qwen3-VL-30B 的 LoRA 版本开发与四卡验证。当前方案采用 TP1-PP2-EP2，仅训练部分参数，训练、checkpoint 保存及恢复均已通过。
-
完成全参数训练配置、转换脚本和启动脚本。现有四卡机器无法容纳 30B 全参数训练所需的梯度和优化器状态，相关功能暂以 LoRA 结果完成验证。
本周计划
-
本周申请更多昇腾机器资源，尝试按 TP2-PP4-EP2 运行 Qwen3-VL-30B 全参数微调。
-
根据全参数训练结果补充精度、性能和资源占用记录，更新实践文档及验收材料。
上周进展：完成 30B LoRA 四卡训练、保存和恢复验证；确认四卡无法进行 30B 全参数训练。
本周 TODO：请@WendongPang @WendongPang
管理员确认能否提供更多卡；若能，尝试全参数训练；若不能，继续完成 LoRA 100 步、性能和验收材料。
上周进展：基于30B lora进行验收实验，推进megatron版本和基线版本的5000步实验，由于卡时不够受阻。
本周 TODO：申请更多卡时完成验收实验
@gcw_DZ93mYcV 您好！
MindSpeed-MM 邀请您参加 2026-08-20 16:00 召开的WeLink会议
会议主题：MindSpeed MM 社区例会
会议内容：
1.社区关键issue解答
2.代码合入评审
会议链接：https://meeting.huaweicloud.com:36443/#/j/980887584
会议纪要&签到链接：https://etherpad.ascend.osinfra.cn/p/sig-MindSpeed-MM
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
基于MindSpeed MM开放仓库的源码，将开源训练代码迁移到MM上，支持megatron后端，PP，TP，EP等并行策略。
本期任务的具体信息如下：
（1）模型名称：qwen3vl - 30B
（2） 模型源码链接：
https://github.com/QwenLM/Qwen3-VL/tree/main/qwen-vl-finetune
（3） 开发平台：Atlas 800T A2或者A3
一、任务交付件
本期任务为基于MindSpeed MM开放仓库代码进行功能扩展，请合入开发代码。将开源模型迁移到仓上megatron分支。主要开发点如下：
（1） 模型训练脚本和yaml参数配置
（2） 模型优化实现
（3）参考实现：https://github.com/QwenLM/Qwen3-VL/tree/main/qwen-vl-finetune
二、验收标准：
1）精度/性能要求
精度：
对比参考实现训练5000步平均误差小于1%
性能：
不低于0.8xA100
2）实践文档：
开发模型实践1篇，性能优化实践1篇
3）任务完成标准
本次任务完成标准为：
精度/性能（根据实际要求）达标，PR完成合入，实践文档提交到仓库issue。
PR 合入
本地完成测试验证后，向MindSpeed-MM的main分支发起PR。
对接人
待补充
欢迎加入社区，感谢您对社区的贡献 🎉!
替代方案
补充说明
欢迎加入社区，感谢您对社区的贡献 🎉!