变更摘要

本 PR 为 MindSpeed-MM FSDP2 训练框架新增 MiniMax M3 VL 多模态模型的完整训练支持，主要包括：引入 NPU Flash Attention 加速推理、实现 MoE 权重融合与 DCP 格式转换、删除本地配置类改为直接依赖 transformers 官方实现、添加多模态数据链路插件与训练模板，以及提供 FSDP2 分布式训练的示例配置和启动脚本。

主要改动

• NPU Flash Attention 接入：在 modeling_minimax_m3_vl.py 中新增 full_attention_fa_forward 函数，强制使用 flash_attention_2 且输入布局为 BNSD，并分别在文本 attention（MiniMaxM3VLAttention）和视觉 attention（MiniMaxM3VLVisionAttention）的 forward 路径中，当 attn_implementation == "flash_attention_2" 时路由到该 NPU FA wrapper。

• NPU Grouped MoE 与融合算子：MiniMaxM3VLExperts 新增 _forward_npu_grouped_moe 和 ep_forward 方法，调用 grouped_matmul、permute、unpermute 等 NPU 融合算子完成 expert 计算，并通过 _get_grouped_weights 缓存转置权重（按 _version 失效），避免每次 forward 重复 transpose+contiguous；同时 MiniMaxM3VLRMSNorm 和 apply_rotary_pos_emb 在 IS_NPU_AVAILABLE 时分别替换为 torch_npu.npu_rms_norm 和 torch_npu.npu_rotary_mul。

• MoE/DCP 权重转换器：新增 checkpoint/vlm_model/converters/minimax_m3.py，实现 MiniMaxM3Converter 类。它将 HF 格式的 gate_proj/up_proj 合并为 gate_up_proj，将 MoE expert 的 w1、w3 concat 为 gate_up_proj 并按 expert 堆叠、w2 按 expert 堆叠为 down_proj，同时完成 key 映射（如 block_sparse_moe.gate → mlp.gate），最终追加到 DCP 分片中。

• 配置类收敛与模型结构适配：删除本地 configuration_minimax_m3_vl.py（226 行），__init__.py 改为从 transformers 直接导入 MiniMaxM3VLConfig 等；MiniMaxM3VLDenseMLP 将 gate_proj + up_proj 双线性层合并为单一的 gate_up_proj；MiniMaxM3SparseForConditionalGeneration 新增 _truncate_minimax_m3_layer_config 方法，在配置实例化前按 num_hidden_layers 截断 layer_types、mlp_layer_types 等逐层数组，并在 forward 中支持 chunk loss 模式。

• 数据链路与训练入口：在 mm_plugin.py 中新增 MiniMaxM3VLPlugin 处理图像/视频 token 展开和 processor 调用，在 template.py 中注册 minimax_m3_vl 对话模板；新增 examples/minimax_m3_vl/minimax_m3_config.yaml 与 finetune_minimax_m3.sh，提供 DCP 加载、EP alltoall、recompute、chunk loss 等完整 FSDP2 训练配置。

代码审查

现已完成全面审查。以下是最终总结。

关闭摘要

已审查文件数：8

按优先级统计：

• P0：2 个
• P1：0 个
• P2：1 个
• P3：2 个

总体风险评估：🔴 高风险。两个 P0 问题会导致非 NPU 环境下的模块导入崩溃（import torch_npu）以及死代码中存在未定义变量（_DISABLE_NPU_AFFINITY_OPS）。这些应在合入前修复。Shell 脚本的健壮性问题（缺少 set -euo pipefail）属于中等风险，建议一并处理。

⛔ 需要修改

/approve

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.