与默认示例相比，模型目录和 training.load 指向同一套减层模型的 pure 3D DCP，数据预处理目录指向对应 HF 配置。shuffle=false，cutoff_len=1024，num_workers=0，enable_preload=false；训练从初始权重开始，不恢复 optimizer/RNG。

model:
  attn_implementation: sdpa
  use_grouped_expert_matmul: true
  freeze:
    - model.visual.patch_embed
    - model.visual.blocks
    - model.visual.merger
features:
  enable_chunk_loss: false
  enable_dynamic_chunk_loss: false
  enable_activation_offload: false
  enable_ep_balance: false
  loss_cfg:
    loss_type: default
    router_aux_loss_coef: 0.0
  recompute: true
  recompute_plan:
    apply_modules:
      - model.visual.blocks.{*}
      - model.language_model.layers.{*}
    use_reentrant: true
training:
  train_iters: 2000
  seed: 1234
  micro_batch_size: 1
  gradient_accumulation_steps: 1
  lr: 1.0e-5
  lr_decay_style: cosine
  lr_warmup_ratio: 0.1
  weight_decay: 0
  clip_grad: 0.0
  no_load_optim: true
  no_load_rng: true
  save: ''

Megatron 的实际 attention 为 SDPA；其冻结范围只覆盖上面三个视觉子模块，其余视觉参数仍训练。其 Float16Module 将浮点 buffer 一同转成 BF16；pure 的 FSDP 参数混合精度不会这样处理。首个前向差异定位在视觉 RoPE 的 cos/sin。对齐 buffer 后，首步记录的 42 个张量字段（含 logits）逐元素一致。

独立验证入口在构建 Trainer 前安装如下包装，作用点为模型准备后、加载初始检查点前；FP32 参数和整数 buffer 不转换。该包装未放入生产 Trainer，也不是默认配置。可将它用于仓库外的实验入口，之后正常构建 Trainer(args=ConfigManager(config_class=Arguments).load_and_parse()) 并调用 train()；不要把训练步数改成短测步数后与 2000 步学习率计划比较。

import torch
from mindspeed_mm.fsdp.train.trainer import Trainer, ConfigManager, Arguments

original_get_model = Trainer.get_model

def get_model_with_bf16_buffers(self, *args, **kwargs):
    model = original_get_model(self, *args, **kwargs)
    for module in model.modules():
        for name, buffer in module.named_buffers(recurse=False):
            if buffer.is_floating_point():
                module._buffers[name] = buffer.to(torch.bfloat16)
        if hasattr(module, 'original_inv_freq') and hasattr(module, 'inv_freq'):
            module.original_inv_freq = module.inv_freq
    return model

Trainer.get_model = get_model_with_bf16_buffers
trainer = Trainer(args=ConfigManager(config_class=Arguments).load_and_parse())
trainer.train()

BF16 buffer 只用于复现既有 Megatron 的数值语义，不意味着 BF16 RoPE 比 FP32 更准确。仅启用 grouped-MoE 主要改善了性能，并不足以消除原来的精度差异。

原始日志、配置、运行库版本、Git diff、实际 buffer dtype、完整性检查和脚本已归档，证据包 504600 字节，SHA-256 009fdafdb233b376efbeaa52f44c4545d11838fd09652f7e3072963d69702b63，内部 80 个文件校验通过。本轮未保存新的训练后 checkpoint。Megatron 原始基线日志 SHA-256 为 7f2d944957223b28f8633f43c0b4444d6ff47e929d155393dd15b2b011902f51。