What type of PR is this?

/kind feature

What does this PR do / why do we need it:

本 PR 为 Qwen3.5 dense、Qwen3.5-MoE 和 Qwen3-VL-MoE 补齐统一 Trainer 的真实训练链路：模型构造与 checkpoint 转换、数据 registry、meta 参数物化、优化器、以及 TP/CP/EP/FSDP/HSDP/PP/VPP 组合并行。

• models/：三个模型族的模型定义、state-dict 转换和模型自有并行方案。
• trainer/：配置、DeviceMesh、数据加载、PP stage、loss/gradient 汇总和 optimizer step。
• data/：dummy、VL dummy、HF/JSON、preset tensor 和 Megatron 数据入口。
• core/：组合并行实际触发的 PP 共享梯度、嵌套 FSDP、Partial Add/Sub 和 output reduction dtype 修复。

公共 core 修改的逐文件根因见 Issue #282。

Which issue(s) this PR fixes:

Fixes #282

Test Plan and Test result：What scenarios were tested, and what were the verification results（Function, performance, reliability, etc.）：

1. 验证口径

共同口径：20 个连续 optimizer steps；param_dtype=bfloat16、reduce_dtype=float32、max_grad_norm=0、global batch=4、micro batch=1、seed=1234。每个候选必须完整输出 steps 1..20 且 loss 全部有限；通过条件为相对同模型单卡基线的最大 loss 绝对误差 <= 0.005。

2. 支持的数据集

当前仅支持 streaming: false；真实数据可配置 num_workers、prefetch_factor、pin_memory 和 shuffle。

3. Step-by-step 拉起方式

Step 1：准备环境

export HYPER_PARALLEL_PLATFORM=torch
export HCCL_DETERMINISTIC=true
export LCCL_DETERMINISTIC=1
export ASCEND_DETERMINISTIC=true
export FLASH_ATTENTION_DETERMINISTIC=1
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

Step 2：创建单卡 dense YAML

YAML 可放在仓库外；下面的 checkpoint 路径替换为实际路径。

model:
  name: qwen3_5
  weights_path: /path/to/Qwen3.5-0.8B-Base
  tokenizer_path: /path/to/Qwen3.5-0.8B-Base
  config_overrides:
    num_hidden_layers: 4

data:
  type: dummy
  max_seq_len: 64

train:
  max_steps: 20
  num_train_epochs: 1
  global_batch_size: 4
  micro_batch_size: 1
  seed: 1234
  backend: torch
  init_device: meta
  accelerator:
    dp_shard: 1
    comm_fusion: true
  optimizer:
    type: adamw
    lr: 1.0e-4
    lr_min: 1.0e-4
    lr_decay_style: constant
    lr_warmup_ratio: 0.0
    max_grad_norm: 0.0
    weight_decay: 0.0
    loss_aggregation: token_weighted
    foreach: false
  mixed_precision:
    enabled: true
    param_dtype: bfloat16
    reduce_dtype: float32
    output_dtype: float32
  gradient_checkpointing:
    activation_checkpoint: none
  checkpoint:
    output_dir: outputs/qwen3_5_single
    save_steps: 0
    save_hf_weights: false
  logging:
    log_steps: 1
    report_throughput: false
  debug:
    deterministic: true

Step 3：切换模型

Qwen3.5-MoE 使用 scripts/train_lm.py，把 YAML 中的模型和优化器改为：

model:
  name: qwen3_5_moe
  weights_path: /path/to/Qwen3.5-35B-A3B
  tokenizer_path: /path/to/Qwen3.5-35B-A3B
  config_overrides:
    num_hidden_layers: 1
train:
  optimizer:
    type: adamw
    lr: 5.0e-6
    lr_min: 0.0
    lr_decay_style: cosine
    lr_warmup_ratio: 0.1
    max_grad_norm: 0.0
    weight_decay: 0.0
    loss_aggregation: token_weighted
    foreach: false

Qwen3-VL-MoE 使用 scripts/train_vl.py，替换模型和数据段：

model:
  name: qwen3_vl_moe
  weights_path: /path/to/Qwen3-VL-30B-A3B-Instruct
  tokenizer_path: /path/to/Qwen3-VL-30B-A3B-Instruct
  freeze_modules:
    - model.visual
  config_overrides:
    vl: true
    text_config:
      num_hidden_layers: 1
data:
  type: vl_dummy
  max_seq_len: 64
  vl_grid_t: 2
  vl_grid_h: 2
  vl_grid_w: 2

Step 4：运行单卡 baseline

ASCEND_RT_VISIBLE_DEVICES=0 python3 -m torch.distributed.run \
  --nproc-per-node=1 --master_addr=127.0.0.1 --master_port=29500 \
  scripts/train_lm.py /path/to/qwen3_5_single.yaml

ASCEND_RT_VISIBLE_DEVICES=0 python3 -m torch.distributed.run \
  --nproc-per-node=1 --master_addr=127.0.0.1 --master_port=29501 \
  scripts/train_vl.py /path/to/qwen3_vl_moe_single.yaml

Step 5：只修改 train.accelerator 生成并行 YAML

dense/MoE 表格结果使用 comm_fusion: true，VL-MoE 使用 comm_fusion: false；复现时应保持对应模型口径。EP 样例另保留 moe_token_dispatcher_type: all_to_all 和 npu_nums_per_device: 1。

Step 6：按卡数运行并行 YAML

ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 python3 -m torch.distributed.run \
  --nproc-per-node=4 --master_addr=127.0.0.1 --master_port=29510 \
  scripts/train_lm.py /path/to/qwen3_5_tp2_fsdp2.yaml

其他组合只需同步修改 ASCEND_RT_VISIBLE_DEVICES、--nproc-per-node 和 YAML 的 train.accelerator；VL 模型将入口换成 scripts/train_vl.py。

4. 20-step 单卡与并行结果

Qwen3.5 dense

Qwen3.5-MoE

Qwen3-VL-MoE