Part 6 — 首个模型迁移 models/qwen3_5_v2/

把现有 models/qwen3_5/ 重写为 Module 协议版，端到端打通"新 Config 路径"。旧 models/qwen3_5/ 完全保留。

1. 目标

1. 用 M4 的 models/common/ 组件重写 Qwen3.5 dense 模型，验证 Module 协议在真实模型上可用。
2. 实现 set_qwen3_5_sharding_config()，把 sharding 声明灌进 model config 树。
3. 实现 parallelize_qwen3_5_v2()：CP → model.parallelize(tp_mesh) → AC → FSDP。
4. 数值与旧 qwen3_5 同种子 8-card 训练 loss 误差 ≤ 1e-4。

2. 任务边界

新增目录 hyper_parallel/models/qwen3_5_v2/：

3. 与旧 spec 的关键差别

4. 核心实现

4.1 Qwen3_5Model.Config 字段对齐旧 Qwen3_5Config

直接对照 models/qwen3_5/model.py:82 的所有字段（vocab_size / hidden_size / intermediate_size / num_hidden_layers / num_attention_heads / num_key_value_heads / head_dim / max_position_embeddings / rms_norm_eps / attention_bias / tie_word_embeddings / attn_output_gate / rope_theta / partial_rotary_factor / mrope_section / full_attention_interval / linear_num_value_heads / ...）。__post_init__ 计算 layer_types（与 model.py:126 完全一致）。

4.2 parallelize_qwen3_5_v2 流程

def parallelize_qwen3_5_v2(
    model, parallel_dims, *,
    training, parallelism, activation_checkpoint, compile, dump_folder,
):
    # 0. 校验：TP 暂不支持 linear_attn 层
    if parallelism.tensor_parallel_degree > 1:
        raise NotImplementedError(
            "Qwen3_5 v2 TP for linear-attention layers is not yet implemented. "
            "Set parallelism.tensor_parallel_degree=1."
        )
    if parallelism.expert_parallel_degree > 1:
        raise NotImplementedError("Qwen3_5 v2 dense has no experts.")

    # 1. CP: 包装 inner attention（仅当 cp > 1 时）
    if parallel_dims.cp_enabled:
        apply_cp_to_forward(model, parallel_dims.world_mesh["cp"])

    # 2. TP: 声明式递归（仅当 tp > 1）
    if parallel_dims.tp_enabled:
        model.parallelize(parallel_dims.world_mesh["tp"])

    # 3. AC（复用旧 _apply_ac 算法）
    _apply_ac(model, activation_checkpoint)

    # 4. FSDP（复用旧 _apply_fsdp 算法）
    _apply_fsdp(model, parallel_dims.world_mesh, training)

    return model

4.3 set_qwen3_5_sharding_config 处理 attn_output_gate

def set_qwen3_5_sharding_config(cfg: Qwen3_5Model.Config, *, loss_parallel, enable_sp):
    set_decoder_sharding_config(
        cfg, loss_parallel=loss_parallel, enable_sp=enable_sp,
    )
    # Qwen3.5 特殊：attn_output_gate=True 时 q_proj 列数翻倍
    # 仍然按 Shard(0) 切，head 维度沿 TP 切分自然成立
    if cfg.attn_output_gate:
        for block_cfg in cfg.layers:
            if block_cfg.layer_type == "full_attention":
                # q_proj.out_features = num_heads * head_dim * 2
                # colwise_config() 已经返回 Shard(0)，与 gate 拆分兼容
                pass    # 不需要额外处理，注释说明语义

4.4 update_from_config

class Qwen3_5Model(Decoder):
    def update_from_config(self, trainer_config):
        # 把 trainer_config 的运行时参数同步到 model config 树
        self.rope.max_seq_len = trainer_config.training.seq_len
        # 调声明式 sharding 助手
        set_qwen3_5_sharding_config(
            self.config,
            loss_parallel=trainer_config.parallelism.loss_parallel,
            enable_sp=trainer_config.parallelism.enable_sp,
        )

5. 与 torchtitan 接口差异说明

6. 开发步骤

7. 验证标准

新建 tests/torch/st/qwen3_5_v2/：

通过门槛：

• 4 个 ST 全绿。
• 旧 qwen3_5 训练 0 受影响。

8. 工期 & 依赖