Part 4 — hyper_parallel/models/common/ 通用模型组件 + decoder_sharding 助手

把 hyper_parallel/models/modules/ 现有裸 nn.Module 组件重写为 Module 协议版，并提供 torchtitan 风格的声明式 sharding 助手。旧 models/modules/ 保留供老路径继续用。

1. 目标

1. 提供 Module 协议（M1）兼容的通用组件库：Linear / Embedding / RMSNorm / RoPE / GQAttention / FeedForward / MoE / TransformerBlock / Decoder。
2. 提供 9 个声明式 sharding 助手，把 ShardingConfig 灌进模型 config 树。
3. 完全不出现 TP / FSDP 代码 —— 只建图。

2. 任务边界（新增文件）

新增包目录 hyper_parallel/models/common/：

3. 关键约束

• 禁止顶层 import torch.nn as nn。Module 类来自 from hyper_parallel.protocols import Module；张量算子优先用 platform。

• 每个组件必须有 Config + __init__(self, config)。示例：

  class Linear(platform.Linear, Module):
      @dataclass(kw_only=True, slots=True)
      class Config(Module.Config):
          in_features: int
          out_features: int
          bias: bool = True
          _param_init: Function.Config = field(
              default_factory=lambda: Function.Config(fn=kaiming_uniform_)
          )
  
      def __init__(self, config: "Linear.Config"):
          platform.Linear.__init__(
              self, config.in_features, config.out_features, bias=config.bias,
          )
          Module.__init__(self, config)
  

• 完全不出现 TP / FSDP 代码，只建图。

• 数值兼容：组件 forward 必须与 models/modules/ 旧版同种子 bit-exact。

4. decoder_sharding.py 9 个助手

对应 torchtitan/models/common/decoder_sharding.py，函数签名一致。

Replicate / Shard / Partial 直接来自 hyper_parallel.core.dtensor.placement_types；MeshAxisName 来自 M1。

5. 与 torchtitan 接口差异说明

6. 开发步骤

Step 2 数值对齐示例：

# 与 models/modules/rmsnorm.py 同种子对齐：
torch.manual_seed(42)
old = RMSNorm_old(hidden=256)
new = RMSNorm.Config(hidden=256).build()
# 复制参数：
new.weight.data.copy_(old.weight.data)
x = torch.randn(2, 8, 256)
assert torch.equal(old(x), new(x))

7. 验证标准

新建 tests/torch/ut/models/common/：

通过门槛：

• 8 个 UT 全绿、数值 bit-exact。
• 存量 models/modules/、models/qwen3_5/ 0 改动。

8. 工期 & 依赖