背景

在 8 × Ascend 910B 上，系统对比 torch_npu FSDP2（czr_pta/pytorch → torch_npu.distributed.fsdp）与 hyper_parallel Torch 后端 fully_shard 的训练 step 性能。

• 自研 benchmark：bench_qwen35_35b_fsdp2/
• 模型：Qwen3.5-35B-A3B 形状（简化实现，非官方完整模型）
• 通用配置：batch_size=1，world_size=8，warmup=2，measure=20，HYPER_PARALLEL_PLATFORM=torch，comm_fusion=False
• 交错实验：每轮 torch → hyper，共 3 轮（实验 E 为 1 轮），降低频率漂移
• layer prefetch：显式 forward=1 / backward=1（decoder 层链式预取，除实验 A 外均开启）

实验总览

hyper/torch < 1 表示 hyper_parallel 更快。

分阶段汇总（step 中位数，ms）

规律：

• forward：hyper 在各场景稳定快 ~35–140 ms（Slice/Cast/Concat 等算子路径更轻）
• backward：无 prefetch 时 hyper 慢；开启 prefetch 后与 torch 持平或略快
• mesh 2,4 vs 8：HSDP 使两边 step 均增加 ~500 ms（replicate 维 all_reduce），hyper 相对优势在 E 中回升至 ~7.7%

Profiler：通信掩盖率（step3，8 卡均值）

• 无 prefetch：hyper 通信几乎串行暴露（~94% 在关键路径），是实验 A 落后的主因
• prefetch=1：hyper 掩盖率从 ~6% 升至 ~44–48%，但仍低于 torch（~53–57%）
• 根因：hyper 参数级 all_gather_inputs（数百次小 HCCL）vs torch module 级 bucket（数十次）
• HSDP 2×4 新增 replicate 维 all_reduce（~11 次/步），暴露通信较 mesh=8 增加 +249 ms（torch）/ +406 ms（hyper）

mesh=8 → mesh=2,4（Profiler 对比，prefetch=1）

Profiler 算子差异

实验 C（mesh=8，rank0 单步）

实验 E（mesh=2,4，rank0 单步）

实验 E HCCL elapse（每 rank 均值）

hyper backward 中 RS 略快（−79 ms），但 AR 慢 ~290 ms，抵消了计算侧优势。

各实验明细

实验 A — 16K / 4 层 / mesh=8 / 无 prefetch / profiler

Profiler：results/profiler_20260625_143330/

实验 B — 16K / 4 层 / mesh=8 / prefetch=1 / 交错 3 轮

结果：results/interleaved_20260625_152124/

实验 C — 8K / 8 层 / mesh=8 / prefetch=1 + profiler / 交错 3 轮

结果：results/interleaved_8k_8L_prof_20260625_163102/

实验 D — 8K / 8 层 / mesh=2,4 HSDP / prefetch=1 / 交错 3 轮

mesh 维度：replicate=2, shard=4。结果：results/interleaved_8k_8L_hsdp24_20260625_184243/

实验 E — 8K / 8 层 / mesh=2,4 HSDP / prefetch=1 + profiler / 1 轮

Profiler step3（8 卡均值）：torch 计算 1711 ms / 暴露通信 852 ms / 掩盖 56.5%；hyper 计算 1556 ms / 暴露通信 1166 ms / 掩盖 48.3%。

分阶段归因：

• forward 快 130 ms：Slice（−109 ms）+ ConcatD（−26 ms）+ Cast（−16 ms），部分被 RealDiv（+31 ms）抵消
• backward 快 60 ms：RS elapse 优势被 AR 慢 ~290 ms 吃掉；纯计算仍省 ~155 ms
• HSDP 共同代价：新增 AR ~11 次/步，两边 step 较 mesh=8 各增 ~500 ms

结果：results/interleaved_8k_8L_hsdp24_prof_20260625_190343/

结论

1. layer prefetch 是关键开关：未开启时 hyper 通信掩盖 ~6%，step 慢于 torch；开启后各场景 hyper 均不慢于 torch，8K/8L 最快约 ~8%。
2. hyper 优势在 forward 算子路径（Slice/Cast/Concat 等），劣势在 HCCL 调度粒度（参数级 vs module 级）。
3. HSDP 2×4 激活 replicate 维 AR 后，两边 step 均增 ~500 ms；hyper 在 E 中仍快 ~7.7%，优势仍在 forward（−130 ms），backward 仅快 60 ms。
4. HSDP 下 hyper AR elapse 比 torch 慢 ~290 ms，是 backward 优势受限的主因；优化 AR overlap / bucket 合并有明确收益。
5. 即便 prefetch=1，hyper 通信掩盖率（~45–48%）仍低于 torch（~53–57%），module-bucket 合并仍有空间。

建议优化方向

复现

source /home/czr/env.sh
cd bench_qwen35_35b_fsdp2

# B: 16K/4L, prefetch=1, 交错 3 轮
bash run_interleaved.sh

# C: 8K/8L, prefetch=1, profiler
SEQ_LEN=8192 NUM_LAYERS=8 ENABLE_PROFILER=1 bash run_interleaved.sh

# D: 8K/8L, HSDP mesh=2,4
MESH=2,4 SEQ_LEN=8192 NUM_LAYERS=8 bash run_interleaved.sh

# E: 8K/8L, HSDP mesh=2,4, profiler
MESH=2,4 SEQ_LEN=8192 NUM_LAYERS=8 ENABLE_PROFILER=1 bash run_interleaved.sh

环境

• CANN 9.1.0，Ascend 910B × 8
• torch + torch_npu（czr_pta FSDP2 patch）
• hyper_parallel Torch 后端，comm_fusion=False