| HSDP / FSDP 数据并行 |
fully_shard、HSDPModule、overlap、梯度缩放 |
| TP 张量并行 |
ColwiseParallel、RowwiseParallel、parallelize_module、Loss Parallel |
| PP 流水线并行 |
PipelineStage、Schedule、overlap_b_f、PP+FSDP、P2P prefetch、 Mpipe |
| CP 上下文并行 |
ContextParallel、AsyncContextParallel、DSA 系列 |
| EP 专家并行 |
ExpertParallel、MoE 构建模块、负载均衡 |
| Activation Checkpoint / Swap |
checkpoint_wrapper、swap_wrapper、swap_tensor_wrapper、协同配置 |
| Optimizer |
AdamW、Muon、ChainedOptimizer、学习率调度器 |
| DCP 分布式检查点 |
检查点保存/加载、异步 staging、离线转换 |
| 自动并行 |
SAPP-ND、SAPP-PPB |
| MoE 多核并行 |
多核 MPMD、MoE 通算掩盖 |
| LlamaFactory + HyperParallel SFT 训练 |
基于 LlamaFactory 和 HyperParallel 的 SFT 配置、启动、精度与性能验证 |
