特性清单

本文记录 HyperParallel 当前已支持与规划中的模型和系统能力。[x] 表示当前版本已支持，[ ] 表示规划中。

支持模型

• Qwen3-30B-A3B

HyperShard

DTensor

• DTensor basic
• DTensor redistribute
• manual_seed 分布式随机数种子控制
• DTensor centric communication
• Cross Mesh DTensor redistribution

HSDP / FSDP

• Parameter 与 Optimizer 切分
• Parameter、Optimizer 与 Gradient 切分
• Overlap（全 overlap 模式）
• gradient_scaling_factor 梯度缩放因子
• 动转静

Shard / TP

• 分布式算子支持列表
• 自定义分布式算子注册（YAML registry + Python impl）
• Custom Shard
• DFunction Torch 自定义分布式 autograd 函数
• Loss Parallel（TP 训练损失并行）

TP Styles

• ColwiseParallel / RowwiseParallel / SequenceParallel
• parallelize_module 声明式 TP 接口
• 1D
• 高维TP，2D/2.5D/3D

EP

• ExpertParallel / ExpertTensorParallel 基础流程
• MoE 构建模块（GroupedExperts / TokenChoiceTopKRouter / MoE）
• 负载均衡（expert_bias + aux_loss + AutoScaler）
• MoE zero-overhead activation storage
• MoE + EP token dispatch 解耦
• Dropless 基础流程
• 通信与计算重叠
• 专家热迁移 / 热点专家副本

CP

• ContextParallel 基础上下文并行

• AsyncContextParallel 异步上下文并行

• DSA 系列（Indexer / Loss / SparseAttention）

• TP DTensor local rewrap

• DeepSpeed Ulysses

• Ring Attention

• 3D 序列并行

• Overlap

分布式随机数

• manual_seed 随机数种子控制
• Dropout

HyperMPMD

Pipeline 并行

• GPipe
• 1F1B
• VPP（ScheduleInterleaved1F1B）
• PP+FSDP（MetaStep集成）
• PipelineStage dx/dw计算
• 通算掩盖 overlap_b_f（CommComputeOverlap双线程协调器）
• batched P2P transport / overlap_p2p
• PP Activation Swap
• variable-layer + mixed-recompute under overlap_b_f
• ZBV
• SeqPP
• 每个 PP Stage 分配不同卡数

Mpipe 多模态并行

• Mpipe Transpose 调度
• Mpipe data-reordering

子图切分

• 多模态 encoder / decoder 切分到不同设备

多核并行

• 多核并行 - O0
• 多核并行 - O1
• 基于多核并行优化 MoE 通算掩盖
• 基于多核并行优化 PP 1F1B 通算掩盖

HyperOffload

• Activation Checkpoint（checkpoint / checkpoint_wrapper / CheckpointPolicy）
• Activation Swap（swap / swap_wrapper / swap_tensor_wrapper / SwapManager）
• Activation Swap 与 Checkpointing 协同配置
• Swap fusion
• SAS（Selective Activation Swap）
• SPO（Selective Parameter/Gradient/Optimizer Offload）
• 基于内存语义的Offload
• 自动Activation Swap策略生成

Optimizer

• AdamW
• Muon（momentum-based optimizer）
• ChainedOptimizer（Muon + AdamW 链式组合）
• get_hyper_optimizer
• 分片优化器（FSDP / HSDP 集成）
• gradient scaling factor + clip_grad 增强

AutoParallel

• SAPP-ND：ND 搜索（内存估算 + 性能估算）
• SAPP-PPB：Pipeline Parallelism Balancing
• SAPP-Omni

故障快速恢复

• DCP（Distributed Checkpoint）
  • 分布式检查点保存/加载
  • 异步 staging 保存
  • 离线格式转换
  • 支持 Hugging Face 格式
  • 支持不同切分策略倒换
• 基础故障恢复流程
• 进程级故障快速恢复
• 临终遗言
• SDC检测

Trainer

• AutoModels TextTrainer 文本训练
• AutoModels VLMTrainer 多模态训练
• Callbacks（Logging / MoeMonitor）
• AutoModels YAML Trainer 配置与并行维度配置

生态集成

• LlamaFactory 集成（activation recompute & swap + HSDP）

工具

精度监控

• global norm
• local norm
• local loss

DryRun

• 内存开销分析
• 单卡模拟集群执行

返回项目 README