特性列表
本手册描述MindSpeed MM商用版本中已发布的特性。
特性总览
| 特性大类 | 特性子类 | 特性名称 |
|---|---|---|
| 并行特性 | FSDP2 | FSDP2 |
| PP并行 | 动态PP / Dynamic DPCP | |
| Virtual Pipeline Parallel | ||
| 序列并行 | Unaligned Ulysses CP | |
| DiT Ring Attention | ||
| DiT USP | ||
| Unaligned Sequence Parallel | ||
| 异构并行 | Hetero Parallel | |
| 自动并行 | Automatic Parallelism | 张量并行 | tensor-parallel |
| 显存优化 | Offload | Async Activation Offload |
| 负载均衡 | Online Data Rearrange | |
| Encoder DP Balance | ||
| Bucket Reordering | Bucket Reordering | |
| 优化特性 | 损失优化 | Chunk Loss |
| VLM Model Loss Calculate Type | ||
| 性能优化 | FPDT | |
| Dummy Optimizer | ||
| Parameter LR/WD Tuning | ||
| 训练模式 | 预训练 | Pretrain |
| 高效微调 | LoRA Finetune | |
| LoRA Finetune with FSDP2 | ||
| Agentic SFT | ||
| Layerwise Training | Layerwise Disaggregated Training | |
| 训练范式 | RL | RLHF |
| 数据处理 | 数据集 | Multimodal Dataset |
| SeqPack | SeqPack | |
| 模型转换 | 模型转换 | MM Convert |
| Canonical Model | Canonical Model | |
| 确定性计算 | Deterministic | Deterministic Computing |
| 评估工具 | VBench | VBench Evaluate |