特性列表
本手册描述MindSpeed MM相关特性在商用版本中的发布状态。
表 1 特性列表
| 特性大类 | 特性子类 | 特性名称 | 状态 |
|---|---|---|---|
| 并行特性 | FSDP2 | FSDP2 | 已发布 |
| TP并行 | tensor-parallel | 已发布 | |
| PP并行 | PP | 已发布 | |
| 多参数PP | 已发布 | ||
| 动态PP | 已发布 | ||
| 序列并行 | Ulysses | 已发布 | |
| RingAttention | 已发布 | ||
| USP | 已发布 | ||
| TP-SP | 已发布 | ||
| 异构并行 | hetero-parallel | 已发布 | |
| 显存优化 | 重计算 | - | 已发布 |
| Offload | async offload | 已发布 | |
| 负载均衡 | online-data-balance | 已发布 | |
| 高效微调 | LoRA | LoRA | 已发布 |
| 训练范式 | RL | RLHF | 已发布 |