特性列表
本表列出 MindSpeed MM 当前版本已发布的特性,并标注各特性对 FSDP2 与 MCORE(Megatron) 两个训练后端的支持情况(✓ 支持,× 不支持)。
| 特性大类 | 特性子类 | 特性名称 | FSDP2 | MCORE |
|---|---|---|---|---|
| 并行特性 | FSDP2 | FSDP2 | ✓ | × |
| 序列并行 | Unaligned Ulysses CP | ✓ | ✓ | |
| DiT Ring Attention | × | ✓ | ||
| DiT USP | × | ✓ | ||
| 异构并行 | Hetero Parallel | × | ✓ | |
| 张量并行 | tensor-parallel | × | ✓ | |
| 显存优化 | Offload | Async Activation Offload | ✓ | ✓ |
| 负载均衡 | Online Data Rearrange | × | ✓ | |
| 优化特性 | loss优化 | Chunk Loss | ✓ | × |
| VLM Model Loss Calculate Type | ✓ | ✓ | ||
| 训练模式 | 高效微调 | LoRA微调(基于Mcore训练后端) | × | ✓ |
| LoRA微调(基于FSDP后端) | ✓ | × | ||
| 数据处理 | SeqPack | ✓ | × | |
| 确定性计算 | Deterministic Computing | ✓ | ✓ |