特性列表

本表列出 MindSpeed MM 当前版本已发布的特性,并标注各特性对 FSDP2MCORE(Megatron) 两个训练后端的支持情况(✓ 支持,× 不支持)。

特性大类 特性子类 特性名称 FSDP2 MCORE
并行特性 FSDP2 FSDP2 ×
序列并行 Unaligned Ulysses CP
DiT Ring Attention ×
DiT USP ×
异构并行 Hetero Parallel ×
张量并行 tensor-parallel ×
显存优化 Offload Async Activation Offload
负载均衡 Online Data Rearrange ×
优化特性 loss优化 Chunk Loss ×
VLM Model Loss Calculate Type
训练模式 高效微调 LoRA微调(基于Mcore训练后端) ×
LoRA微调(基于FSDP后端) ×
数据处理 SeqPack ×
确定性计算 Deterministic Computing