MindSpeed Core

• MindSpeed Core简介
• 软件安装
• 特性说明
  • 特性总览
  • Megatron特性
    • Megatron数据并行
    • Megatron张量并行
    • Megatron流水并行
    • Megatron虚拟流水线并行
    • Megatron分布式优化器
    • Megatron序列并行
    • Megatron异步DDP
    • Megatron权重更新通信隐藏
    • Megatron重计算
    • Megatron分布式权重
    • Megatron全分片并行
    • Megatron Transformer Engine
    • Megatron Multi-head Latent Attention
  • 并行策略特性
    • Ascend Ulysses长序列并行
    • Ascend Ring Attention长序列并行
    • Ascend Double Ring Attention长序列并行
    • Ascend混合长序列并行
    • Ascend自定义空操作层
    • Ascend DualPipeV
  • 内存优化特性
    • Ascend激活函数重计算
    • Ascend重计算流水线独立调度
    • Ascend Mask归一
    • Ascend BF16参数副本复用
    • Ascend swap_attention
    • Ascend Norm重计算
    • Ascend Hccl Buffer自适应
    • Ascend Swap Optimizer
    • Virtual Optimizer
  • 亲和计算特性
    • Ascend Flash Attention
  • 通信优化特性
    • Ascend Gloo存档落盘优化
    • Ascend高维张量并行
  • Mcore MoE特性
    • Ascend Megatron MoE GMM
    • Ascend Megatron MoE Allgather Dispatcher性能优化
    • Ascend Megatron MoE Alltoall Dispatcher性能优化
    • Ascend Megatron MoE TP拓展EP
    • Megatron MoE Allgather Dispatcher分支通信隐藏优化
    • Ascend共享专家
    • 1F1B Overlap
    • 专家并行动态负载均衡（数参互寻）
  • 关键场景特性
    • Ascend EOD Reset训练场景
  • 多模态特性
    • Ascend PP支持动态形状
    • Ascend PP支持多参数传递
    • Ascend PP支持多参数传递和动态形状
    • Ascend非对齐线性层
    • Ascend非对齐Ulysses长序列并行
  • 其他特性
    • Ascend TFLOPS计算
• 特性开发
• 模型迁移
• 性能调优
• FAQ