0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
ascend-robotascend-robot[pytorch][md] update docs
4180b223创建于 1月26日历史提交

GitHub Documentation

简介

MindSpeed LLM：基于昇腾生态的大语言模型分布式训练框架，旨在为华为 昇腾芯片 生态合作伙伴提供端到端的大语言模型训练方案，包含分布式预训练、分布式指令微调以及对应的开发工具链，如：数据预处理、权重转换、在线推理、基线评估等。

注意 : 原仓名ModelLink更改为MindSpeed LLM，原包名modellink更改为mindspeed_llm

最新消息

  • [Jan. 16, 2026]: 🌴 MindSpeed LLM发布v2.3.0分支，支持core_v0.12.1版本

  • [Dec. 11, 2025]: 🚀 Qwen3-Next 模型训练支持triton融合加速GDN模块计算 【Prototype】

  • [Nov. 25, 2025]: 🚀 权重转换、数据处理和训练功能合一【Prototype】

  • [Nov. 14, 2025]: 🚀 magistral 模型支持 【Prototype】

  • [Oct. 30, 2025]: 🚀 MindSpeed LLM 模型下架夕阳计划 启动，感谢每一份曾经的贡献

  • [Oct. 28, 2025]: 🌴 MindSpeed LLM发布v2.2.0分支，支持core_v0.12.1版本

  • [Oct. 16, 2025]: 🚀 Qwen3-30B支持DPO训练

  • [Oct. 14, 2025]: 🚀 DeepSeek-V3预训练已支持基于 MindSpore AI框架 运行

  • [Oct. 22, 2025]: 🚀 Ling mini v2 模型支持, 暂不支持mtp

  • [Sep. 16, 2025]: 🚀 Qwen3-Next 模型支持 【Prototype】

  • [Aug. 23, 2025]: 🚀 大参数模型权重转换v2优化版本上线

  • [Jul. 28, 2025]: 🚀 glm4.5-moe 系列模型同步首发支持

  • [Jul. 25, 2025]: 🌴 MindSpeed LLM发布v2.1.0分支，支持core_r0.8.0版本

  • [Jul. 10, 2025]: 🚀 DeepSeek-R1 系列功能逐步上线

  • [May. 19, 2025]: 🚀 Qwen3 系列模型同步首发支持

  • [Mar. 27, 2025]: 🚀 DeepSeek-R1-ZERO Qwen-7B DeepSeek-R1-ZERO Qwen-32B

  • [Mar. 26, 2025]: 🚀 DeepSeek-V3-671B模型全家桶 上线

注意：【Prototype】表示特性未经过充分验证，若使用存在问题请至issue反馈。

版本说明

MindSpeed LLM支持Atlas 800T A2等昇腾训练硬件形态，软件版本配套表如下：

MindSpeed LLM版本 MindSpeed版本 Megatron版本 PyTorch版本 torch_npu版本 CANN版本 Python版本
master（主线） master core_v0.12.1 2.7.1 在研版本 在研版本 Python3.10
2.3.0（商用） 2.3.0_core_r0.12.1 core_v0.12.1 2.7.1 7.3.0 8.5.0 Python3.10
2.2.0（商用） 2.2.0_core_r0.12.1 core_v0.12.1 2.7.1 7.2.0 8.3.RC1 Python3.10
2.1.0（商用） 2.1.0_core_r0.8.0 core_r0.8.0 2.1.0, 2.6.0 7.1.0 8.2.RC1 Python3.8, Python3.10

安装

MindSpeed LLM具体的安装步骤请参考安装指导。

快速上手

MindSpeed LLM将以Qwen2.5-7B模型为例，指导开发者完成Qwen2.5-7B大语言模型的预训练任务，具体的操作请参考快速入门。

预置模型

MindSpeed LLM目前已内置支持百余个业界常用LLM大模型的预训练与微调，预置模型清单详见下表。

模型类别 模型列表
稠密模型 Dense
MOE模型 MOE
SSM模型 SSM

训练方案与特性

MindSpeed LLM包含分布式预训练、分布式微调等训练方案。

分布式预训练

基于MindSpeed LLM的实测预训练性能如下：

模型系列 实验模型 硬件信息 集群规模 MFU
LLAMA2 LLAMA2-7B Atlas 900 A2 PODc 1x8 69.0%
LLAMA2-13B Atlas 900 A2 PODc 1x8 64.7%
LLAMA2-70B Atlas 900 A2 PODc 4x8 44.1%
Mixtral Mixtral-8x7B Atlas 900 A2 PODc 8x8 31.7%

预训练方案

方案类别 Mcore Released 贡献方
多样本集预训练 ✅ ✅ 【Ascend】
多样本pack模式预训练 ✅ ❌

加速特性

场景 特性名称 Mcore Released 贡献方
SPTD并行 张量并行 ✅ ✅ 【Ascend】
流水线并行 ✅ ✅
虚拟流水并行 ✅ ✅
序列并行 ✅ ✅
noop layers ✅ ✅
长序列并行 Ascend Ring Attention 长序列并行 ✅ ✅
Ulysses 长序列并行 ✅ ✅
混合长序列并行 ✅ ✅
MOE MOE 专家并行 ✅ ✅
MOE 重排通信优化 ✅ ✅
显存优化 参数副本复用 ✅ ✅
分布式优化器 ✅ ✅
Swap Attention ✅ ✅
重计算 ✅ ✅
Norm重计算 ✅ ✅
O2 BF16 Optimizer ✅ ❌
融合算子 Flash attention ✅ ✅
Flash attention variable length ✅ ✅
Fused rmsnorm ✅ ✅
Fused swiglu ✅ ✅
Fused rotary position embedding ✅ ✅
GMM ✅ ✅
Matmul Add ✅ ✅
通信优化 梯度reduce通算掩盖 ✅ ✅
Recompute in advance ✅ ✅
权重all-gather通算掩盖 ✅ ✅
MC2 ✅ ❌
CoC ✅ ❌
Ascend Gloo 存档落盘优化 ✅ ✅

分布式微调

基于MindSpeed LLM的实测指令微调性能如下：

模型 硬件 集群 方案 序列 性能 MFU
Llama2-7B Atlas 900 A2 PODc 1x8 全参 dynamic 15.87 samples/s -
全参 16K 1.14 samples/s 37.4%
全参 32K 0.51 samples/s 48.4%
Llama2-13B Atlas 900 A2 PODc 1x8 全参 dynamic 50.4 samples/s -
Llama2-70B Atlas 900 A2 PODc 1x8 LoRA dynamic 15.2 samples/s -

微调方案

方案名称 Mcore LoRA QLoRA Released 贡献方
单样本微调 ✅ ✅ ✅ ✅ 【Ascend】
多样本pack微调 ✅ ✅ ❌ ❌ 【NAIE】
多轮对话微调 ✅ ✅ ❌ ❌ 【Ascend】

加速特性

场景 特性 Mcore Released 贡献方
LoRA微调 CCLoRA ✅ ✅ 【Ascend】
QLoRA微调 CCLoRA ❌ ❌ 【NAIE】
长序列微调 长序列CP ✅ ❌ 【Ascend】

在线推理

特性 Mcore Released 贡献方
流式推理 ✅ ✅ 【NAIE】
Chat对话 ✅ ✅ 【NAIE】
yarn上下文扩展 ✅ ❌ 【Ascend】

开源数据集评测

仓库模型基线见开源数据集评测基线

场景 数据集 Mcore Released 贡献方
评测 MMLU ✅ ❌ 【NAIE】
CEval ✅ ❌ 【NAIE】
BoolQ ✅ ❌ 【NAIE】
BBH ✅ ❌ 【NAIE】
AGIEval ✅ ❌ 【NAIE】
HumanEval ✅ ❌ 【NAIE】

开发工具链

权重转换

MindSpeed LLM支持Huggingface、Megatron-core两种格式的权重互转，支持LoRA权重合并。权重转换特性参数和使用说明参考权重转换。

源格式 目标格式 切分特性 LoRA 贡献方 Released
Huggingface Megatron-core tp、pp、dpp、vpp、cp、ep、loop layer ❌ 【Ascend】 ❌
Megatron-core Huggingface ✅
Megatron-core tp、pp、dpp、vpp、cp、ep、loop layer ✅

数据预处理

MindSpeed LLM支持预训练、指令微调等多种任务的数据预处理。

任务场景 数据集 Mcore Released 贡献方
预训练 预训练数据处理 ✅ ✅ 【Ascend】
微调 Alpaca风格 ✅ ✅
ShareGPT风格 ✅ ✅

性能采集

场景 特性 Mcore Released 贡献方
性能采集 基于昇腾芯片采集 profiling 数据 ✅ ❌ 【Ascend】

高可用性

场景 特性 Mcore Released 贡献方
高可用性 基于昇腾芯片开启确定性计算 ✅ ❌ 【Ascend】

版本维护策略

MindSpeed LLM版本有以下五个维护阶段：

状态 时间 说明
计划 1—3 个月 计划特性
开发 3 个月 开发特性
维护 6-12 个月 合入所有已解决的问题并发布版本，针对不同的MindSpeed LLM版本采取不同的维护策略，常规版本和长期支持版本维护周期分别为6个月和12个月
无维护 0—3 个月 合入所有已解决的问题，无专职维护人员，无版本发布
生命周期终止（EOL） N/A 分支不再接受任何修改

MindSpeed LLM已发布版本维护策略：

MindSpeed LLM版本 对应标签 维护策略 当前状态 发布时间 后续状态 EOL日期
2.3.0 v2.3.0 常规版本 维护 2025/12/30 预计2026/6/30起无维护
2.2.0 v2.2.0 常规版本 维护 2025/9/30 预计2026/3/30起无维护
2.1.0 v2.1.0 常规版本 维护 2025/6/30 预计2025/12/30起无维护
2.0.0 v2.0.0 常规版本 EOL 2025/3/30 生命周期终止 2025/9/30
1.0.0 v1.0.0 常规版本 EOL 2024/12/30 生命周期终止 2025/6/30
1.0.RC3 v1.0.RC3.0 常规版本 EOL 2024/09/30 生命周期终止 2025/3/30
1.0.RC2 v1.0.RC2.0 常规版本 EOL 2024/06/30 生命周期终止 2024/12/30
1.0.RC1 v1.0.RC1.0 常规版本 EOL 2024/03/30 生命周期终止 2024/9/30
bk_origin_23 \ Demo EOL 2023 生命周期终止 2024/6/30

致谢

MindSpeed LLM由华为公司的下列部门以及昇腾生态合作伙伴联合贡献 ：

华为公司：

  • 计算产品线：Ascend
  • 公共开发部：NAIE
  • 全球技术服务部：GTS
  • 华为云计算：Cloud

生态合作伙伴：

  • 移动云（China Mobile Cloud）：大云震泽智算平台
  • 工商银行软件开发中心大数据人工智能实验室

感谢来自社区的每一个PR，欢迎贡献 MindSpeed LLM。

安全声明

MindSpeed LLM安全声明

免责声明

致MindSpeed LLM使用者

  1. MindSpeed LLM提供的模型仅供您用于非商业目的。
  2. MindSpeed LLM功能依赖的Megatron等第三方开源软件，均由第三方社区提供和维护，因第三方开源软件导致的问题修复依赖相关社区的贡献和反馈。您应理解，MindSpeed LLM仓库不保证对第三方开源软件本身的问题进行修复，也不保证会测试、纠正所有第三方开源软件的漏洞和错误。
  3. 对于各模型，MindSpeed LLM平台仅提示性地向您建议可用于训练的数据集，华为不提供任何数据集，如您使用这些数据集进行训练，请您特别注意应遵守对应数据集的License，如您因使用数据集而产生侵权纠纷，华为不承担任何责任。
  4. 如您在使用MindSpeed LLM模型过程中，发现任何问题（包括但不限于功能问题、合规问题），请在Gitcode提交issue，我们将及时审视并解决。

致数据集所有者

如果您不希望您的数据集在MindSpeed LLM中的模型被提及，或希望更新MindSpeed LLM中的模型关于您的数据集的描述，请在Gitcode提交issue，我们将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对MindSpeed LLM的理解和贡献。

License声明

Ascend MindSpeed LLM提供的模型，如模型目录下存在License的，以该License为准。如模型目录下不存在License的，以Apache 2.0许可证许可，对应许可证文本可查阅Ascend MindSpeed LLM根目录。