0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
zyw-hwzyw-hwfix obs url
4221ff65创建于 2025年12月16日历史提交

欢迎来到MindSpore Transformers（MindFormers）

LICENSE Downloads PyPI

一、介绍

MindSpore Transformers套件的目标是构建一个大模型预训练、微调、评测、推理、部署的全流程开发套件，提供业内主流的Transformer类大语言模型（Large Language Models, LLMs）和多模态理解模型（Multimodal Models, MMs）。期望帮助用户轻松地实现大模型全流程开发。

MindSpore Transformers套件基于MindSpore内置的多维混合并行技术和组件化设计，具备如下特点：

  • 一键启动模型单卡或多卡预训练、微调、评测、推理、部署流程；
  • 提供丰富的多维混合并行能力可供灵活易用地进行个性化配置；
  • 大模型训推系统级深度优化，原生支持超大规模集群高效训推，故障快速恢复；
  • 支持任务组件配置化开发。任意模块可通过统一配置进行使能，包括模型网络、优化器、学习率策略等；
  • 提供训练精度/性能监控指标实时可视化能力等。

欲获取MindSpore Transformers相关使用教程以及API文档，请参阅MindFormers文档，以下提供部分内容的快速跳转链接：

如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。

模型列表

MindSpore Transformers当前版本支持的模型列表如下：

模型名 支持规格 模型类型
CodeLlama 34B 稠密LLM
CogVLM2-Image 19B MM
CogVLM2-Video 13B MM
DeepSeek-V3 671B 稀疏LLM
DeepSeek-V2 236B 稀疏LLM
DeepSeek-Coder-V1.5 7B 稠密LLM
DeepSeek-Coder 33B 稠密LLM
GLM4 9B 稠密LLM
GLM3-32K 6B 稠密LLM
GLM3 6B 稠密LLM
InternLM2 7B/20B 稠密LLM
Llama3.2 3B 稠密LLM
Llama3.2-Vision 11B MM
Llama3.1 8B/70B 稠密LLM
Llama3 8B/70B 稠密LLM
Llama2 7B/13B/70B 稠密LLM
Mixtral 8x7B 稀疏LLM
Qwen2.5 0.5B/1.5B/7B/14B/32B/72B 稠密LLM
Qwen2 0.5B/1.5B/7B/57B/57B-A14B/72B 稠密/稀疏LLM
Qwen1.5 0.5B/1.8B/4B/7B/14B/72B 稠密LLM
Qwen-VL 9.6B MM
TeleChat2 7B/35B/115B 稠密LLM
TeleChat 7B/12B/52B 稠密LLM
Whisper 1.5B MM
Yi 6B/34B 稠密LLM
YiZhao 12B 稠密LLM

二、安装

版本匹配关系

当前支持的硬件为Atlas 800T A2训练服务器。

当前套件建议使用的Python版本为3.11.4。

MindFormers MindSpore CANN 固件与驱动
1.5.0 2.6.0-rc1 8.1.RC1 25.0.RC1

历史版本配套关系：

MindFormers MindSpore CANN 固件与驱动
1.3.2 2.4.10 8.0.0 24.1.0
1.3.0 2.4.0 8.0.RC3.beta1 24.1.RC3
1.2.0 2.3.0 8.0.RC2.beta1 24.1.RC2

源码编译安装

MindFormers目前支持源码编译安装，用户可以执行如下命令进行安装。

git clone -b v1.5.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh

三、使用指南

MindFormers支持模型启动预训练、微调、推理、评测等功能，可点击模型列表中模型名称查看文档完成上述任务，以下为模型分布式启动方式的说明与示例。

MindFormers推荐使用分布式方式拉起模型训练、推理等功能，目前提供scripts/msrun_launcher.sh分布式启动脚本作为模型的主要启动方式，msrun特性说明可以参考msrun启动。 该脚本主要输入参数说明如下：

参数 单机是否必选 多机是否必选 默认值 说明
WORKER_NUM ✓ ✓ 8 所有节点中使用计算卡的总数
LOCAL_WORKER - ✓ 8 当前节点中使用计算卡的数量
MASTER_ADDR - ✓ 127.0.0.1 指定分布式启动主节点的ip
MASTER_PORT - ✓ 8118 指定分布式启动绑定的端口号
NODE_RANK - ✓ 0 指定当前节点的rank id
LOG_DIR - ✓ output/msrun_log 日志输出路径，若不存在则递归创建
JOIN - ✓ False 是否等待所有分布式进程退出
CLUSTER_TIME_OUT - ✓ 7200 分布式启动的等待时间，单位为秒

注：如果需要指定device_id启动，可以设置环境变量ASCEND_RT_VISIBLE_DEVICES，如要配置使用2、3卡则输入export ASCEND_RT_VISIBLE_DEVICES=2,3。

注：r1.5.0分支已删除权重和数据的OBS链接，如使用中存在问题，请参考ISSUE#IDDCTR。

单机多卡

# 1. 单机多卡快速启动方式，默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}"

# 2. 单机多卡快速启动方式，仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}" WORKER_NUM

# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}" \
  WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT

  • 使用示例

    # 单机多卡快速启动方式，默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config path/to/xxx.yaml \
  --run_mode finetune"

# 单机多卡快速启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config path/to/xxx.yaml \
  --run_mode finetune" 8

# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config path/to/xxx.yaml \
  --run_mode finetune" \
  8 8118 output/msrun_log False 300

多机多卡

多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本，并将参数MASTER_ADDR设置为主节点的ip地址， 所有节点设置的ip地址相同，不同节点之间仅参数NODE_RANK不同。

# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
 --config {CONFIG_PATH} \
 --run_mode {train/finetune/eval/predict}" \
 WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT

  • 使用示例

    # 节点0，节点ip为192.168.1.1，作为主节点，总共8卡且每个节点4卡
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}" \
  8 4 192.168.1.1 8118 0 output/msrun_log False 300

# 节点1，节点ip为192.168.1.2，节点0与节点1启动命令仅参数NODE_RANK不同
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}" \
  8 4 192.168.1.1 8118 1 output/msrun_log False 300

单卡启动

MindFormers提供run_mindformer.py脚本作为单卡启动方法，该脚本可以根据模型配置文件，完成支持模型的单卡训练、微调、评估、推理流程。

# 运行run_mindformer.py的入参会覆盖模型配置文件中的参数
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}

四、生命周期及版本配套策略

MindFormers版本有以下五个维护阶段：

状态 期限 说明
计划 1-3 个月 规划功能。
开发 3 个月 构建功能。
维护 6-12 个月 合入所有已解决的问题并发布新版本，对于不同版本的MindFormers，实施差异化的维护计划：标准版维护期为6个月，而长期支持版则为12个月。
无维护 0-3 个月 合入所有已解决的问题，没有专职维护团队，且不计划发布新版本。
生命周期终止（EOL） N/A 分支进行封闭，不再接受任何修改。

MindFormers已发布版本维护策略：

MindFormers版本 对应标签 维护策略 当前状态 发布时间 后续状态 EOL日期
1.5.0 v1.5.0 常规版本 维护 2024/04/20 预计2025/10/20起无维护
1.3.2 v1.3.2 常规版本 维护 2024/12/20 预计2025/06/20起无维护
1.2.0 v1.2.0 常规版本 无维护 2024/07/12 预计2025/07/12生命周期终止 2025/07/12
1.1.0 v1.1.0 常规版本 无维护 2024/04/15 预计2025/01/15生命周期终止 2025/01/15

五、免责声明

  1. scripts/examples目录下的内容是作为参考示例提供的，并不构成商业发布产品的一部分，仅供用户参考。如需使用，需要用户自行负责将其转化为适合商业用途的产品，并确保进行安全防护，对于由此产生的安全问题，MindSpore不承担安全责任。
  2. 关于数据集， MindSpore Transformers 仅提示性地建议可用于训练的数据集， MindSpore Transformers 不提供任何数据集。如用户使用这些数据集进行训练，请特别注意应遵守对应数据集的License，如因使用数据集而产生侵权纠纷， MindSpore Transformers 不承担任何责任。
  3. 如果您不希望您的数据集在 MindSpore Transformers 中被提及，或希望更新 MindSpore Transformers 中关于您的数据集的描述，请在Gitee提交issue，我们将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对 MindSpore Transformers 的理解和贡献。

六、贡献

欢迎参与社区贡献，可参考MindFormers贡献指南。

七、许可证

Apache 2.0许可证