MindSpore Transformers套件的目标是构建一个大模型预训练、微调、推理、部署的全流程开发套件，提供业内主流的Transformer类大语言模型（Large Language Models, LLMs）和多模态理解模型（Multimodal Models, MMs）。期望帮助用户轻松地实现大模型全流程开发。
欢迎来到MindSpore Transformers（MindFormers）
一、介绍
MindSpore Transformers套件的目标是构建一个大模型预训练、微调、评测、推理、部署的全流程开发套件，提供业内主流的Transformer类大语言模型、多模态理解和全模态模型。期望帮助用户轻松地实现大模型全流程开发。
MindSpore Transformers套件基于MindSpore内置的多维混合并行技术和组件化设计，具备如下特点：
- 配置化一键启动大模型预训练、微调、评测、推理、部署流程。
- 对接Hugging Face、Megatron-LM、vLLM、OpenCompass等主流生态。
- 提供丰富的多维混合并行和调试调优能力，支持万亿规格模型训练。
- 大模型训推系统级深度优化，提升千亿稠密、万亿稀疏大模型训推性能。
- 训练高可用，保障大模型在万卡集群稳定运行。
- 提供细粒度多层级的训练监控能力，帮助训练异常定位分析。
- 通过Mcore架构升级和模块化设计，简化模型集成方式，带来更广泛的标准化和更强的生态支持。
欲获取MindSpore Transformers相关使用教程以及API文档，请参阅MindSpore Transformers文档，以下提供部分内容的快速跳转链接：
如果您对MindSpore Transformers有任何建议，请通过issue与我们联系，我们将及时处理。
如果对MindSpore Transformers的技术感兴趣，或者想参与贡献代码，欢迎加入MindSpore Transformers SIG。
模型列表
当前MindSpore Transformers全量的模型列表如下：
| 模型名 | 支持规格 | 模型类型 | 模型架构 | 最新支持版本 |
|---|---|---|---|---|
TeleChat3 🔥HOT |
36B | 稠密LLM | Mcore | 1.9.0、在研版本 |
TeleChat3-MoE 🔥HOT |
105B-A4.7B | 稀疏LLM | Mcore | 1.9.0、在研版本 |
Qwen3 🔥HOT |
0.6B/1.7B/4B/8B/14B/32B | 稠密LLM | Mcore | 1.9.0、在研版本 |
Qwen3-MoE 🔥HOT |
30B-A3B/235B-A22B | 稀疏LLM | Mcore | 1.9.0、在研版本 |
DeepSeek-V3 🔥HOT |
671B | 稀疏LLM | Mcore/Legacy | 1.9.0、在研版本 |
GLM4.5 🔥HOT |
106B-A12B/355B-A32B | 稀疏LLM | Mcore | 1.9.0、在研版本 |
GLM4 🔥HOT |
9B | 稠密LLM | Mcore/Legacy | 1.9.0、在研版本 |
Qwen2.5 🔥HOT |
0.5B/1.5B/7B/14B/32B/72B | 稠密LLM | Legacy | 1.9.0、在研版本 |
TeleChat2 🔥HOT |
7B/35B/115B | 稠密LLM | Mcore/Legacy | 1.9.0、在研版本 |
Llama3.1 ⚠️EOL |
8B/70B | 稠密LLM | Legacy | 1.7.0 |
Mixtral ⚠️EOL |
8x7B | 稀疏LLM | Legacy | 1.7.0 |
CodeLlama ⚠️EOL |
34B | 稠密LLM | Legacy | 1.5.0 |
CogVLM2-Image ⚠️EOL |
19B | MM | Legacy | 1.5.0 |
CogVLM2-Video ⚠️EOL |
13B | MM | Legacy | 1.5.0 |
DeepSeek-V2 ⚠️EOL |
236B | 稀疏LLM | Legacy | 1.5.0 |
DeepSeek-Coder-V1.5 ⚠️EOL |
7B | 稠密LLM | Legacy | 1.5.0 |
DeepSeek-Coder ⚠️EOL |
33B | 稠密LLM | Legacy | 1.5.0 |
GLM3-32K ⚠️EOL |
6B | 稠密LLM | Legacy | 1.5.0 |
GLM3 ⚠️EOL |
6B | 稠密LLM | Legacy | 1.5.0 |
InternLM2 ⚠️EOL |
7B/20B | 稠密LLM | Legacy | 1.5.0 |
Llama3.2 ⚠️EOL |
3B | 稠密LLM | Legacy | 1.5.0 |
Llama3.2-Vision ⚠️EOL |
11B | MM | Legacy | 1.5.0 |
Llama3 ⚠️EOL |
8B/70B | 稠密LLM | Legacy | 1.5.0 |
Qwen2 ⚠️EOL |
0.5B/1.5B/7B/57B/57B-A14B/72B | 稠密/稀疏LLM | Legacy | 1.5.0 |
Qwen1.5 ⚠️EOL |
7B/14B/72B | 稠密LLM | Legacy | 1.5.0 |
Qwen-VL ⚠️EOL |
9.6B | MM | Legacy | 1.5.0 |
TeleChat ⚠️EOL |
7B/12B/52B | 稠密LLM | Legacy | 1.5.0 |
Whisper ⚠️EOL |
1.5B | MM | Legacy | 1.5.0 |
Yi ⚠️EOL |
6B/34B | 稠密LLM | Legacy | 1.5.0 |
YiZhao ⚠️EOL |
12B | 稠密LLM | Legacy | 1.5.0 |
Llama2 ⚠️EOL |
7B/13B/70B | 稠密LLM | Legacy | 1.3.2 |
Baichuan2 ⚠️EOL |
7B/13B | 稠密LLM | Legacy | 1.3.2 |
GLM2 ⚠️EOL |
6B | 稠密LLM | Legacy | 1.3.2 |
GPT2 ⚠️EOL |
124M/13B | 稠密LLM | Legacy | 1.3.2 |
InternLM ⚠️EOL |
7B/20B | 稠密LLM | Legacy | 1.3.2 |
Qwen ⚠️EOL |
7B/14B | 稠密LLM | Legacy | 1.3.2 |
CodeGeex2 ⚠️EOL |
6B | 稠密LLM | Legacy | 1.1.0 |
WizardCoder ⚠️EOL |
15B | 稠密LLM | Legacy | 1.1.0 |
Baichuan ⚠️EOL |
7B/13B | 稠密LLM | Legacy | 1.0 |
Blip2 ⚠️EOL |
8.1B | MM | Legacy | 1.0 |
Bloom ⚠️EOL |
560M/7.1B/65B/176B | 稠密LLM | Legacy | 1.0 |
Clip ⚠️EOL |
149M/428M | MM | Legacy | 1.0 |
CodeGeex ⚠️EOL |
13B | 稠密LLM | Legacy | 1.0 |
GLM ⚠️EOL |
6B | 稠密LLM | Legacy | 1.0 |
iFlytekSpark ⚠️EOL |
13B | 稠密LLM | Legacy | 1.0 |
Llama ⚠️EOL |
7B/13B | 稠密LLM | Legacy | 1.0 |
MAE ⚠️EOL |
86M | MM | Legacy | 1.0 |
Mengzi3 ⚠️EOL |
13B | 稠密LLM | Legacy | 1.0 |
PanguAlpha ⚠️EOL |
2.6B/13B | 稠密LLM | Legacy | 1.0 |
SAM ⚠️EOL |
91M/308M/636M | MM | Legacy | 1.0 |
Skywork ⚠️EOL |
13B | 稠密LLM | Legacy | 1.0 |
Swin ⚠️EOL |
88M | MM | Legacy | 1.0 |
T5 ⚠️EOL |
14M/60M | 稠密LLM | Legacy | 1.0 |
VisualGLM ⚠️EOL |
6B | MM | Legacy | 1.0 |
Ziya ⚠️EOL |
13B | 稠密LLM | Legacy | 1.0 |
Bert ⚠️EOL |
4M/110M | 稠密LLM | Legacy | 0.8 |
⚠️EOL 表示模型已经从主干分支下线，可以通过对应最新支持版本（如1.7.0）进行使用。
模型维护策略跟随最新支持版本的生命周期及版本配套策略。
模型级别介绍
Mcore架构模型在训练和推理方面各分为5个级别，分别代表模型遵循不同的上线标准。库中各模型不同规格的具体级别，请参见模型自述文档。
训练
Released（发布级）：已通过测试团队验收，在确定性条件下，loss和grad norm精度与标杆的拟合度符合标准；Validated（验证级）：已通过开发团队自验证，在确定性条件下，loss和grad norm精度与标杆的拟合度符合标准；Preliminary（初步级）：已通过开发者初步自验证，功能完整可供试用，训练能够正常收敛，但精度未经过严格验证；Untested（未测试级）：功能可用但未经系统测试，精度和收敛性均未验证，支持用户进行自定义开发；Community（社区级）：由社区贡献的MindSpore原生模型，其开发与维护工作由社区负责。
推理
Released（发布级）：已通过测试团队验收，评测精度与标杆满足对齐标准；Validated（验证级）：已通过开发团队自验证，评测精度与标杆满足对齐标准；Preliminary（初步级）：已通过开发者初步自验证，功能完整可供试用，推理输出符合逻辑，但精度未经过严格验证；Untested（未测试级）：功能可用但未经系统测试，精度未验证，支持用户进行自定义开发；Community（社区级）：由社区贡献的MindSpore原生模型，其开发与维护工作由社区负责。
二、安装
版本匹配关系
当前支持的硬件为Atlas 800T A2、Atlas 800I A2、Atlas 900 A3 SuperPoD。
当前套件建议使用的Python版本为3.11.4。
| MindSpore Transformers | MindSpore | CANN | 固件与驱动 |
|---|---|---|---|
| 在研版本 | 在研版本 | 在研版本 | 在研版本 |
历史版本配套关系：
| MindSpore Transformers | MindSpore | CANN | 固件与驱动 |
|---|---|---|---|
| 1.8.0 | 2.7.2 | 8.5.0 | 25.5.0 |
| 1.7.0 | 2.7.1 | 8.3.RC1 | 25.3.RC1 |
| 1.6.0 | 2.7.0 | 8.2.RC1 | 25.2.0 |
| 1.5.0 | 2.6.0-rc1 | 8.1.RC1 | 25.0.RC1 |
| 1.3.2 | 2.4.10 | 8.0.0 | 24.1.0 |
| 1.3.0 | 2.4.0 | 8.0.RC3 | 24.1.RC3 |
| 1.2.0 | 2.3.0 | 8.0.RC2 | 24.1.RC2 |
源码编译安装
MindSpore Transformers目前支持源码编译安装，用户可以执行如下命令进行安装。
git clone -b master https://atomgit.com/mindspore/mindformers.git
cd mindformers
bash build.sh
三、使用指南
MindSpore Transformers支持一键启动大模型的分布式预训练、SFT 微调、推理任务，可点击模型列表中各模型的链接查看对应使用文档。
关于MindSpore Transformers的更多功能说明可参阅MindSpore Transformers文档。
四、生命周期及版本配套策略
MindSpore Transformers版本有以下五个维护阶段：
| 状态 | 期限 | 说明 |
|---|---|---|
| 计划 | 1-3 个月 | 规划功能。 |
| 开发 | 3 个月 | 构建功能。 |
| 维护 | 6 个月 | 合入所有已解决的问题并发布新版本。 |
| 无维护 | 0-3 个月 | 合入所有已解决的问题，没有专职维护团队，且不计划发布新版本。 |
| 生命周期终止（EOL） | N/A | 分支进行封闭，不再接受任何修改。 |
MindSpore Transformers已发布版本维护策略：
| MindSpore Transformers版本 | 对应标签 | 当前状态 | 发布时间 | 后续状态 | EOL日期 |
|---|---|---|---|---|---|
| 1.8.0 | v1.8.0 | 维护 | 2026/01/26 | 预计2026/07/26起无维护 | 2026/10/26 |
| 1.7.0 | v1.7.0 | 维护 | 2025/10/27 | 预计2026/04/27起无维护 | 2026/07/27 |
| 1.6.0 | v1.6.0 | 无维护 | 2025/07/29 | 预计2026/04/29起生命周期终止 | 2026/04/29 |
| 1.5.0 | v1.5.0 | 生命周期终止 | 2025/04/29 | - | 2026/01/29 |
| 1.3.2 | v1.3.2 | 生命周期终止 | 2024/12/20 | - | 2025/09/20 |
| 1.2.0 | v1.2.0 | 生命周期终止 | 2024/07/12 | - | 2025/04/12 |
| 1.1.0 | v1.1.0 | 生命周期终止 | 2024/04/15 | - | 2025/01/15 |
五、免责声明
scripts/examples目录下的内容是作为参考示例提供的，并不构成商业发布产品的一部分，仅供用户参考。如需使用，需要用户自行负责将其转化为适合商业用途的产品，并确保进行安全防护，对于由此产生的安全问题，MindSpore Transformers 不承担安全责任。- 关于数据集， MindSpore Transformers 仅提示性地建议可用于训练的数据集， MindSpore Transformers 不提供任何数据集。用户使用任何数据集进行训练，都需确保训练数据的合法性与安全性，并自行承担以下风险：
- 数据投毒（Data Poisoning）：恶意篡改的训练数据可能导致模型产生偏见、安全漏洞或错误输出。
- 数据合规性：用户应确保数据采集、处理过程符合相关法律法规及隐私保护要求。
- 如果您不希望您的数据集在 MindSpore Transformers 中被提及，或希望更新 MindSpore Transformers 中关于您的数据集的描述，请在AtomGit提交issue，我们将根据您的issue要求删除或更新您的数据集描述。衷心感谢您对 MindSpore Transformers 的理解和贡献。
- 关于模型权重，用户下载、分发的模型权重需经可信来源验证，MindSpore Transformers 无法保证第三方权重的安全性。权重文件在传输、加载过程中可能被篡改，导致模型产生预期外的输出或安全漏洞。用户应自行承担使用第三方权重的风险，并确保在使用前对权重文件进行安全验证。
- 关于从魔乐社区等下载的权重、词表、脚本等文件，需经可信来源验证，MindSpore Transformers 无法保证第三方文件的安全性。若这些文件在使用时产生预期之外的功能问题、输出或安全漏洞，用户应自行承担风险。
- MindSpore Transformers 根据用户设置的路径进行权重或日志的保存，用户设置时需避免使用系统文件目录。如因路径设置不当产生预期之外的系统问题等，用户应自行承担风险。
六、贡献
欢迎参与社区贡献，可参考MindSpore Transformers贡献指南。
七、许可证
项目介绍
MindSpore Transformers套件的目标是构建一个大模型预训练、微调、推理、部署的全流程开发套件，提供业内主流的Transformer类大语言模型（Large Language Models, LLMs）和多模态理解模型（Multimodal Models, MMs）。期望帮助用户轻松地实现大模型全流程开发。
定制我的领域下载使用量
项目总下载次数（含Clone、Pull、 zip 包及 release 下载），每日凌晨更新
