MindSpeed-LLM_InternS1_CPT:基于昇腾生态的大语言模型分布式训练套件

适配Intern-S1、Intern-S1-mini模型的文本预训练、SFT微调。 1. Intern-S1 预训练指导:https://gitcode.com/Ascend-SACT/MindSpeed-LLM_InternS1/blob/master-interns1/examples/fsdp2/interns1/readme.md 2. Intern-S1-mini 预训练指导:https://gitcode.com/Ascend-SACT/MindSpeed-LLM_InternS1/blob/master-interns1/examples/fsdp2/interns1mini/readme.md

分支1Tags0

项目介绍

适配Intern-S1、Intern-S1-mini模型的文本预训练、SFT微调。 1. Intern-S1 预训练指导:https://gitcode.com/Ascend-SACT/MindSpeed-LLM_InternS1/blob/master-interns1/examples/fsdp2/interns1/readme.md 2. Intern-S1-mini 预训练指导:https://gitcode.com/Ascend-SACT/MindSpeed-LLM_InternS1/blob/master-interns1/examples/fsdp2/interns1mini/readme.md

定制我的领域