MindSpeed-LLM/examples/mindspore/glm45-moe · Ascend/MindSpeed-LLM - AtomGit

e65c78bb创建于 2025年8月22日历史提交

文件	最后提交记录	最后更新时间
README.md	!3173 [mindsppore][master][doc]add glm4.5 readme Merge pull request !3173 from xinyuan/GLM4.5Readme	9 个月前
pretrain_glm45_moe_106b_4k_A3_ms.sh	!3187 [pytorch][bugfix]fix name in args and remove checkout commitid Merge pull request !3187 from guozhihua/fix-deepseek-args	9 个月前

Mindspore后端提供GLM4.5系列模型支持

模型	下载链接	序列	实现	集群	是否支持
GLM4.5	106B	4K	Mcore	8x16	✅

MindSpeed-LLM MindSpore后端的安装步骤参考基础安装指导。

预训练使用方法如下

cd MindSpeed-LLM
bash examples/mindspore/glm45-moe/pretrain_glm45_moe_106b_4k_A3_ms.sh

用户需要根据实际情况修改脚本中的以下变量

变量名	含义
MASTER_ADDR	多机情况下主节点IP
NODE_RANK	多机下，各机对应节点序号
CKPT_SAVE_DIR	训练中权重保存路径
DATA_PATH	数据预处理后的数据路径
TOKENIZER_PATH	GLM4.5 tokenizer目录
CKPT_LOAD_DIR	权重转换保存的权重路径，用于初始权重加载，如无初始权重则随机初始化