MindSpeed:基于 MindSpeed 的 Qwen3 模型训练优化项目

用户可借助该项目提升 Qwen3 系列模型训练效率,它集成 Zeta 优化器,支持 0.6B 到 8B 及 MoE 模型训练,能显著加快收敛速度,对比 AdamW 收敛增益达 1.2x-1.64x。【此简介由AI生成】

分支1Tags0

项目介绍

用户可借助该项目提升 Qwen3 系列模型训练效率,它集成 Zeta 优化器,支持 0.6B 到 8B 及 MoE 模型训练,能显著加快收敛速度,对比 AdamW 收敛增益达 1.2x-1.64x。【此简介由AI生成】

定制我的领域