RWKV-Megatron:基于 Megatron-Core 的 RWKV 架构大模型高效训练框架

可用于大规模分布式训练场景下的 RWKV 模型训练,支持多卡、多节点预训练及领域适配。基于 NVIDIA Megatron-Core 构建,集成 RWKV6/RWKV7 模型,具备多维并行训练、混合精度、激活重计算等特性,提供权重转换工具链。【此简介由AI生成】

分支1Tags0

项目介绍

可用于大规模分布式训练场景下的 RWKV 模型训练,支持多卡、多节点预训练及领域适配。基于 NVIDIA Megatron-Core 构建,集成 RWKV6/RWKV7 模型,具备多维并行训练、混合精度、激活重计算等特性,提供权重转换工具链。【此简介由AI生成】

定制我的领域