可用于大规模分布式训练场景下的 RWKV 模型训练,支持多卡、多节点预训练及领域适配。基于 NVIDIA Megatron-Core 构建,集成 RWKV6/RWKV7 模型,具备多维并行训练、混合精度、激活重计算等特性,提供权重转换工具链。【此简介由AI生成】
可用于大规模分布式训练场景下的 RWKV 模型训练,支持多卡、多节点预训练及领域适配。基于 NVIDIA Megatron-Core 构建,集成 RWKV6/RWKV7 模型,具备多维并行训练、混合精度、激活重计算等特性,提供权重转换工具链。【此简介由AI生成】