slime-ascend

slime 的昇腾适配开发仓

slime-ascend 是为 RL scaling 设计的 LLM post‑training 框架 slime 的华为昇腾 NPU 适配版本。关于 slime 本身的特性与介绍，请参考 slime 原版文档。

快速开始

目前我们在NPU上支持标准训推分离配置，更多支持特性请见：feature_introduction。

在完成了上述 NPU 环境的搭建后，可以无缝衔接至标准的模型操作链路。关于训练、保存与评估的具体指令和参数设定，请直接参考原主仓文档：

其中参数分为三类：

megatron 参数：slime 会读取 PYTHONPATH 中的 megatron 里设置的所有参数，可以通过传入如 --tensor-model-parallel-size 2 的方式配置 megatron；
sglang 参数：支持环境中安装的 sglang 的所有参数，这些参数需要以 --sglang 起始，例如 --mem-fraction-static 需要通过 --sglang-mem-fraction-static 传入。
slime 自身的参数：请见：slime/utils/arguments.py

若有功能建议、性能调优或使用体验反馈，欢迎提交 Issue / PR 😊

使用 pre-commit 保证提交代码风格：

apt install pre-commit -y
pre-commit install

# 运行 pre-commit 保证代码风格
pre-commit run --all-files --show-diff-on-failure --color=always

slime-ascend 提供的模型仅供您用于非商业目的。
对于各模型，slime-ascend 平台仅提示性地向您建议可用于训练的数据集，华为不提供任何数据集，如您使用这些数据集进行训练，请您特别注意应遵守对应数据集的 License，如您因使用数据集而产生侵权纠纷，华为不承担任何责任。
如您在使用 slime-ascend 模型过程中，发现任何问题（包括但不限于功能问题、合规问题），请在 GitCode 提交 issue，我们将及时审视并解决。
MindSpeed 功能依赖的 Megatron 等第三方开源软件，均由第三方社区提供和维护，因第三方开源软件导致的问题的修复依赖相关社区的贡献和反馈。您应理解，MindSpeed 仓库不保证对第三方开源软件本身的问题进行修复，也不保证会测试、纠正所有第三方开源软件的漏洞和错误。

如果您不希望您的数据集在 slime-ascend 中的模型被提及，或希望更新 slime-ascend 中的模型关于您的数据集的描述，请在 GitCode 提交 issue，我们将根据您的 issue 要求删除或更新您的数据集描述。衷心感谢您对 slime-ascend 的理解和贡献。

slime-ascend 提供的模型，如模型目录下存在 License 的，以该 License 为准。如模型目录下不存在 License 的，以 Apache 2.0 许可证许可，对应许可证文本可查阅 slime-ascend 根目录。

常见问题请见 Q&A
特别感谢以下项目 & 社区：SGLang、Megatron‑LM、mbridge、OpenRLHF、veRL、Pai-Megatron-Patch、MindSpeed、昇腾社区等。

slime-ascend 由华为公司的下列部门以及昇腾生态合作伙伴联合贡献：

华为公司：

感谢来自社区的每一个PR。