vllm_ascend_test:基于 vLLM 生态的 Ascend NPU 后端插件项目

可帮助昇腾用户在模型微调、评估、强化学习及部署等场景提升体验,是社区维护的让vLLM在Ascend NPU无缝运行的后端插件,支持类Transformer、混合专家等流行大语言模型。【此简介由AI生成】

分支2Tags0

项目介绍

可帮助昇腾用户在模型微调、评估、强化学习及部署等场景提升体验,是社区维护的让vLLM在Ascend NPU无缝运行的后端插件,支持类Transformer、混合专家等流行大语言模型。【此简介由AI生成】

定制我的领域