vllm-ascend:基于 vLLM 社区的 Ascend NPU 后端插件项目

用户可借助该项目在Ascend NPU上无缝运行vLLM，支持类Transformer、MOE、嵌入、多模态等大语言模型，遵循硬件可插拔原则，是vLLM社区推荐的昇腾后端支持方式。【此简介由AI生成】