vllm-ascend:基于 vLLM 生态的 Ascend NPU 后端插件项目

Star50

Star50

Community maintained hardware plugin for vLLM on Ascend

分支14 Tags38

项目介绍

社区维护的硬件插件，用于Ascend上的vLLM【此简介由AI生成】

Apache-2.0 C++4.22 K提交数ascend inference llm llm-serving llmops mlops model-serving transformer vllm

定制我的领域

492.43 K1.69 K访问 GitHub