vllm:基于 Hugging Face 生态的 LLM 推理与服务库项目

Star63

Star63

A high-throughput and memory-efficient inference and serving engine for LLMs

分支339 Tags172

项目介绍

面向大规模语言模型的高通量、内存高效的推理与服务引擎【此简介由AI生成】

Apache-2.0 Python 18.96 K提交数amd blackwell cuda deepseek deepseek-v3 gpt gpt-oss inference kimi llama llm llm-serving model-serving moe openai pytorch qwen qwen3 tpu transformer

定制我的领域

58886.81 K19.67 K访问 GitHub