vllm:基于 PyTorch 生态的 LLM 推理与服务库项目

Star0
0
代码
代码
Issues
Pull Requests
项目讨论
Wiki
分析
Star0
0

A high-throughput and memory-efficient inference and serving engine for LLMs

分支176Tags99

项目介绍

A high-throughput and memory-efficient inference and serving engine for LLMs

Apache_License_v2.0 Python12.29 K提交数
定制我的领域
README
规则集