vllm-workspace:基于 vllm 生态的昇腾服务器大语言模型推理调优项目

用户可用于在昇腾服务器上进行大语言模型推理部署、功能测试及性能调优。项目包含vllm-ascend等子模块,支持容器化部署、多轮会话测试、Benchmark性能测试及PD分离等调优功能。【此简介由AI生成】

分支1Tags0

项目介绍

用户可用于在昇腾服务器上进行大语言模型推理部署、功能测试及性能调优。项目包含vllm-ascend等子模块,支持容器化部署、多轮会话测试、Benchmark性能测试及PD分离等调优功能。【此简介由AI生成】

定制我的领域