简介
Motor提供一键式 PD 分离与 PD 混部部署,基于云原生插件化架构灵活适配多种推理引擎(vLLM、SGLang),结合高性能调度与负载均衡能力,构建高可用、可扩展的大规模推理服务。
快速开始
环境准备:安装前的相关软硬件环境准备,以及安装步骤,请参见环境准备。
快速部署:快速体验启动服务、接口调用、精度&性能测试和停止服务全流程,请参见快速部署。
最佳实践:PD 分离部署请参见PD 分离服务部署详细指导,PD 混部部署请参见PD 混部服务部署详细指导。
Motor提供一键式 PD 分离与 PD 混部部署,基于云原生插件化架构灵活适配多种推理引擎(vLLM、SGLang),结合高性能调度与负载均衡能力,构建高可用、可扩展的大规模推理服务。
环境准备:安装前的相关软硬件环境准备,以及安装步骤,请参见环境准备。
快速部署:快速体验启动服务、接口调用、精度&性能测试和停止服务全流程,请参见快速部署。
最佳实践:PD 分离部署请参见PD 分离服务部署详细指导,PD 混部部署请参见PD 混部服务部署详细指导。