Thanks for sending an feature request! Please fill in the following template to help quickly solve your problem. 感谢您提交的需求建议!请填写以下模板,以便快速解决您的问题。
PyMotor服务化框架支持部署SGLang推理引擎
主要工作点: 1、EngineServer适配SGLang启动参数
2、Controller处理节点单集中式部署(多DP,单Endpoint)
对接SGLang引擎,丰富PyMotor支持的后端数量。
详细方案: 1、集中式和分布式新增 "enable_multi_endpoints": true | false 参数 "motor_engine_prefill_config": { "engine_type": "sglang", "enable_multi_endpoints": false, "model_config": {}, "engine_config": {} } sglang引擎该配置为false。
2、controller围绕这个配置进行集中式和分布式的endpoint构造。集中式每节点仅构造一个Endpoint,分布式则按该节点的DP数量进行构造
已收到,会尽快处理!
Thanks for sending an feature request! Please fill in the following template to help quickly solve your problem.
感谢您提交的需求建议!请填写以下模板,以便快速解决您的问题。
Backgroud(背景信息)
PyMotor服务化框架支持部署SGLang推理引擎
主要工作点:
1、EngineServer适配SGLang启动参数
2、Controller处理节点单集中式部署(多DP,单Endpoint)
Benefit / Necessity (价值/作用)
对接SGLang引擎,丰富PyMotor支持的后端数量。
Design(设计方案)
主要工作点:
1、EngineServer适配SGLang启动参数
2、Controller处理节点单集中式部署(多DP,单Endpoint)
详细方案:
1、集中式和分布式新增 "enable_multi_endpoints": true | false 参数
"motor_engine_prefill_config": {
"engine_type": "sglang",
"enable_multi_endpoints": false,
"model_config": {},
"engine_config": {}
}
sglang引擎该配置为false。
2、controller围绕这个配置进行集中式和分布式的endpoint构造。集中式每节点仅构造一个Endpoint,分布式则按该节点的DP数量进行构造