Thanks for sending an feature request! Please fill in the following template to help quickly solve your problem. 感谢您提交的需求建议!请填写以下模板,以便快速解决您的问题。
PyMotor服务化框架支持部署SGLang推理引擎
主要工作点: 1、coordinator 新增pd_dual_dispatch_router,支持同时P和D双选,并发下发请求的模式; 2、deploy (1)Ascend_MF_STORE 单独部署;(2)user_config 增加sglang配置;
对接SGLang引擎,丰富PyMotor支持的后端数量。
1、新增pd_dual_dispatch_router,实现pd双选后,对请求参数注入bootstrap信息,再并发下发请求; 2、mf_store 在单独POD中启动;
已收到,会尽快处理!
Thanks for sending an feature request! Please fill in the following template to help quickly solve your problem.
感谢您提交的需求建议!请填写以下模板,以便快速解决您的问题。
Backgroud(背景信息)
PyMotor服务化框架支持部署SGLang推理引擎
主要工作点:
1、coordinator 新增pd_dual_dispatch_router,支持同时P和D双选,并发下发请求的模式;
2、deploy (1)Ascend_MF_STORE 单独部署;(2)user_config 增加sglang配置;
Benefit / Necessity (价值/作用)
对接SGLang引擎,丰富PyMotor支持的后端数量。
Design(设计方案)
1、新增pd_dual_dispatch_router,实现pd双选后,对请求参数注入bootstrap信息,再并发下发请求;
2、mf_store 在单独POD中启动;