已关闭
[feature] PyMotor对接SGLang #3
linghb创建于  3月16日关闭于  3月20日
linghb
linghb
3月16日 创建

Thanks for sending an feature request! Please fill in the following template to help quickly solve your problem.
感谢您提交的需求建议!请填写以下模板,以便快速解决您的问题。

Backgroud(背景信息)

PyMotor服务化框架支持部署SGLang推理引擎

主要工作点:
1、coordinator 新增pd_dual_dispatch_router,支持同时P和D双选,并发下发请求的模式;
2、deploy (1)Ascend_MF_STORE 单独部署;(2)user_config 增加sglang配置;

Benefit / Necessity (价值/作用)

对接SGLang引擎,丰富PyMotor支持的后端数量。

Design(设计方案)

1、新增pd_dual_dispatch_router,实现pd双选后,对请求参数注入bootstrap信息,再并发下发请求;
2、mf_store 在单独POD中启动;

likedislike
ascend-robotascend-robot成员
3月16日 添加了label:feature
linghblinghb
3月16日 关联了pull request:对接SGLang
wangyang
wangyang成员
3月17日 评论:

已收到,会尽快处理!

likedislike
wangyangwangyang成员
3月20日 关闭了 issue
ascend-robotascend-robot成员
3月20日 添加了label:resolved