已关闭
[feature] PyMotor对接SGLang #2
jason lyu创建于  3月16日关闭于  3月24日
jason lyu
jason lyu成员
3月16日 创建

Thanks for sending an feature request! Please fill in the following template to help quickly solve your problem.
感谢您提交的需求建议!请填写以下模板,以便快速解决您的问题。

Backgroud(背景信息)

PyMotor服务化框架支持部署SGLang推理引擎

主要工作点:
1、EngineServer适配SGLang启动参数

2、Controller处理节点单集中式部署(多DP,单Endpoint)

Benefit / Necessity (价值/作用)

对接SGLang引擎,丰富PyMotor支持的后端数量。

Design(设计方案)

主要工作点:
1、EngineServer适配SGLang启动参数

2、Controller处理节点单集中式部署(多DP,单Endpoint)

详细方案:
1、集中式和分布式新增 "enable_multi_endpoints": true | false 参数
"motor_engine_prefill_config": {
"engine_type": "sglang",
"enable_multi_endpoints": false,
"model_config": {},
"engine_config": {}
}
sglang引擎该配置为false。

2、controller围绕这个配置进行集中式和分布式的endpoint构造。集中式每节点仅构造一个Endpoint,分布式则按该节点的DP数量进行构造

likedislike
jason lyujason lyu成员
3月16日 添加了label:feature, rfc
wangyang
wangyang成员
3月17日 评论:

已收到,会尽快处理!

likedislike
wangyangwangyang成员
3月24日 关闭了 issue
ascend-robotascend-robot成员
3月24日 添加了label:resolved