已关闭
[Feature-Request|需求反馈]: SGLang 支持 native PD #382
chaofengdev创建于  7月31日关闭于  29 天前
chaofengdev
chaofengdev
7月31日 创建

在您提交issue前,请确认以下信息:

背景信息

在 EngineServer 启用 native CLI(sglang.launch_server)拉起 SGLang 时,业务口由引擎原生进程占用,不再经过 Motor InferEndpoint / _motor_dispatch 适配层。

现状:Coordinator Unified PD 仍向引擎注入 _motor_dispatch,与 stock SGLang PD 协议(bootstrap_host / bootstrap_port / bootstrap_room)不兼容,导致 SGLang native PD 无法正常完成 Prefill/Decode 协同。

期望:当调度目标实例 engine_type=sglang 时,Coordinator 改为注入 SGLang 原生 PD 字段;对无 /v1/dispatch/stop 的 native 业务口,dispatch stop 采用 best-effort(跳过 HTTP,不视为硬失败)。vLLM PD 路径保持不变。

需求来源

SGLang PD 分离部署联调与 native 拉起方案落地需要;用于支持业务侧在 Ascend 上以 stock SGLang 方式完成 PD 推理,避免强依赖 Motor InferEndpoint 侵入式适配。

价值/作用

  1. 打通 SGLang native + PD 分离主路径,降低对 InferEndpoint / _motor_dispatch 的耦合。
  2. 与上游 SGLang PD 字段语义对齐,便于复用社区引擎能力与运维习惯。
  3. 保持 vLLM PD 行为不变,降低对现网其他引擎路径的影响。

设计方案

  1. 新增 sglang_native_dispatch:识别 engine_type=sglangbootstrap_host 取 Prefill 实例 IP;bootstrap_port 读环境变量 DISAGGREGATION_BOOTSTRAP_PORTbootstrap_roompair_id + attempt_seq 稳定哈希派生;不附带 _motor_dispatch
  2. UnifiedPDRouter 下发请求时,目标为 SGLang 则注入上述字段并返回;非 SGLang 仍走原 _motor_dispatch
  3. DispatchStopClient 对 SGLang native 端点跳过 stop HTTP,仅记录日志。
  4. 文档补充 Native 拉起与 SGLang PD 约定;补充对应 UT。

部署约束:Coordinator 与引擎 Pod 的 DISAGGREGATION_BOOTSTRAP_PORT 需一致。

感谢您的贡献 🎉!

likedislike
chaofengdevchaofengdev
7月31日 关联了pull request:[feature] SGLang 支持 native PD
chaofengdevchaofengdev
7月31日 修改标题为 “[Feature-Request|需求反馈]: SGLang 支持 native PD”,原标题为“[Feature-Request|需求反馈]: ”
wangyang
wangyang成员
8月1日 评论:

👋 您好,感谢向 mindie-motor 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!

📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:

清晰的问题描述
可复现的操作步骤
相关日志、截图或环境信息
我们会尽快跟进,感谢您的理解与配合!

likedislike
wangyangwangyang成员
29 天前 关闭了 issue
ascend-robotascend-robot成员
29 天前 添加了label:resolved