已关闭
[Feature-Request|需求反馈]: SGLang 支持 native PD #382
chaofengdev创建于 7月31日关闭于 29 天前
7月31日 关联了pull request:[feature] SGLang 支持 native PD
7月31日 修改标题为 “[Feature-Request|需求反馈]: SGLang 支持 native PD”,原标题为“[Feature-Request|需求反馈]: ”
wangyang
8月1日 评论:
8月1日 评论:
👋 您好,感谢向 mindie-motor 提交 Issue!
🎉 我们已收到您的反馈,感谢你对开源社区的支持!
📅 处理时效 维护团队将在工作日 24 小时内查看并回复您的问题。
🔍 自助排查(推荐优先查看) 在等待回复期间,您可以先查阅仓库README以及历史 Issue 中相似问题的解决方案,多数问题可快速解决。
💡 为了更快定位问题,请您确保 Issue 包含:
清晰的问题描述
可复现的操作步骤
相关日志、截图或环境信息
我们会尽快跟进,感谢您的理解与配合!


29 天前 关闭了 issue
29 天前 添加了label:resolved
在您提交issue前,请确认以下信息:
背景信息
在 EngineServer 启用 native CLI(
sglang.launch_server)拉起 SGLang 时,业务口由引擎原生进程占用,不再经过 Motor InferEndpoint /_motor_dispatch适配层。现状:Coordinator Unified PD 仍向引擎注入
_motor_dispatch,与 stock SGLang PD 协议(bootstrap_host/bootstrap_port/bootstrap_room)不兼容,导致 SGLang native PD 无法正常完成 Prefill/Decode 协同。期望:当调度目标实例
engine_type=sglang时,Coordinator 改为注入 SGLang 原生 PD 字段;对无/v1/dispatch/stop的 native 业务口,dispatch stop 采用 best-effort(跳过 HTTP,不视为硬失败)。vLLM PD 路径保持不变。需求来源
SGLang PD 分离部署联调与 native 拉起方案落地需要;用于支持业务侧在 Ascend 上以 stock SGLang 方式完成 PD 推理,避免强依赖 Motor InferEndpoint 侵入式适配。
价值/作用
_motor_dispatch的耦合。设计方案
sglang_native_dispatch:识别engine_type=sglang;bootstrap_host取 Prefill 实例 IP;bootstrap_port读环境变量DISAGGREGATION_BOOTSTRAP_PORT;bootstrap_room由pair_id + attempt_seq稳定哈希派生;不附带_motor_dispatch。UnifiedPDRouter下发请求时,目标为 SGLang 则注入上述字段并返回;非 SGLang 仍走原_motor_dispatch。DispatchStopClient对 SGLang native 端点跳过 stop HTTP,仅记录日志。部署约束:Coordinator 与引擎 Pod 的
DISAGGREGATION_BOOTSTRAP_PORT需一致。感谢您的贡献 🎉!