已合并
[docs]: 补充 SGLang PD 分离部署指导 #893
[docs]: 补充 SGLang PD 分离部署指导 #893
已合并
chaofengdev创建于 9月4日
chaofengdev
chaofengdev成员
9月4日

1. 合入背景

Fixes:#562

MindIE Motor 已支持以 SGLang 作为原生推理引擎后端(engine_type: sglang),并完成 AR1 云原生 PD 分离服务化联调。但用户指南侧仍以 vLLM 的 PD 分离部署文档为主,缺少一份面向 SGLang 的独立部署指导:读者难以区分 bootstrap / MF Store / 生成式健康探测等与 vLLM 的差异,也不知道应使用哪套 examples/infer_engines/sglang/ 典配。

本 PR 补齐 SGLang K8s PD 分离部署用户资料,并挂到用户手册与引擎支持说明入口,降低对外试用与 SIG/社区落地成本。属资料变更;与前序「SGLang 服务化后端」能力合入配套,不引入新的运行时行为。


2. 修改内容

本 PR 为用户指南资料更新,无控制面 / 数据面代码逻辑变更。

  1. 新增 docs/zh/user_guide/deployment/k8s/pd_disaggregation_sglang.md

    • 说明 Motor + SGLang 的 K8s PD 分离部署流程:镜像与 examples 准备、典配选型、部署前必改项、deploy.py 拉起 / 冒烟 / 卸载。
    • 对比 vLLM 路径差异:engine_type、bootstrap 协议与端口、MF Store、生成式 /health、参数透传风格、暂无脚本自动转换工具。
    • 补充 SGLang 相关特性配置要点:健康探测、ChunkPrefill、不对等 TP / PCP / 投机解码、重调度已知限制、可选 KV 亲和配置,并链到既有特性文档。
    • 附录给出运维技巧、已知限制与 examples/infer_engines/sglang/ 目录结构。
  2. 入口与互链

    • menu_user_manual.md:增加「基于 K8s 的 SGLang PD 分离部署」菜单项。
    • deployment/README.md、deployment/k8s/README.md:在 K8s / PD 分离说明中指向新文档。
    • pd_disaggregation_deployment.md:文首增加「引擎为 SGLang 时优先参阅」提示。
    • supported_inference_engines.md:SGLang 小节增加部署步骤与典配路径链接。

组件交互(资料描述范围,非本 PR 新实现):
Deployer 读 user_config.json / env.json → 生成并 apply K8s 资源(含 MF Store)→ NodeManager 拉起 sglang.launch_server → Coordinator 经 SGLang bootstrap Adapter 调度 PD 请求;客户端只访问 Coordinator 北向接口。


3. 资料变更

涉及。

文件 变更说明
docs/zh/user_guide/deployment/k8s/pd_disaggregation_sglang.md 新增 SGLang PD 分离部署指导
docs/zh/user_guide/menu_user_manual.md 增加手册入口
docs/zh/user_guide/deployment/README.md 增加部署总览链接
docs/zh/user_guide/deployment/k8s/README.md PD 分离小节补充 SGLang 文档链接
docs/zh/user_guide/deployment/k8s/pd_disaggregation_deployment.md 文首互链至 SGLang 专文
docs/zh/user_guide/features/supported_inference_engines.md SGLang 配置说明增加部署与典配指引

4. 接口变更

不涉及。

不新增 / 修改北向业务接口、管理接口或跨仓 API;文档仅描述既有 engine_type: sglang 部署方式与配置约定。


5. 测试结果

维度 内容
资料自检 新文档章节完整;相对路径链接可指向现有用户指南与典配目录;菜单与引擎说明入口已挂通
硬件 / 部署(能力侧既有验证,支撑文档正确性) Atlas 800I A3;Motor + SGLang 1P1D;deploy.py --config_dir ../infer_engines/sglang/models/glm5.1/A3
功能(能力侧既有验证) P/D / MF Store 拉起;GET /v1/models、POST /v1/chat/completions 经 Coordinator 正常
性能(能力侧既有验证,非本 PR 新测) 16K+1K:TTFT avg ≈ 3074.9 ms,TPOT avg ≈ 24.1 ms;不低于同配置 SGLang Model Gateway
本 PR 范围说明 纯文档合入,无新增 UT;部署与性能结论沿用前序 SGLang 服务化联调结果

6. CheckList

[x] 代码注释完备(本 PR 无代码变更,不涉及)

[x] 正确记录维测日志(本 PR 无代码变更,不涉及)

[x] 是否有UT用例(本 PR 为资料变更,不涉及)

[x] 若涉及多线程场景,考虑了并发场景,不存在死锁问题(本 PR 不涉及)

likedislike
Pull Request已成功合入, 合并人@tobking
(感谢 chaofengdev 的贡献)
chaofengdevchaofengdev成员
9月4日 关联了issue:[Documentation|文档反馈]: 新增 sglang 部署相关的文档
ascend-robotascend-robot成员
9月4日 添加了label:stat/needs-squash
ascend-robotascend-robot成员
9月4日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
9月4日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/MindIE-Motor ✅ 王君, 韩依伦 (2/2) ✅ 王君 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

qq_40172610, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
AtlasAccountAtlasAccount成员
9月4日 添加了label:ci-pipeline-running
此处折叠了59条消息 查看更多
tobking
tobking成员
9月7日 评论:

/approve

likedislike
ascend-robotascend-robot成员
9月7日 添加了label:approvedlgtm
tobkingtobking成员
9月7日 解决了最后一个问题
tobkingtobking成员
9月7日 关闭了关联的issue
tobkingtobking成员
9月7日 合入了pull request