已合并
[docs]: 补充 SGLang PD 分离部署指导 #893
[docs]: 补充 SGLang PD 分离部署指导 #893
已合并
chaofengdev创建于 5 天前
chaofengdev
chaofengdev
5 天前

1. 合入背景

Fixes:#562

MindIE Motor 已支持以 SGLang 作为原生推理引擎后端(engine_type: sglang),并完成 AR1 云原生 PD 分离服务化联调。但用户指南侧仍以 vLLM 的 PD 分离部署文档为主,缺少一份面向 SGLang 的独立部署指导:读者难以区分 bootstrap / MF Store / 生成式健康探测等与 vLLM 的差异,也不知道应使用哪套 examples/infer_engines/sglang/ 典配。

本 PR 补齐 SGLang K8s PD 分离部署用户资料,并挂到用户手册与引擎支持说明入口,降低对外试用与 SIG/社区落地成本。属资料变更;与前序「SGLang 服务化后端」能力合入配套,不引入新的运行时行为。


2. 修改内容

本 PR 为用户指南资料更新,无控制面 / 数据面代码逻辑变更。

  1. 新增 docs/zh/user_guide/deployment/k8s/pd_disaggregation_sglang.md

    • 说明 Motor + SGLang 的 K8s PD 分离部署流程:镜像与 examples 准备、典配选型、部署前必改项、deploy.py 拉起 / 冒烟 / 卸载。
    • 对比 vLLM 路径差异:engine_type、bootstrap 协议与端口、MF Store、生成式 /health、参数透传风格、暂无脚本自动转换工具。
    • 补充 SGLang 相关特性配置要点:健康探测、ChunkPrefill、不对等 TP / PCP / 投机解码、重调度已知限制、可选 KV 亲和配置,并链到既有特性文档。
    • 附录给出运维技巧、已知限制与 examples/infer_engines/sglang/ 目录结构。
  2. 入口与互链

    • menu_user_manual.md:增加「基于 K8s 的 SGLang PD 分离部署」菜单项。
    • deployment/README.mddeployment/k8s/README.md:在 K8s / PD 分离说明中指向新文档。
    • pd_disaggregation_deployment.md:文首增加「引擎为 SGLang 时优先参阅」提示。
    • supported_inference_engines.md:SGLang 小节增加部署步骤与典配路径链接。

组件交互(资料描述范围,非本 PR 新实现):
Deployer 读 user_config.json / env.json → 生成并 apply K8s 资源(含 MF Store)→ NodeManager 拉起 sglang.launch_server → Coordinator 经 SGLang bootstrap Adapter 调度 PD 请求;客户端只访问 Coordinator 北向接口。


3. 资料变更

涉及。

文件 变更说明
docs/zh/user_guide/deployment/k8s/pd_disaggregation_sglang.md 新增 SGLang PD 分离部署指导
docs/zh/user_guide/menu_user_manual.md 增加手册入口
docs/zh/user_guide/deployment/README.md 增加部署总览链接
docs/zh/user_guide/deployment/k8s/README.md PD 分离小节补充 SGLang 文档链接
docs/zh/user_guide/deployment/k8s/pd_disaggregation_deployment.md 文首互链至 SGLang 专文
docs/zh/user_guide/features/supported_inference_engines.md SGLang 配置说明增加部署与典配指引

4. 接口变更

不涉及。

不新增 / 修改北向业务接口、管理接口或跨仓 API;文档仅描述既有 engine_type: sglang 部署方式与配置约定。


5. 测试结果

维度 内容
资料自检 新文档章节完整;相对路径链接可指向现有用户指南与典配目录;菜单与引擎说明入口已挂通
硬件 / 部署(能力侧既有验证,支撑文档正确性) Atlas 800I A3;Motor + SGLang 1P1D;deploy.py --config_dir ../infer_engines/sglang/models/glm5.1/A3
功能(能力侧既有验证) P/D / MF Store 拉起;GET /v1/modelsPOST /v1/chat/completions 经 Coordinator 正常
性能(能力侧既有验证,非本 PR 新测) 16K+1K:TTFT avg ≈ 3074.9 ms,TPOT avg ≈ 24.1 ms;不低于同配置 SGLang Model Gateway
本 PR 范围说明 纯文档合入,无新增 UT;部署与性能结论沿用前序 SGLang 服务化联调结果

6. CheckList

[x] 代码注释完备(本 PR 无代码变更,不涉及)

[x] 正确记录维测日志(本 PR 无代码变更,不涉及)

[x] 是否有UT用例(本 PR 为资料变更,不涉及)

[x] 若涉及多线程场景,考虑了并发场景,不存在死锁问题(本 PR 不涉及)

likedislike
Pull Request已成功合入, 合并人@tobking
(感谢 chaofengdev 的贡献)
chaofengdevchaofengdev
5 天前 关联了issue:[Documentation|文档反馈]: 新增 sglang 部署相关的文档
ascend-robotascend-robot成员
5 天前 添加了label:stat/needs-squash
ascend-robotascend-robot成员
5 天前 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
5 天前 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
repo-Ascend/MindIE-Motor 王君, 韩依伦 (2/2) 王君 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

qq_40172610, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
AtlasAccountAtlasAccount成员
5 天前 添加了label:ci-pipeline-running
此处折叠了59条消息 查看更多
tobking
tobking成员
2 天前 评论:

/approve

likedislike
ascend-robotascend-robot成员
2 天前 添加了label:approvedlgtm
tobkingtobking成员
2 天前 解决了最后一个问题
tobkingtobking成员
2 天前 关闭了关联的issue
tobkingtobking成员
2 天前 合入了pull request