Co-authored-by: tobking # message auto-generated for no-merge-commit merge: !773 merge master_0819 into master [feature] 支持引擎原生拉起： layerwise CDP调度模式适配 Created-by: tobking Commit-by: tobking Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：`Fixes #ISSUE ID`会自动关闭issue，如问题部分解决请不要使用`Fixes`，可以用`Fix part of #ISSUE ID`替代. vLLM layerwise P/D 由 Decode 先接收请求，再通过 metaserver callback 触发 Prefill 和逐层 KV 传输。Coordinator 当前缺少完整的 Trigger 调度链路，无法保证 callback 回到持有原始请求状态的 Worker，也无法将异步 Prefill 纳入原请求的取消、重试和 workload 回收生命周期。本改动补齐 vLLM concurrent_engine_sync 的端到端调度，并处理 callback 并发幂等、资源回滚以及 IPv4/IPv6 回调地址可达性。 [#503](https://gitcode.com/Ascend/MindIE-Motor/issues/503) ## **2. 修改内容** > 请**描述修改内容的具体实现**，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要**补充详细设计文档**（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1）增加 vLLM P/D 协同模式选择： prefill_handoff_decode 继续使用现有 handoff 流程。 concurrent_engine_sync 使用 Trigger 流程，先分配并请求 Decode，再由 Decode callback 触发 Prefill。对同一拓扑中 handoff/trigger 能力混用返回 HTTP 503。 2）增加 Trigger 协议适配： Decode 请求注入 do_remote_prefill 和 metaserver URL。 callback 携带的远端 block、host、port 参数转换为 Prefill 请求。 NodeManager 原生 vLLM backend 根据 layerwise 配置上报对应 dispatch capability。 3）增加每 Worker 独立 metaserver：新增 inference_workers_config.worker_metaserver_base_port，默认 0 表示关闭。 Worker i 使用 base_port + i，独立 uvicorn app 仅暴露 POST /v1/metaserver。 callback 通过 request_id + attempt 找到发起 Decode 的同一 Worker 和当前 attempt。 4）完善 callback 生命周期：使用 AttemptContext.trigger_lock 串行化并发 callback。将 callback task 注册为 Prefill task，客户端断开、Decode 失败或 callback 取消时停止整个 attempt。 Prefill 已完成后的重复 callback 返回幂等成功，不重复分配实例。 Scheduler 分配成功但 Worker 本地 workload 登记失败时立即回滚。 ## **3. 资料变更** > 请确认**是否涉及资料变更**。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。更新 P/D 分离设计文档，说明 vLLM layerwise Trigger 调度流程。更新 Coordinator 开发文档，说明每 Worker metaserver、attempt 校验、callback 生命周期和地址选择。更新配置参考及示例配置，说明 worker_metaserver_base_port 的用途和端口范围。 ## **4. 接口变更** > 请确认**是否涉及跨代码仓或者客户面可见的接口变更**。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。不涉及 ## **5. 测试结果** > 需体现**测试场景，测试方法以及测试结果**。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-Motor!773