master

文件	最后提交记录	最后更新时间
__init__.py	Coordinate引擎侧差异归一化重构 Co-authored-by: wenjinhust<wenjin.sh@huawei.com> Co-authored-by: tobking<wangjun292@huawei.com> # message auto-generated for no-merge-commit merge: !242 merge dev2606/br_ma_dis_engine_decoupling/0608 into master Coordinate引擎侧差异归一化重构 Created-by: wenjinhust Commit-by: wenjinhust;tobking Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. Fix part of [#100](https://gitcode.com/Ascend/MindIE-PyMotor/issues/100) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 - CPCD/CDP模式处理下沉到engine_server - Coordinator支持故障请求重调度 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 - 不涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 - 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 - 测试以下场景，测试结果符合预期： | 项目 | 测试场景 | 测试结果 | | --- | --- | --- | | 部署模式 | CPCD、CDP | 已覆盖 | | 推理接口 | chat接口、completions接口 | 已覆盖| | stream参数 | true、false | 已覆盖 | | 正常场景 | 简单报文、携带return_token_ids | 符合预期 | | 故障场景 | P故障、D故障、D输出若干token后故障 | 符合预期 | ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!242	2 个月前
base.py	支持Nodemanager原生拉起引擎，解除Engine Server层依赖 Co-authored-by: tobking<wangjun292@huawei.com> # message auto-generated for no-merge-commit merge: !698 merge feat/pr2-native-engine-routing into master 支持Nodemanager原生拉起引擎，解除Engine Server层依赖 Created-by: tobking Commit-by: tobking Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. **当前Motor侵入式修改引擎侧API SERVER，会导致引擎版本变更时，不兼容变更。且Coordinator组件无法支持独立部署。** [#394](https://gitcode.com/Ascend/MindIE-Motor/issues/394) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1. NodeManager 不再拉起Engine Server, 直接通过原生指令拉起引擎； 2. Engine server中vllm \sglang adapter 上移到coordinator中； 3. Coordinator直连原生引擎做PD调度； 4. 虚推、容器快照相关逻辑上移到nodemanager，心跳和健康检查改为引擎0原生状态查询（health）； 当前PR未删除Engine Server代码，后续单独PR统一删除冗余代码 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 涉及 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 [引擎原生拉起验证报告](https://wiki.huawei.com/domains/114540/wiki/411410/WIKI2026081412302804) See merge request: Ascend/MindIE-Motor!698	11 天前
pd_hybrid.py	[feature]支持混布场景的精度异常检测 Co-authored-by: hxy<huxinyi9@huawei.com> # message auto-generated for no-merge-commit merge: !429 merge feat/hybrid-precision-detection into master [feature]支持混布场景的精度异常检测 Created-by: hu-xinyi_555 Commit-by: hxy Merged-by: towncharlie Description: ## **1. 合入背景** 精度异常检测之前仅支持了PD分离的方式，增加PD混布的支持 ## **2. 修改内容** 增加PD混布侧的请求采集 ## **3. 资料变更** 不涉及 ## **4. 接口变更** 不涉及 ## **5. 测试结果** 构造故障时能正确检出并上报异常 在自闭环的情况下自动杀死了混布实例 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [x] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-PyMotor!429	1 个月前
unified_pd.py	[feature] 支持引擎原生拉起： layerwise CDP调度模式适配 Co-authored-by: tobking<wangjun292@huawei.com> # message auto-generated for no-merge-commit merge: !773 merge master_0819 into master [feature] 支持引擎原生拉起： layerwise CDP调度模式适配 Created-by: tobking Commit-by: tobking Merged-by: towncharlie Description: ## **1. 合入背景** > 请描述为什么要做这个PR内的改动。\ > 如涉及，请关联前序PR或同特性/需求下的其他PR。\ > 如果是修复之前PR引入的问题，请关联引入问题的PR。\ > 请通过#ISSUE ID关联issue。\ > 注意：Fixes #ISSUE ID会自动关闭issue，如问题部分解决请不要使用Fixes，可以用Fix part of #ISSUE ID替代. vLLM layerwise P/D 由 Decode 先接收请求，再通过 metaserver callback 触发 Prefill 和逐层 KV 传输。Coordinator 当前缺少完整的 Trigger 调度链路，无法保证 callback 回到持有原始请求状态的 Worker，也无法将异步 Prefill 纳入原请求的取消、重试和 workload 回收生命周期。 本改动补齐 vLLM concurrent_engine_sync 的端到端调度，并处理 callback 并发幂等、资源回滚以及 IPv4/IPv6 回调地址可达性。 [#503](https://gitcode.com/Ascend/MindIE-Motor/issues/503) ## **2. 修改内容** > 请<ins>**描述修改内容的具体实现**</ins>，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列。 > 如果是需求或者重构类的PR，需要<ins>**补充详细设计文档**</ins>（说明上下游组件关系、时序图、类图、DFX能力等内容）。 1）增加 vLLM P/D 协同模式选择： prefill_handoff_decode 继续使用现有 handoff 流程。 concurrent_engine_sync 使用 Trigger 流程，先分配并请求 Decode，再由 Decode callback 触发 Prefill。 对同一拓扑中 handoff/trigger 能力混用返回 HTTP 503。 2）增加 Trigger 协议适配： Decode 请求注入 do_remote_prefill 和 metaserver URL。 callback 携带的远端 block、host、port 参数转换为 Prefill 请求。 NodeManager 原生 vLLM backend 根据 layerwise 配置上报对应 dispatch capability。 3）增加每 Worker 独立 metaserver： 新增 inference_workers_config.worker_metaserver_base_port，默认 0 表示关闭。 Worker i 使用 base_port + i，独立 uvicorn app 仅暴露 POST /v1/metaserver。 callback 通过 request_id + attempt 找到发起 Decode 的同一 Worker 和当前 attempt。 4）完善 callback 生命周期： 使用 AttemptContext.trigger_lock 串行化并发 callback。 将 callback task 注册为 Prefill task，客户端断开、Decode 失败或 callback 取消时停止整个 attempt。 Prefill 已完成后的重复 callback 返回幂等成功，不重复分配实例。 Scheduler 分配成功但 Worker 本地 workload 登记失败时立即回滚。 ## **3. 资料变更** > 请确认<ins>**是否涉及资料变更**</ins>。\ > 如涉及，需要在PR中体现，并简要说明修改内容。\ > 如不涉及，需填写“不涉及”。 更新 P/D 分离设计文档，说明 vLLM layerwise Trigger 调度流程。 更新 Coordinator 开发文档，说明每 Worker metaserver、attempt 校验、callback 生命周期和地址选择。 更新配置参考及示例配置，说明 worker_metaserver_base_port 的用途和端口范围。 ## **4. 接口变更** > 请确认<ins>**是否涉及跨代码仓或者客户面可见的接口变更**</ins>。\ > 如涉及，需详细说明接口以及对应的变更内容，同时需要在资料中体现。\ > 如不涉及，需填写“不涉及”。 不涉及 ## **5. 测试结果** > 需体现<ins>**测试场景，测试方法以及测试结果**</ins>。\ > 测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。 ## **6. CheckList** > PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x] [x] 代码注释完备 [x] 正确记录维测日志 [x] 是否有UT用例 [ ] 若涉及多线程场景，考虑了并发场景，不存在死锁问题 See merge request: Ascend/MindIE-Motor!773	5 天前