已合并
支持Nodemanager原生拉起引擎,解除Engine Server层依赖 #698
支持Nodemanager原生拉起引擎,解除Engine Server层依赖 #698
已合并
tobking创建于 16 天前
tobking
tobking成员
16 天前

1. 合入背景

请描述为什么要做这个PR内的改动。
如涉及,请关联前序PR或同特性/需求下的其他PR。
如果是修复之前PR引入的问题,请关联引入问题的PR。
请通过#ISSUE ID关联issue。
注意:Fixes #ISSUE ID会自动关闭issue,如问题部分解决请不要使用Fixes,可以用Fix part of #ISSUE ID替代.
当前Motor侵入式修改引擎侧API SERVER,会导致引擎版本变更时,不兼容变更。且Coordinator组件无法支持独立部署。
#394

2. 修改内容

描述修改内容的具体实现,涉及哪些组件之间进行交互,可以用1、2、3、...进行罗列。
如果是需求或者重构类的PR,需要补充详细设计文档(说明上下游组件关系、时序图、类图、DFX能力等内容)。

  1. NodeManager 不再拉起Engine Server, 直接通过原生指令拉起引擎;
  2. Engine server中vllm \sglang adapter 上移到coordinator中;
  3. Coordinator直连原生引擎做PD调度;
  4. 虚推、容器快照相关逻辑上移到nodemanager,心跳和健康检查改为引擎0原生状态查询(health);

当前PR未删除Engine Server代码,后续单独PR统一删除冗余代码

3. 资料变更

请确认是否涉及资料变更
如涉及,需要在PR中体现,并简要说明修改内容。
如不涉及,需填写“不涉及”。
涉及

4. 接口变更

请确认是否涉及跨代码仓或者客户面可见的接口变更
如涉及,需详细说明接口以及对应的变更内容,同时需要在资料中体现。
如不涉及,需填写“不涉及”。
不涉及

5. 测试结果

需体现测试场景,测试方法以及测试结果
测试用例设计时需考虑硬件、部署方式、功能、性能、精度、显存等维度。

6. CheckList

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

[x] 代码注释完备

[x] 正确记录维测日志

[x] 是否有UT用例

[x] 若涉及多线程场景,考虑了并发场景,不存在死锁问题

引擎原生拉起验证报告

likedislike
Pull Request已成功合入, 合并人@wangyang
(感谢 tobking 的贡献)
atomgit-bot
atomgit-bot
16 天前 评论:

🤖 正在生成合并请求摘要,请稍候…

likedislike
atomgit-bot
atomgit-bot
16 天前 评论:

🤖 AI 代码检视正在进行中,请稍候…

likedislike
Xxiangjie10成员
16 天前 添加了label:pr-audit-failed
xiangjie10成员
16 天前 评论:
🔍 PR 规范审计未通过,以下项目需要修正:
  • PR 未关联里程碑或 Issue
  • PR 新增代码 6446 行超过 1000 行,且标题未标注"反合"

请修正后重新提交,或联系仓库管理员。

likedislike
ascend-robotascend-robot成员
16 天前 添加了label:stat/needs-squash
此处折叠了266条消息 查看更多
jason lyu
jason lyu成员
12 天前 评论:

/approve

likedislike
ascend-robotascend-robot成员
12 天前 添加了label:approved
yuzechen
yuzechen成员
12 天前 评论:

/lgtm

likedislike
ascend-robotascend-robot成员
12 天前 添加了label:lgtm
wangyangwangyang成员
12 天前 合入了pull request