已关闭
[Feature-Request|需求反馈]: migrate EngineServer auto Snapshot lifecycle to native #509
liu创建于  8月21日关闭于  8月21日
liu
liu成员
8月21日 创建

在您提交issue前,请确认以下信息:

背景信息

当前 EngineServer Snapshot 生命周期仍未完整迁移到 native vllm serve 路径:snapshot metadata / auto checkpoint 未能正确下发到引擎 CLI,health probe 未适配 /snapshot/health,host-side restore 后 endpoint id 可能变化导致探针/心跳错位,suicide arbitration 也可能在 HeartbeatManager 绑定前提前启动。

期望将 EngineServer Snapshot lifecycle 迁移并对齐到 native 路径。

需求来源

native engine 路径下完善 EngineServer Snapshot 能力。

价值/作用

  • 统一 native vLLM 路径的 snapshot 配置下发与健康探测(/snapshot/health)
  • restore 后按 start_cmd 重新绑定 endpoint id,避免心跳/探针使用旧 id
  • 延后 suicide arbitration 至 HeartbeatManager 绑定后,避免初始化竞态

设计方案

  1. EndpointConfig / LaunchContext 透传 snapshot_metadata,并据此设置 enable_auto_checkpoint
  2. VLLMConfig flatten 写入 snapshot_config;有 metadata 时 health probe 使用 /snapshot/health(含 202→RUNNING)
  3. restore start_cmd 路径调用 Daemon/Supervisor rebind_endpoint_ids
  4. NodeManager 在 Register/Heartbeat 初始化后再 start_suicide_arbitration
  5. 补充对应 UT / CLI golden 断言
likedislike
liuliu成员
8月21日 关联了pull request:[Feature] migrate NodeManager snapshot lifecycle to native vLLM serve
liuliu成员
8月21日 修改了issue 的描述
liuliu成员
8月21日 修改标题为 “[Feature-Request|需求反馈]: migrate EngineServer Snapshot lifecycle to native”,原标题为“[Feature-Request|需求反馈]: 将 NodeManager snapshot 生命周期迁移至 native vLLM serve”
liuliu成员
8月21日 修改了issue 的描述
liuliu成员
8月21日 修改标题为 “[Feature-Request|需求反馈]: migrate EngineServer auto Snapshot lifecycle to native”,原标题为“[Feature-Request|需求反馈]: migrate EngineServer Snapshot lifecycle to native”
tobkingtobking成员
8月21日 关闭了 issue
ascend-robotascend-robot成员
8月21日 添加了label:resolved