Open
昇腾环境下vllm推理实例POD和Mooncake Client实例POD共享使用NPU卡 #159
huangpanpanAdd on  Aug 27
huangpanpan
huangpanpan
Aug 27 Create

需求描述/ Description
昇腾环境下,vLLM 推理服务与 Mooncake Client(负责 KV 缓存传输)通常独立部署。使用standalone模式独立部署Mooncake Client的核心目的是让多个推理服务共享同一套分布式 KV 缓存存储池,并使其生命周期与任一推理实例解耦,保证缓存服务的持续可用。

但在昇腾平台上,NPU 卡无法跨 POD 共享。若将 vLLM 推理服务POD与Mooncake Client POD分离,Mooncake Client POD往往需要单独占用至少一张NPU卡(即使其实际只使用 RDMA/网络传输,并不需要 NPU 计算),导致宝贵的 NPU 算力被浪费。

本需求旨在提供一种昇腾环境下的部署方案或运行机制提供一种 NPU 共享/虚拟化方案,使 Mooncake Client 无需独占 NPU 卡即可与 vLLM POD 共存,从而提升昇腾集群整体资源利用率,降低推理服务部署成本。

需求价值:关键竞争力 / Value: Key Competitive Advantage
提升昇腾集群 NPU 资源利用效率,避免为 KV 缓存传输单独预留 NPU 卡;在保证多推理服务共享存储池和缓存服务生命周期独立的前提下,简化部署架构,增强 Mooncake 在昇腾场景下的竞争力与易用性。

需求类型:新增/增强/继承 / Requirement Type: New/Enhancement/Inheritance
增强

特性约束:兼容性要求或其他限制性约束或NA / Property Constraints: Compatibility requirements or other restrictive constraints or NA

需保证 Mooncake Client 与 vLLM 进程间的隔离性和安全性。

支持昇腾 NPU 的容器内共享/虚拟化能力(如基于 Ascend Docker Runtime 的 device 共享策略,或使用 NPU 分区/虚拟化特性)。

方案需确保 Mooncake Client 的升级、重启不影响 vLLM 推理服务。

交付个人或团队:如团队、SIG等 / Delivery organization: such as teams, SIGs, etc.
推理存储团队 / Mooncake SIG

likedislike
openFuyao-botopenFuyao-botCollaborators
Aug 27 Added label: sig/sig-ai-inference
openFuyao-bot
openFuyao-botCollaborators
Aug 27 Comments:

欢迎来到 openFuyao 社区

Hey @laurenceh , 感谢你对社区的贡献.

机器人使用手册

有关指令的使用,可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。您可以自助配置此仓库的 PR 合并规则,更多详情,请参阅此处。

联系指引

有疑问可以联系 SIG: sig-ai-inference ,
维护者是: @foxbit, @regandy ,
审核者是: @ShiroChen, @piamposer-li, @qinwenzh .

likedislike
huangpanpanhuangpanpan
Aug 27 Modify description of issue
huangpanpanhuangpanpan
Aug 27 Modify description of issue
huangpanpanhuangpanpan
Aug 27 Modify description of issue
huangpanpanhuangpanpan
Aug 27 Modify description of issue
huangpanpanhuangpanpan
Aug 27 Modify description of issue
zhengqinwenZZZzhengqinwenZZZCollaborators
Aug 28 Added label: feature-enhancement