已开启
【需求】/【Requirement】支持满足业务 SLO 前提下的 GPU 任务向 NPU 动态迁移 #173
Aur0ra创建于  9月24日
Aur0ra
Aur0ra成员
9月24日 创建

当前已运行的模型推理任务一旦部署在 GPU 上,其执行资源基本随部署配置固定。即使集群后续存在充足的 NPU 资源,且 NPU 能够满足该模型的性能要求,也缺少根据资源状态和业务 SLO 自动将任务从 GPU 切换至 NPU 执行的能力。

这种方式存在以下问题:

1. 异构资源利用不充分
GPU 与 NPU 资源池之间缺少基于业务目标的动态流转机制,容易出现 GPU 紧张而 NPU 空闲的资源不均衡情况。
2. 部署后的算力配置缺少持续优化能力
当前资源选择主要发生在任务部署阶段,任务运行后难以根据集群资源变化、业务负载变化重新选择更合适的算力类型,容易形成“初始部署即长期固化”的资源使用方式。

因此,建议增加基于业务 SLO 的异构算力动态迁移能力。

对于当前运行在 GPU 上的模型服务,系统持续评估其业务负载、SLO 要求以及集群 NPU 资源状态。当存在充足 NPU 资源,且评估确认迁移后的吞吐、时延等指标仍能够满足业务 SLO 时,可自动生成 GPU → NPU 的迁移方案,并完成流量切换与资源释放。

迁移过程中应重点保证:

SLO 不退化:迁移前对目标 NPU 部署规格进行性能评估;
业务无感切换:通过新实例预启动、流量逐步切换等方式避免服务中断;
可回退:迁移后若性能无法持续满足 SLO,可及时回退至原 GPU 实例。

通过该能力,可使 InferNex 从基于当前资源状态的任务部署进一步演进为面向业务 SLO 的跨 GPU/NPU 动态资源优化,在保障业务性能的同时提升异构算力整体利用效率。

likedislike
openFuyao-botopenFuyao-bot成员
9月24日 添加了label:sig/sig-ai-inference
openFuyao-bot
openFuyao-bot成员
9月24日 评论:

欢迎来到 openFuyao 社区

Hey @qishibo-Aur0ra , 感谢你对社区的贡献.

机器人使用手册

有关指令的使用,可以点击 此处 查看详情。开发人员可以在每个PR或Issue下方评论特定指令来触发机器人任务。您可以自助配置此仓库的 PR 合并规则,更多详情,请参阅此处。

联系指引

有疑问可以联系 SIG: sig-ai-inference ,
维护者是: @foxbit, @regandy ,
审核者是: @ShiroChen, @piamposer-li, @qinwenzh .

likedislike