已关闭
[Requirement|需求建议]: N5支持NPU快照 #449
Phl17创建于  4月28日关闭于  5月6日
Phl17
4月28日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

对于npu故障替换,重建NPU Stream、Event、HCCL通信等状态需要消耗较多时间,npu快照:对状态进行dump和reinit,实现Host进程快速初始化、NPU状态快速恢复、HCCL免建链,将NPU替换的恢复时间大幅降低。

软件功能介绍:对当前device进行备份,把device上的资源拷贝回host,存储到host侧内存;恢复快照选取最后一次存储的快照数据进行恢复,重新拉起device,恢复stream/event/notify/cnt notify等数据,把host存储的数据拷贝回device侧。

Origin(信息来源)

NA

Benefit / Necessity (价值/作用)

对于npu故障替换,重建NPU Stream、Event、HCCL通信等状态需要消耗较多时间,npu快照:对状态进行dump和reinit,实现Host进程快速初始化、NPU状态快速恢复、HCCL免建链,将NPU替换的恢复时间大幅降低。

Design(设计方案)

用户调用AclrtSnapShotProcessLock 锁住runtime进程 -> 用户调用AclrtSnapShotProcessBackup 进行runtime device侧数据备份 -> 用户使用os criu工具对当前runtime进程数据进行备份,存入磁盘 -> 用户使用os criu工具对存入磁盘备份的数据进行恢复,拉起runtime进程 -> 恢复流程中用户调用AclrtSnapShotProcessRestore 恢复runtime device侧数据 -> 用户调用AclrtSnapShotProcessUnlock,runtime进程正常运行

likedislike
PPhl17
4月28日 issue类型由 任务 改变为 需求
wangtao成员
4月29日 评论:

/assign @code17
从描述看,你正在贡献该需求,请跟踪issue,谢谢

likedislike
PPhl17
5月6日 issue状态由 待办的 改变为 已完成
PPhl17
5月6日 关闭了 issue
CANN-robotCANN-robot成员
5月6日 添加了label:resolved