Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
对于npu故障替换,重建NPU Stream、Event、HCCL通信等状态需要消耗较多时间,npu快照:对状态进行dump和reinit,实现Host进程快速初始化、NPU状态快速恢复、HCCL免建链,将NPU替换的恢复时间大幅降低。
软件功能介绍:对当前device进行备份,把device上的资源拷贝回host,存储到host侧内存;恢复快照选取最后一次存储的快照数据进行恢复,重新拉起device,恢复stream/event/notify/cnt notify等数据,把host存储的数据拷贝回device侧。
NA
用户调用AclrtSnapShotProcessLock 锁住runtime进程 -> 用户调用AclrtSnapShotProcessBackup 进行runtime device侧数据备份 -> 用户使用os criu工具对当前runtime进程数据进行备份,存入磁盘 -> 用户使用os criu工具对存入磁盘备份的数据进行恢复,拉起runtime进程 -> 恢复流程中用户调用AclrtSnapShotProcessRestore 恢复runtime device侧数据 -> 用户调用AclrtSnapShotProcessUnlock,runtime进程正常运行
/assign @code17 从描述看,你正在贡献该需求,请跟踪issue,谢谢
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
对于npu故障替换,重建NPU Stream、Event、HCCL通信等状态需要消耗较多时间,npu快照:对状态进行dump和reinit,实现Host进程快速初始化、NPU状态快速恢复、HCCL免建链,将NPU替换的恢复时间大幅降低。
软件功能介绍:对当前device进行备份,把device上的资源拷贝回host,存储到host侧内存;恢复快照选取最后一次存储的快照数据进行恢复,重新拉起device,恢复stream/event/notify/cnt notify等数据,把host存储的数据拷贝回device侧。
Origin(信息来源)
NA
Benefit / Necessity (价值/作用)
对于npu故障替换,重建NPU Stream、Event、HCCL通信等状态需要消耗较多时间,npu快照:对状态进行dump和reinit,实现Host进程快速初始化、NPU状态快速恢复、HCCL免建链,将NPU替换的恢复时间大幅降低。
Design(设计方案)
用户调用AclrtSnapShotProcessLock 锁住runtime进程 -> 用户调用AclrtSnapShotProcessBackup 进行runtime device侧数据备份 -> 用户使用os criu工具对当前runtime进程数据进行备份,存入磁盘 -> 用户使用os criu工具对存入磁盘备份的数据进行恢复,拉起runtime进程 -> 恢复流程中用户调用AclrtSnapShotProcessRestore 恢复runtime device侧数据 -> 用户调用AclrtSnapShotProcessUnlock,runtime进程正常运行