已关闭
[Feature]: CANN OOM报错信息适配 #3970
huangyunlong创建于 8月13日关闭于 8月13日
8月13日 添加了label：feature
8月13日 关联了看板：FrameworkPTAdapter 版本issue看板
8月13日 添加了label：triage-review
8月13日 修改了issue 的描述
8月13日 关联了pull request：cann oom adaptation
8月13日 添加了label：bot-triaged；删除了label：triage-review
TorchNPU-Bot
8月13日 评论：
8月13日 评论：
检测到当前 issue 已关联 PR，自动添加标签：bot-triaged
8月13日 关闭了 issue
8月13日 关联了pull request：[sync] PR-38972: cann oom adaptation
8月13日 关联了pull request：[sync] PR-38972: cann oom adaptation
8月13日 关联了pull request：[sync] PR-38972: cann oom adaptation
8月13日 关联了pull request：[sync] PR-38972: cann oom adaptation
8月13日 关联了pull request：[sync] PR-38972: cann oom adaptation
8月14日 添加了label：resolved
提交提案之前，请先检索仓库内是否已有相同的提案，如已有请在同一提案中进行讨论。
💻 需求背景、当前现状、期望实现的功能内容、具体的设计方案、以及测试方案
需求背景
OOM异常是大模型训练常见问题之一，当前CANN内部组件OOM导致的报错信息不统一，影响torch_npu导出内存快照能力。CANN在9.1.0版本对OOM报错信息做了整改，各组件在使用new、malloc等非驱动接口申请device内存失败后也能上报OOM错误，同时对错误信息进行了整改，torch_npu需要新的报错信息进行适配
当前现状
当前torch_npu通过CANN error msg中的“Failed to allocate memory”和“EL0004”两种关键字匹配来识别是否为CANN内部OOM错误，不能适配更多的OOM错误
期望实现的功能
torch_npu能适配CANN中各种OOM错误
具体的设计方案
原先匹配“Failed to allocate memory”改为“Failed to allocate”以适配CANN中各种OOM错误同时保证兼容
测试方案
构造CANN OOM错误观察是否有OOM快照
替代方案
补充说明
欢迎加入社区，感谢您对社区的贡献 🎉!