Closed
[Bug-Report|缺陷反馈]: INTrainingReduceV2动态oom、极值归约及格式边界异常 #7835
raoliang_sacAdd on  21 days agoClosed at  18 days ago
raoliang_sac
raoliang_sacCollaborators
21 days ago Create

问题描述

INTrainingReduceV2(Ascend 950 / arch35)扫描发现动态oom异常、极值sum精度失败及格式诊断问题。复核还确认原BIN匹配能拦截非法输出格式,直接DYN Tiling缺少对应的Host保护。

  • ARA使用默认AR结构定位oom边界元数据,400000所需112B结构与184B默认结构不符。
  • FLOAT求和中间溢出发生于最终抵消之前;全载AR折叠丢失低位分量。例如 FLT_MAX, FLT_MAX, -FLT_MAX, -FLT_MAX 应输出sum=0,原实现为NaN。
  • 非法输入格式错误地落入rank错误,零R缺明确标准诊断,DYN Tiling未校验输出ND格式。
  • 参考值/测试覆盖、动态标记和stride/错误码说明存在需要闭环的项目。

原扫描网页:https://cann.cannbot.cn/harnessmcp-tests/evaluation/validation/upload-20261030191350-intrainingreducev2-25aa800e?tab=testcases

修复

对应PR为400000单独注册ARA结构,加入全R共享二进制缩放并保留AR高/低分量,修正输入格式/零R诊断并补齐两个输出的ND保护;TestSpec保持Torch FP64参考,保留原精度标准。README保留有效能力,补必要说明;新增88条专项生成资产及59条Host元数据边界与预期清单。

推导阶段保留合法动态标记和GE空张量传播;native执行的dtype/format/shape域通过原型、OpDef、匹配、Tiling或不支持类型的编译阶段约束。产品并集及UpdateMask自动递减等误报已按源码/API/实测核实,不为消除告警破坏已有能力。

验证

CANN 9.3.0,Ascend950PR_9579与真实A100,官方TTK a996a41594dc9e81430d7f169b0ad42f917d16e9。TTK统一单进程,构建最多8任务。

  • 19条原精度失败冻结输入三方19/19通过,含原6条极值失败。
  • 原486条L1完成验证;首次1条CPU golden阶段退出后原尺寸单独三方通过,其余485条首跑通过。
  • 原137条动态oom失败全部通过;原24条Kernel L0及24条GEIR L0全部通过。
  • 88条专项三方、28条最小/参考模式探针均通过。
  • 最后Host版本26条DYN+oom/BIN、12条GE静态/动态图正常回归通过;59条metadata与14条DYN负测符合预期,其中8条单输出格式突变均由Host拒绝。
  • 公开非法格式均EZ0017;零R为EZ0009;GE零N/C为空路径。
  • 40条官方TTK框架边界单测及pre-commit/OAT检查通过。

已逐项归档网页24项及原始53条映射,无剩余已确认缺陷;不将metadata或预期异常计为精度PASS,不降低阈值。完整冻结输入、日志、分布分析及逐项闭环报告保留在任务交接目录。

关联 PR:https://gitcode.com/cann/ops-nn/pull/13239

likedislike
raoliang_sacraoliang_sacCollaborators
21 days ago Added label: bug-report
yuning_chenyuning_chenCollaborators
21 days ago Assign raoliang_sac as responsible person
raoliang_sacraoliang_sacCollaborators
21 days ago Change title to "[Bug-Report|缺陷反馈]: INTrainingReduceV2动态oom、极值归约及格式边界异常", originally titled "[Bug-Report|缺陷反馈]: INTrainingReduceV2动态oom异常及非法格式错误码不准确".
raoliang_sacraoliang_sacCollaborators
21 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
18 days ago Close issue
CANN-robotCANN-robotCollaborators
18 days ago Added label: resolved