Closed
[Bug-Report|缺陷反馈]: max_pool_grad_with_argmax: NHWC 小 C 场景 C 轴切分导致 Argmax 解码错误和精度 FAIL #8366
小王!Add on  15 days agoClosed at  13 days ago
小王!
小王!Collaborators
15 days ago Create

问题现象

Ascend950PR_958b / CANN 9.3.0 上,MaxPoolGradWithArgmax 的 NHWC 小 C 场景出现精度 FAIL,复现用例如下:

用例 完整 C Tiling 块内 C Tiling Key 结果
fp32_int64_NHWC_000023 2 1 501 (MergeHWC, CheckRange=1) FAIL
bf16_int64_NHWC_000093 3 1 501 FAIL
fp32_int32_NHWC_000101 15 2 501 FAIL
fp32_int64_NHWC_000103 3 1 501 FAIL
verifyN100(对照) 2 2 501 PASS

共同特征:命中 NHWC MergeHWC 向量模板,且块内 C(cOutputInner/cOutputActual)严格小于完整 C。

根因分析

MaxPoolGradWithArgmax 的 Argmax 使用全局 (h * W + w) * C + c 编码。DoMulCNhwc() 在还原 h/w 时使用块内 C(cOutputActual)作为除数;当 Tiling 把 C 切分后 cOutputActual < cOutput,解码出的 h/w 错误,梯度被散射到错误位置或被 Range Check 丢弃。

Tiling 主流程 AdjustInnerSplitForMultiCore() 在 N/H/W 调整后仍无条件执行:

SearchOuterSingle(splitData.cOutputInner, 1);

这会把已经等于完整 C 的 cOutputInner 继续收缩到 1/2 等小值,从而触发上述解码错误。

修复方案

在 AdjustInnerSplitForMultiCore() 中,仅当完整 C 超过 BigC 判定边界时才继续收缩 C:

const int64_t bigCDomainThreshold = baseData.vRegSize / (2 * baseData.indexBytes);
if (inputData->cX > bigCDomainThreshold) {
    SearchOuterSingle(splitData.cOutputInner, 1);
}
  • 小 C(非 BigC):不再切 C,保证 cOutputActual == cOutput,MergeHWC/MergeWC 解码恢复正确。
  • 大 C(BigC):仍允许切 C 利用多核;BigC Kernel 使用完整 cOutput 做 TransHWC2HW,本身不依赖块内 C,不会触发该精度问题。
  • 阈值与 BigC 模板 IsCapable() 的 cGrad > vRegSize / (2 * indexBytes) 边界一致。

影响范围

  • 修复路径:NHWC MergeHWC / MergeWC(小 C)。
  • 不受影响:BigC(大 C,已使用完整 C 解码)、SIMT(801-804)、NCHW 路径。
  • 潜在影响:小 C 场景不再通过切 C 占满多核,可能存在性能回退,需要做性能回归。

验证状态

  • 已完成静态分析:原始 4 条 FAIL 用例的完整 C 分别为 2、3、15、3,均小于等于对应阈值(int32=32、int64=16),修复后不再切 C。
  • 待黄区回归:原始 4 条用例、C=threshold-1/threshold/threshold+1、int32/int64、MergeHWC/MergeWC/BigC、RangeCheck=0/1。
  • 蓝区无 Ascend950 NPU,尚未上板验证。

关联 PR

likedislike
yuning_chenyuning_chenCollaborators
15 days ago Assign qq_52056150 as responsible person
CANN-robotCANN-robotCollaborators
13 days ago Close issue
CANN-robotCANN-robotCollaborators
13 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
13 days ago Added label: resolved
chenjiayi_chenjiayi_Collaborators
2 days ago changed custom category from 任务 to 缺陷
chenjiayi_chenjiayi_Collaborators
2 days ago Change title to "[Bug-Report|缺陷反馈]: max_pool_grad_with_argmax: NHWC 小 C 场景 C 轴切分导致 Argmax 解码错误和精度 FAIL", originally titled "max_pool_grad_with_argmax: NHWC 小 C 场景 C 轴切分导致 Argmax 解码错误和精度 FAIL".
chenjiayi_chenjiayi_Collaborators
2 days ago Added label: bug-report