FilesLast commitLast update
1 month ago
2 months ago
1 month ago
1 month ago
1 month ago
2 months ago
1 month ago
1 month ago
README

MaxPoolV3Grad

产品支持情况

产品 是否支持
Ascend 950PR&950DT系列产品 √
Atlas A3系列产品 √
Atlas A2系列产品 √
Atlas 200I/500 A2推理产品 x
Atlas推理系列产品 √
Atlas训练系列产品 √

功能说明

  • 算子功能:MaxPoolV3Grad是MaxPoolV3(最大池化)算子的反向传播(梯度计算)算子,用于在神经网络训练过程中将损失函数对池化输出的梯度回传到池化输入。对于每个池化输出位置,其梯度仅传递给前向计算中产生该最大值的输入位置(argmax位置),其余输入位置的梯度为0。

  • argmax位置通过从orig_input重新计算每个池化窗口的最大值确定(不依赖orig_output)。当窗口内存在多个输入位置等于最大值时,仅首个匹配位置接收梯度(first-wins策略,与TensorFlow一致)。

  • 计算公式: 反向传播将梯度回传到 argmax 位置,对于每个池化输出位置 (ho,wo)(ho, wo),从 orig_input 对应窗口中找到 argmax 位置 (h∗,w∗)(h^*, w^*):

    out_grad[n,c,h∗,w∗]+=grad[n,c,ho,wo]out\_grad[n, c, h^*, w^*] \mathrel{+}= grad[n, c, ho, wo]

    out_grad[n,c,h,w]+=0for (h,w)≠(h∗,w∗)out\_grad[n, c, h, w] \mathrel{+}= 0 \quad \text{for } (h, w) \neq (h^*, w^*)

    out_grad 的 H/W 维度与 orig_input 一致,orig_output 的 H/W 维度按 padding_mode 推导如下。设 H 维池化窗口大小为 khk_h、步长为 shs_h,W 维池化窗口大小为 kwk_w、步长为 sws_w:

    • 当 padding_mode 为 "SAME" 时,输出尺寸为:

      Hout=⌈Hinsh⌉,Wout=⌈Winsw⌉H_{out} = \lceil \frac{H_{in}}{s_h} \rceil, \quad W_{out} = \lceil \frac{W_{in}}{s_w} \rceil

      总 padding 大小为:

      padh=max⁡((Hout−1)×sh+kh−Hin,0),padw=max⁡((Wout−1)×sw+kw−Win,0)pad_h = \max((H_{out} - 1) \times s_h + k_h - H_{in}, 0), \quad pad_w = \max((W_{out} - 1) \times s_w + k_w - W_{in}, 0)

      其中 padtop=⌊padh/2⌋pad_{top} = \lfloor pad_h / 2 \rfloor、padbottom=padh−padtoppad_{bottom} = pad_h - pad_{top},padleft=⌊padw/2⌋pad_{left} = \lfloor pad_w / 2 \rfloor、padright=padw−padleftpad_{right} = pad_w - pad_{left}。

    • 当 padding_mode 为 "VALID" 时,无 padding,输出尺寸为:

      padtop=padbottom=padleft=padright=0pad_{top} = pad_{bottom} = pad_{left} = pad_{right} = 0

      Hout=⌊Hin−khsh⌋+1,Wout=⌊Win−kwsw⌋+1H_{out} = \lfloor \frac{H_{in} - k_h}{s_h} \rfloor + 1, \quad W_{out} = \lfloor \frac{W_{in} - k_w}{s_w} \rfloor + 1

    • 当 padding_mode 为 "CALCULATED" 时,padtop=pads[0]pad_{top} = pads[0]、padbottom=pads[1]pad_{bottom} = pads[1]、padleft=pads[2]pad_{left} = pads[2]、padright=pads[3]pad_{right} = pads[3]:

      • 当 ceil_mode 为 false 时,输出尺寸为:

        Hout=⌊Hin+padtop+padbottom−khsh⌋+1H_{out} = \lfloor \frac{H_{in} + pad_{top} + pad_{bottom} - k_h}{s_h} \rfloor + 1

        Wout=⌊Win+padleft+padright−kwsw⌋+1W_{out} = \lfloor \frac{W_{in} + pad_{left} + pad_{right} - k_w}{s_w} \rfloor + 1

      • 当 ceil_mode 为 true 时,输出尺寸为:

        Hout=⌈Hin+padtop+padbottom−khsh⌉+1H_{out} = \lceil \frac{H_{in} + pad_{top} + pad_{bottom} - k_h}{s_h} \rceil + 1

        Wout=⌈Win+padleft+padright−kwsw⌉+1W_{out} = \lceil \frac{W_{in} + pad_{left} + pad_{right} - k_w}{s_w} \rceil + 1

        若滑窗左上角起始位置落在下侧/右侧 pad 填充位或界外(无法取到有效值),则该滑窗结果被舍弃,对应空间轴 shape 减 1:

        {Hout=Hout−1if (Hout−1)×sh≥Hin+padtopWout=Wout−1if (Wout−1)×sw≥Win+padleft\begin{cases} H_{out} = H_{out} - 1 & \text{if } (H_{out} - 1) \times s_h \ge H_{in} + pad_{top} \\ W_{out} = W_{out} - 1 & \text{if } (W_{out} - 1) \times s_w \ge W_{in} + pad_{left} \end{cases}

    • 当 global_pooling 为 true 时,池化窗口覆盖整个 H/W 维度:

      kh=Hin,kw=Win,padtop=padbottom=padleft=padright=0,Hout=Wout=1k_h = H_{in}, \quad k_w = W_{in}, \quad pad_{top} = pad_{bottom} = pad_{left} = pad_{right} = 0, \quad H_{out} = W_{out} = 1

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
orig_input 输入 前向MaxPoolV3的原始输入,4D张量。data_format为"NCHW"时布局为(N, C, H, W),为"NHWC"时布局为(N, H, W, C)。 FLOAT16、FLOAT、BFLOAT16、INT32、INT64、UINT8、INT16、INT8、UINT16 ND
orig_output 输入 前向MaxPoolV3的原始输出,4D张量。shape由orig_input和ksize/strides/padding推导,dtype与orig_input一致。 FLOAT16、FLOAT、BFLOAT16、INT32、INT64、UINT8、INT16、INT8、UINT16 ND
grad 输入 输出梯度,4D张量,shape和dtype与orig_output完全一致。 FLOAT16、FLOAT、BFLOAT16、INT32、INT64、UINT8、INT16、INT8、UINT16 ND
out_grad 输出 输入梯度,4D张量,shape和dtype与orig_input一致。 FLOAT16、FLOAT、BFLOAT16、INT32、INT64、UINT8、INT16、INT8、UINT16 ND
ksize 属性 池化窗口大小,长度为4的列表。N维和C维必须为1,H/W维取值范围为[1, 255]。global_pooling为true时忽略。 INT64 -
strides 属性 池化步长,长度为4的列表。N维和C维必须为1,H/W维取值范围为[1, 63]。 INT64 -
padding_mode 属性 padding模式,支持"CALCULATED"、"SAME"、"VALID",默认"CALCULATED"。 STRING -
pads 属性 padding大小,长度为4的列表,顺序为[pad_top, pad_bottom, pad_left, pad_right],仅在padding_mode为"CALCULATED"时生效,pad_top/pad_bottom取值范围为[0, ksize[H]),pad_left/pad_right取值范围为[0, ksize[W]),默认[0, 0, 0, 0]。 INT64 -
data_format 属性 逻辑数据格式,支持"NCHW"、"NHWC",默认"NCHW"。决定H、W、C维度的索引位置,输入输出均为4D ND格式,不做5HD格式转换。 STRING -
global_pooling 属性 是否全局池化,默认false。为true时忽略ksize和pads,池化窗口覆盖整个H/W维度,输出H/W维度为1。 BOOL -
ceil_mode 属性 是否使用ceil模式计算输出尺寸,默认false。仅在padding_mode为"CALCULATED"时生效。 BOOL -

约束说明

  • 数据格式约束:

    • 输入输出张量为4D ND格式,支持NCHW和NHWC两种逻辑排布,由data_format属性指定。
    • data_format属性(NCHW/NHWC)决定H、W、C维度的索引位置,算子内部按该格式直接计算4D地址,不做5HD格式转换。
    • 非连续张量通过AutoContiguous自动转为连续后计算。
  • 数据类型约束:

    • orig_input、orig_output、grad三个输入必须使用相同的dtype,输出out_grad也使用相同dtype。
    • 支持FLOAT16、FLOAT、BFLOAT16、INT32、INT64、UINT8、INT16、INT8、UINT16九种dtype。
    • 不支持跨类型计算。
  • shape约束:

    • grad的shape必须与orig_output的shape完全一致。
    • orig_output的N维和C维必须与orig_input一致(N/C维在池化过程中不变)。
    • out_grad的shape与orig_input的shape完全一致。
  • ksize约束:

    • ksize数组长度必须为4。
    • N维和C维的ksize必须为1(不参与池化)。NCHW格式下ksize[0]和ksize[1]为1,NHWC格式下ksize[0]和ksize[3]为1。
    • H/W维ksize取值范围为[1, 255],超出范围报错。
    • global_pooling为true时忽略ksize,池化窗口取输入H/W维大小。
  • strides约束:

    • strides数组长度必须为4。
    • N维和C维的strides必须为1。NCHW格式下strides[0]和strides[1]为1,NHWC格式下strides[0]和strides[3]为1。
    • H/W维strides取值范围为[1, 63],超出范围报错。
  • padding_mode约束:

    • 仅支持"CALCULATED"、"SAME"、"VALID"三种模式,其他值报错。
    • pads属性仅在padding_mode为"CALCULATED"时生效,pads长度必须为4,顺序为[pad_top, pad_bottom, pad_left, pad_right],每个值必须大于等于0。
    • pads每个值必须小于对应空间轴的ksize,即pad_top、pad_bottom小于ksize[H],pad_left、pad_right小于ksize[W],超出范围报错。该约束与正向MaxPoolV3保持一致。global_pooling为true时忽略pads,不做该校验。
    • ceil_mode仅在padding_mode为"CALCULATED"时生效;SAME、VALID模式下忽略ceil_mode。
  • global_pooling约束:

    • global_pooling支持true和false。为true时池化窗口覆盖整个H/W维度,输出H/W维度为1,忽略ksize和pads。
  • 特殊值处理:

    • NaN输入:采用NaN传播语义,与MaxPoolGrad保持一致。NaN参与最大值比较且始终胜出,窗口内存在NaN时梯度回传到该窗口内按行优先扫描顺序的最后一个NaN位置;窗口内全为NaN时同样按该规则回传。
    • Inf输入:Inf作为最大值正常参与比较和梯度传播。
    • +0.0与-0.0遵循IEEE 754标准,比较相等。
    • 多个输入位置具有相同最大值且均非NaN时,仅第一个最大值位置接收梯度(first-wins策略)。
    • padding区域不接收梯度。
  • 边界条件处理:

    • 空张量(shape含0维):out_grad的shape与orig_input一致,安全返回不产生非法访问;orig_input为空时out_grad为空张量,orig_input非空而池化输出为空(无梯度回传)时out_grad为全0。
    • 非连续张量:通过AutoContiguous自动转为连续后计算。
    • ceil_mode为true时部分窗口可能超出输入边界,超出部分不接收梯度。
  • 确定性保证:

    • 每个线程独占一个out_grad元素做梯度聚合,不存在对同一地址的并发写,无需原子加即可保证确定性。
    • argmax选择规则唯一:非NaN取首个最大值,窗口含NaN时取最后一个NaN,结果可复现。

调用说明

调用方式 调用样例 说明
GE图模式 test_geir_max_pool_v3_grad 通过算子IR构图方式调用MaxPoolV3Grad算子,详见算子调用。