FilesLast commitLast update
4 months ago
4 months ago
4 months ago
4 months ago
4 months ago
4 months ago
4 months ago
README

GroupNorm

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT ×
Atlas A3 训练系列产品/Atlas A3 推理系列产品 √
Atlas A2 训练系列产品/Atlas A2 推理系列产品 √
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×

功能说明

  • 接口功能: 对输入张量self按group维度进行归一化计算,并可选使用gamma和beta对归一化结果做仿射变换,将结果写入out,同时输出每个样本每个group的均值meanOut和倒标准差rstdOut。

  • 计算公式:

    meann,g=1m∑i∈group(g)ximean_{n,g} = \frac{1}{m}\sum_{i \in group(g)} x_i

    rstdn,g=11m∑i∈group(g)(xi−meann,g)2+epsrstd_{n,g} = \frac{1}{\sqrt{\frac{1}{m}\sum_{i \in group(g)}(x_i - mean_{n,g})^2 + eps}}

    yi=(xi−meann,g)×rstdn,g×gammac+betacy_i = (x_i - mean_{n,g}) \times rstd_{n,g} \times gamma_c + beta_c

    当gamma或beta为空时,分别按gamma为1、beta为0处理。

  • 参数说明:

    参数名 输入/输出 描述 使用说明 数据类型 数据格式 维度(shape) 非连续Tensor
    self 输入 表示GroupNorm的输入张量,公式中的x。 shape需满足rank为2-8,且第0维等于N、第1维等于C;第2维及之后元素个数乘积等于HxW。 FLOAT、FLOAT16、BFLOAT16 ND 2-8 √
    gamma 可选输入 表示GroupNorm仿射变换的缩放系数,公式中的gamma。 可为空;不为空时shape需为[C],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 1 √
    beta 可选输入 表示GroupNorm仿射变换的偏置系数,公式中的beta。 可为空;不为空时shape需为[C],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 1 √
    N 输入 表示输入张量的batch维大小。 需等于self.shape[0]。 INT64 - - -
    C 输入 表示输入张量的channel维大小。 需等于self.shape[1],且能被group整除。 INT64 - - -
    HxW 输入 表示输入张量从第2维开始的元素个数乘积。 需等于self.shape[2] * ... * self.shape[rank-1]。 INT64 - - -
    group 输入 表示GroupNorm的分组数。 需大于0,且C % group == 0。 INT64 - - -
    eps 输入 表示归一化计算中加到方差上的数值稳定项。 需大于0。 DOUBLE - - -
    out 输出 表示GroupNorm归一化并仿射变换后的输出。 shape和数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 2-8 √
    meanOut 输出 表示每个样本每个group的均值。 shape需为[N, group],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 2 √
    rstdOut 输出 表示每个样本每个group的倒标准差。 shape需为[N, group],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 2 √

约束说明

  • self的rank需为2-8,且N、C、HxW需与self的实际shape一致。
  • group需大于0,且C需能被group整除。
  • eps需大于0。
  • gamma、beta为可选输入;不为空时shape均需为[C],数据类型需与self一致。
  • out、meanOut、rstdOut为必选输出,数据类型需与self一致;out的shape需与self一致,meanOut和rstdOut的shape需为[N, group]。
  • op_host tiling路径不支持N、C或HxW为0的输入。

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_group_norm 通过aclnnGroupNormGetWorkspaceSize和aclnnGroupNorm接口方式调用GroupNorm算子。