| Files | Last commit | Last update |
|---|---|---|
| 4 months ago | ||
| 4 months ago | ||
| 4 months ago | ||
| 4 months ago | ||
| 4 months ago | ||
| 4 months ago | ||
| 4 months ago |
GroupNorm
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | × |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
功能说明
-
接口功能: 对输入张量self按group维度进行归一化计算,并可选使用gamma和beta对归一化结果做仿射变换,将结果写入out,同时输出每个样本每个group的均值meanOut和倒标准差rstdOut。
-
计算公式:
meann,g=1m∑i∈group(g)ximean_{n,g} = \frac{1}{m}\sum_{i \in group(g)} x_i
rstdn,g=11m∑i∈group(g)(xi−meann,g)2+epsrstd_{n,g} = \frac{1}{\sqrt{\frac{1}{m}\sum_{i \in group(g)}(x_i - mean_{n,g})^2 + eps}}
yi=(xi−meann,g)×rstdn,g×gammac+betacy_i = (x_i - mean_{n,g}) \times rstd_{n,g} \times gamma_c + beta_c
当gamma或beta为空时,分别按gamma为1、beta为0处理。
-
参数说明:
参数名 输入/输出 描述 使用说明 数据类型 数据格式 维度(shape) 非连续Tensor self 输入 表示GroupNorm的输入张量,公式中的x。 shape需满足rank为2-8,且第0维等于N、第1维等于C;第2维及之后元素个数乘积等于HxW。 FLOAT、FLOAT16、BFLOAT16 ND 2-8 √ gamma 可选输入 表示GroupNorm仿射变换的缩放系数,公式中的gamma。 可为空;不为空时shape需为[C],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 1 √ beta 可选输入 表示GroupNorm仿射变换的偏置系数,公式中的beta。 可为空;不为空时shape需为[C],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 1 √ N 输入 表示输入张量的batch维大小。 需等于self.shape[0]。 INT64 - - - C 输入 表示输入张量的channel维大小。 需等于self.shape[1],且能被group整除。 INT64 - - - HxW 输入 表示输入张量从第2维开始的元素个数乘积。 需等于self.shape[2] * ... * self.shape[rank-1]。 INT64 - - - group 输入 表示GroupNorm的分组数。 需大于0,且C % group == 0。 INT64 - - - eps 输入 表示归一化计算中加到方差上的数值稳定项。 需大于0。 DOUBLE - - - out 输出 表示GroupNorm归一化并仿射变换后的输出。 shape和数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 2-8 √ meanOut 输出 表示每个样本每个group的均值。 shape需为[N, group],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 2 √ rstdOut 输出 表示每个样本每个group的倒标准差。 shape需为[N, group],数据类型需与self一致。 FLOAT、FLOAT16、BFLOAT16 ND 2 √
约束说明
- self的rank需为2-8,且N、C、HxW需与self的实际shape一致。
- group需大于0,且C需能被group整除。
- eps需大于0。
- gamma、beta为可选输入;不为空时shape均需为[C],数据类型需与self一致。
- out、meanOut、rstdOut为必选输出,数据类型需与self一致;out的shape需与self一致,meanOut和rstdOut的shape需为[N, group]。
- op_host tiling路径不支持N、C或HxW为0的输入。
调用说明
| 调用方式 | 调用样例 | 说明 |
|---|---|---|
| aclnn调用 | test_aclnn_group_norm | 通过aclnnGroupNormGetWorkspaceSize和aclnnGroupNorm接口方式调用GroupNorm算子。 |