LayerNorm

产品支持情况

产品	是否支持
Ascend 950PR&950DT系列产品	√
Atlas A3系列产品	√
Atlas A2系列产品	√
Atlas 200I/500 A2推理产品	√
Atlas推理系列产品	√
Atlas训练系列产品	√

功能说明

• 算子功能：

  对指定层进行均值为0、标准差为1的归一化计算。

  • 归一化：对输入张量的每个样本进行归一化处理，使得每个样本的均值为0，方差为1。
  • 缩放和偏移：在归一化之后，可以通过缩放因子和偏移量进一步调整归一化后的输出，以适应不同的模型需求。

• 计算公式：

  $$mean=E[x]$$

  $$variance=\mathrm{V}\mathrm{a}\mathrm{r}[x]$$

  $$y=w\times (\frac{x-mean}{\sqrt{\mathrm{V}\mathrm{a}\mathrm{r}[x]+eps}})+b$$

  其中，E[x]表示输入的均值，Var[x]表示输入的方差。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	表示进行归一化计算的输入，公式中的输入x。shape为[A1,...,Ai,R1,...,Rj]，其中A1至Ai表示无需norm的维度，R1至Rj表示需norm的维度。	FLOAT、FLOAT16、BFLOAT16	ND
gamma	输入	表示进行归一化计算的权重，公式中的输入w。gamma为必选输入，不支持为空。数据类型与输入x一致或为FLOAT类型，且与beta的数据类型相同。shape为[R1,...,Rj]，[Rn,...,Rj]或[Am,...,Ai,R1,...,Rj](1 < n ≤ j，1 ≤ m ≤ i)，与输入x从begin_params_axis起始的连续维度shape相同。	FLOAT、FLOAT16、BFLOAT16	ND
beta	输入	表示进行归一化计算的偏移量，公式中的输入b。beta为必选输入，不支持为空。数据类型与输入x一致或为FLOAT类型，且与gamma的数据类型相同。shape与gamma的shape相同。	FLOAT、FLOAT16、BFLOAT16	ND
begin_norm_axis	可选属性	表示需要进行norm计算的维度，该维度需在输入x的shape维度范围内。 默认值为0。	INT	-
begin_params_axis	可选属性	表示输入gamma或者beta的起始维度的索引值，该维度需在输入x的shape维度范围内。 默认值为0。	INT	-
epsilon	可选属性	添加到分母中的值，以确保数值稳定。 默认值为1e-12。	FLOAT	-
y	输出	表示进行归一化计算的结果，公式中的y。shape需要与x的shape相等，为[A1,...,Ai,R1,...,Rj]。数据类型与x的数据类型保持一致。	FLOAT、FLOAT16、BFLOAT16	ND
mean	输出	表示进行归一化后的均值，公式中的mean。与variance的shape相同，shape为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。数据类型与gamma和beta的数据类型保持一致。	FLOAT、FLOAT16、BFLOAT16	ND
variance	输出	表示进行归一化后的方差，公式中的variance。与mean的shape相同，shape为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。数据类型与gamma和beta的数据类型保持一致。	FLOAT、FLOAT16、BFLOAT16	ND

约束说明

无

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_layer_norm	通过Ascend IR构图方式调用LayerNorm算子。