LayerNormGrad

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：LayerNorm的反向传播。用于计算输入张量的梯度，以便在反向传播过程中更新模型参数。

• 计算公式：

  $$rstd=\frac{1}{\sqrt{variance+epsilon}}$$

  $$res\_for\_gamma=(input-mean)\times rstd$$

  $$dy\_g=gradOut\times weight$$

  $$tem{p}_1=1/N\times \sum _{reduce\_axis\_1}gradOut\times weight$$

  $$tem{p}_2=1/N\times (input-mean)\times rstd\times \sum _{reduce\_axis\_1}(gradOut\times weight\times (input-mean)\times rstd)$$

  $$gradInputOut=(gradOut\times weight-(tem{p}_1+tem{p}_2))\times rstd$$

  $$gradWeightOut=\sum _{reduce\_axis\_0}gradOut\times (input-mean)\times rstd$$

  $$gradBiasOut=\sum _{reduce\_axis\_0}gradOut$$

  其中，N为进行归一化计算的轴的维度，即归一化轴维度的大小。

参数说明

参数名	输入/输出	描述	数据类型	数据格式
dy	输入	不支持空Tensor。 表示反向计算的梯度张量，对应计算公式中的`gradOut`。 与输入`x`的数据类型相同。 shape与`x`的shape相等，为[A1,...,Ai,R1,...,Rj]。	FLOAT32、FLOAT16、BFLOAT16	ND
x	输入	不支持空Tensor。 正向计算的首个输入，对应计算公式中的`input`。 与输入`dy`的数据类型相同。 shape与`dy`的shape相等，为[A1,...,Ai,R1,...,Rj]。	FLOAT32、FLOAT16、BFLOAT16	ND
variance	输入	不支持空Tensor。 正向计算的第三个输出，表示`x`的方差，对应计算公式中的`variance` 。 与输入mean的数据类型相同且位宽不低于输入`x`的数据类型位宽。 shape与`mean`的shape相等，为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。	FLOAT32、FLOAT16、BFLOAT16	ND
mean	输入	不支持空Tensor。 正向计算的第二个输出，表示`x`的均值，对应计算公式中的`mean`。 与输入`variance`的数据类型相同且位宽不低于输入`x`的数据类型位宽。 shape与`variance`的shape相等，为[A1,...,Ai,1,...,1]，Ai后共有j个1，与需要norm的轴长度保持相同。	FLOAT32、FLOAT16、BFLOAT16	ND
gamma	输入	不支持空Tensor。 表示权重张量，对应公式中的`weight`。	FLOAT32、FLOAT16、BFLOAT16	ND
pd_x	输出	不支持空Tensor。 表示反向传播的输出梯度，对应计算公式中的`gradInputOut`。 与输入`x`的数据类型相同，shape与`x`的shape相等。	FLOAT32、FLOAT16、BFLOAT16	ND
pd_gamma	输出	不支持空Tensor。 表示反向传播权重的梯度，对应计算公式中的`gradWeightOut`。 与输入`gamma`的数据类型相同，shape与`pd_beta`的shape相等。	FLOAT32、FLOAT16、BFLOAT16	ND
pd_beta	输出	不支持空Tensor。 表示反向传播偏置的梯度，对应计算公式中的`gradBiasOut`。 与输入`gamma`的数据类型相同，shape与`pd_gamma`的shape相等。	FLOAT32、FLOAT16、BFLOAT16	ND

约束说明

无

调用说明

调用方式	样例代码	说明
图模式	-	通过算子IR构图方式调用LayerNormGrad算子。