SwishGrad

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	√
Atlas 推理系列产品	√
Atlas 训练系列产品	√

功能说明

• 算子功能：Swish激活函数的反向传播，用于计算Swish激活函数的梯度。

• 计算公式：

  • Swish函数公式

  $$s(x)=x\ast \sigma (\beta x)$$

  • Swish函数公式的导数实现

  $$s^{\prime }(x)=\beta s(x)+\sigma (\beta x)(1-\beta s(x))=\sigma (\beta x)\ast (1+\beta x(1-\sigma (\beta x)))$$

  $$gradInput=gradOutput\ast s^{\prime }(x)$$

  $$\sigma (x)=\frac{1}{1+e^{-x}}$$

  其中$\sigma (x)$为Sigmoid函数，$s(x)$为Swish函数，$s^{\prime }(x)$为Swish函数的导数。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
grad	输入	表示Swish激活函数正向输出的梯度，公式中的gradOutput。	BFLOAT16、FLOAT16、FLOAT	ND
x	输入	表示用于计算激活函数的张量，公式中的x。	BFLOAT16、FLOAT16、FLOAT	ND
y	输入	表示Swish激活函数的正向输出结果，公式中的σ(x)。	BFLOAT16、FLOAT16、FLOAT	ND
grad_x	输出	表示Swish正向输入的梯度值，即对输入进行求导后的结果。	BFLOAT16、FLOAT16、FLOAT	ND
scale	可选属性	表示可调节参数，用于控制Swish函数的形状和斜率的标量，公式中的β。	FLOAT32	-

约束说明

无

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_swish_grad	通过aclnnSwishBackward接口方式调用SwishGrad算子。
图模式	-	通过算子IR构图方式调用SwishGrad算子。