文件最后提交记录最后更新时间
24 天前
1 个月前
1 个月前
1 个月前
1 个月前
2 个月前
25 天前
README

HardSwishGrad

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品

功能说明

  • 算子功能:HardSwish激活函数的反向传播,完成张量self的梯度计算。

  • 计算公式:

    outi=gradOutputi×gradSelfiout_{i} = gradOutput_{i} \times gradSelf_{i}

    其中gradSelf的计算公式为:

    gradSelfi={0,selfi<−3,selfi/3+0.5,−3≤selfi≤3,1,selfi>3gradSelf_{i} = \begin{cases} 0, & self_{i} \lt -3, \\ self_{i} / 3 + 0.5, & -3 \le self_{i} \le 3, \\ 1, & self_{i} \gt 3 \end{cases}

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
grad_output 输入 表示HardSwish激活函数正向输出的梯度,公式中的gradOutput。 BFLOAT16、FLOAT16、FLOAT32 ND
self 输入 表示用于计算激活函数的张量,公式中的self。 BFLOAT16、FLOAT16、FLOAT32 ND
grad_input 输出 表示HardSwish正向输入的梯度值,即对输入进行求导后的结果。 BFLOAT16、FLOAT16、FLOAT32 ND

约束说明

调用说明

调用方式 样例代码 说明
aclnn接口 test_aclnn_hard_swish_backward 通过aclnnHardswishBackward接口方式调用HardSwishGrad算子。