文件最后提交记录最后更新时间
2 天前
1 个月前
1 个月前
1 个月前
1 个月前
14 天前
7 个月前
10 天前
README

SwiGluGrad

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品
Atlas 训练系列产品 ×

功能说明

  • 接口功能:完成aclnnSwiGlu的反向计算,完成x的SwiGlu反向梯度计算。

  • 计算公式:

    outA = yGradi*[sigmoid(A)+sigmoid(A)*(1-sigmoid(A))*A]*B

    outB = yGradi*sigmoid(A)*A

    其中,A表示输入x根据指定dim维度一分为二后的前部分张量,B表示x均分后的后半部分张量。outA和outB合并为out。

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
yGrad 输入 公式中的输入yGradi BFLOAT16、FLOAT16、FLOAT32 ND
x 输入 公式中的输入A和B。 BFLOAT16、FLOAT16、FLOAT32 ND
dim 属性
  • 需要进行切分的维度序号。
  • 取值范围为[-x.dim(), x.dim()-1]。
INT64 -
out 输出 公式中的outA和outB的合并。 BFLOAT16、FLOAT16、FLOAT32 ND
  • Atlas 推理系列产品:数据类型支持FLOAT16、FLOAT32。

约束说明

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_swi_glu_grad 通过aclnnSwiGluGrad接口方式调用SwiGluGrad算子。
图模式调用 - 通过算子IR构图方式调用SwiGluGrad算子。