文件最后提交记录最后更新时间
12 天前
29 天前
29 天前
29 天前
29 天前
13 天前
7 个月前
12 天前
README

SwiGlu

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品
Atlas 训练系列产品 ×
Atlas Kirin X90 处理器系列产品
Atlas Kirin 9030 处理器系列产品

功能说明

  • 接口功能:Swish门控线性单元激活函数,实现x的SwiGlu计算。

  • 计算公式:

    outi = SwiGlu(xi)=Swish(Ai)*Bi

    其中,Ai表示xi按指定dim维度一分为二的前半部分张量,Bi表示xi按指定dim维度一分为二的后半部分张量。

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x 输入 公式中的输入x。 BFLOAT16、FLOAT16、FLOAT32 ND
dim 属性
  • 需要进行切分的维度序号,对x相应轴进行对半切分。
  • 取值范围为[-x.dim(), x.dim()-1]。
INT64 -
out 输出 公式中的outi BFLOAT16、FLOAT16、FLOAT32 ND
  • Atlas 推理系列产品:数据类型支持FLOAT16、FLOAT32。
  • Atlas Kirin X90 处理器系列产品、Atlas Kirin 9030 处理器系列产品:不支持BFLOAT16。

约束说明

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_swi_glu 通过aclnnSwiGlu接口方式调用SwiGlu算子。
图模式调用 - 通过算子IR构图方式调用SwiGlu算子。