文件最后提交记录最后更新时间
8 小时前
17 天前
17 天前
6 个月前
17 天前
17 天前
17 天前
7 个月前
15 小时前
README

GeGluV2

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品
Atlas 训练系列产品 ×
Atlas Kirin X90 处理器系列产品
Atlas Kirin 9030 处理器系列产品

功能说明

  • 接口功能:高斯误差线性单元激活门函数,针对aclnnGeGlu,扩充了设置激活函数操作数据块方向的功能。

  • 计算公式: 若activateLeft为true,表示对selfself的左半部分做activate

    outi=GeGlu(selfi)=Gelu(A)⋅Bout_{i}=GeGlu(self_{i}) = Gelu(A) \cdot B

    若activateLeft为false,表示对selfself的右半部分做activate

    outi=GeGlu(selfi)=A⋅Gelu(B)out_{i}=GeGlu(self_{i}) = A \cdot Gelu(B)

    其中,AA表示selfself的左半部分,BB表示selfself的右半部分。

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
self 输入 公式中的输入self。 FLOAT、FLOAT16、BFLOAT16 ND
dim 可选属性 设定的slice轴,需要对self对应的轴进行对半切,同时dim对应的self的轴必须是双数。 INT64 ND
approximate 可选属性 GeGlu计算使用的激活函数索引,0表示使用“none”,1表示使用“tanh”。 INT64 -
activateLeft 属性 表示激活函数操作数据块的方向,false表示对右边做activate,true表示对左边做activate。 BOOL -
out 输出 公式中的dx。 FLOAT、FLOAT16、BFLOAT16 ND
outGelu 输出 公式中的outGelu。 FLOAT、FLOAT16、BFLOAT16 ND
  • GeGlu不包含activateLeft参数。
  • Atlas 推理系列产品、Atlas 训练系列产品:self、out和outGelu的数据类型支持FLOAT、FLOAT16。
  • Atlas Kirin X90 处理器系列产品、Atlas Kirin 9030 处理器系列产品:self、out和outGelu的数据类型不支持BFLOAT16。

约束说明

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_ge_glu 通过aclnnGeGlu接口方式调用GeGluV2算子。
aclnn调用 test_aclnn_ge_glu_v3 通过aclnnGeGluV3接口方式调用GeGluV2算子。
图模式调用 - 通过算子IR构图方式调用GeGluV2算子。