DequantSwigluQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

• 算子功能：在Swish门控线性单元激活函数前后添加dequant和quant操作，实现x的DequantSwigluQuant计算。

• 计算公式：

  $$dequantOut=Dequant(x,weightScaleOptional,activationScaleOptional,biasOptional)$$

  $$swigluOut=Swiglu(dequantOut)=Swish(A)\ast B$$

  $$out=Quant(swigluOut,quantScaleOptional,quantOffsetOptional)$$

  其中，A表示dequantOut的前半部分，B表示dequantOut的后半部分。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	输入待处理的数据，公式中的x。	FLOAT16、BFLOAT16、INT32	ND
weightScaleOptional	输入	-	FLOAT	ND
activationScaleOptional	输入	激活函数的反量化scale。	FLOAT	ND
biasOptional	输入	Matmul的bias，公式中的biasOptional。	FLOAT、FLOAT16、BFLOAT16、INT32	ND
quantScaleOptional	输入	量化的scale，公式中的quantScaleOptional。	FLOAT、FLOAT16	ND
quantOffsetOptional	输入	量化的offset。	FLOAT	ND
groupIndexOptional	输入	MoE分组需要的group_index。	INT64	ND
activateLeft	属性	表示是否对输入的左半部分做swiglu激活。	BOOL	-
quantModeOptional	属性	表示使用动态量化。	STRING	-
dstType	属性	表示指定输出y的数据类型。	INT64	-
roundModeOptional	属性	表示对输出y结果的舍入模式。	STRING	-
activateDim	属性	表示进行swish计算时，选择的指定切分轴。	INT64	-
yOut	输出	-	INT8、FLOAT8_E5M2、FLOAT8_E4M3FN、FLOAT4_E2M1、FLOAT4_E1M2	ND
scaleOut	输出	-	FLOAT	ND

• DequantSwigluQuant不包含dstType、roundModeOptional和activateDim参数。

约束说明

• 输入x对应activateDim的维度需要是2的倍数，且x的维数必须大于1维。
• 当输入x的数据类型为INT32时，weightScaleOptional不能为空；当输入x的数据类型不为INT32时，weightScaleOptional不允许输入，传入空指针。
• 当输入x的数据类型不为INT32时，activationScaleOptional不允许输入，参数置为空指针。
• 当输入x的数据类型不为INT32时，biasOptional不允许输入，参数置为空指针。
• 当输出yOut的数据类型为FLOAT4_E2M1、FLOAT4_E1M2时，yOut的最后一维需要是2的倍数。
• 输出yOut的尾轴不超过5120.

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_dequant_swiglu_quant	通过aclnnDequantSwigluQuant接口方式调用DequantSwigluQuant算子。
aclnn调用	test_aclnn_dequant_swiglu_quant_v2	通过aclnnDequantSwigluQuantV2接口方式调用DequantSwigluQuant算子。
图模式调用	-	通过算子IR构图方式调用DequantSwigluQuant算子。