AdaLayerNormQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：AdaLayerNormQuant算子将AdaLayerNorm和下游的量化（目前仅支持DynamicQuant）融合起来。该算子主要是用于执行自适应层归一化的量化操作，即将输入数据进行归一化处理，并将其量化为低精度整数，以提高计算效率和减少内存占用。

• 计算公式：

  1. 先对输入x进行LayerNorm归一化处理：

     $$LayerNorm(x)=\frac{x-E(x)}{\sqrt{Var(x)+epsilon}}\ast weight+bias$$

  2. 再通过自适应参数scale和shift来调整归一化结果：

     $$y=LayerNorm(x)\ast (1+scale)+shift$$

  3. 若smooth_scales不为空，则：

     $$y=y\cdot smoot{h}_{s}cales$$

  4. 然后对y计算最大绝对值并除以$(FP8\_MAX/HIF8\_MAX/INT8\_MAX)$以计算需量化为FLOAT8/HIF8/INT8格式的量化因子：

     $$quan{t}_{s}cale=row\_max(abs(y))/(FP8\_MAX/HIF8\_MAX/INT8\_MAX)$$

  5. 最后y除以量化因子再四舍五入得到量化输出：

     $$out=round(y/quan{t}_{s}cale)$$

  其中，E(x)表示输入的均值，Var(x)表示输入的方差，row_max代表每行求最大值。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	表示输入待处理的数据。对应公式中的`x`。shape为[B…, S, H]，其中B支持0到6个维度。	FLOAT16、BFLOAT16	ND
scale	输入	表示自适应缩放参数。对应公式中的`scale`。shape为[B…, H]或[B…, 1, H]，其中B支持0到6个维度，维度数量和大小与`x`中的B保持一致，H与`x`中H维一致。	FLOAT16、BFLOAT16	ND
shift	输入	表示自适应偏移参数。对应公式中的`shift`。shape为[B…, H]或[B…, 1, H]，其中B支持0到6个维度，维度数量和大小与`x`中的B保持一致，H与`x`中H维一致。	FLOAT16、BFLOAT16	ND
weight	可选输入	表示归一化缩放参数。对应公式中的`weight`。shape为[H]，H与`x`中H维一致。	FLOAT16、BFLOAT16	ND
bias	可选输入	表示归一化偏移参数。对应公式中的`bias`。shape为[H]，H与`x`中H维一致。	FLOAT16、BFLOAT16	ND
smooth_scales	可选输入	表示量化的平滑权重。对应公式中的`smooth_scales`。shape为[H]，H与`x`中H维一致。	FLOAT16、BFLOAT16	ND
epsilon	可选属性	表示添加到分母中的值，以确保数值稳定。对应公式中的`epsilon`。 默认值为1e-5。	FLOAT32	-
out	输出	表示量化输出张量。对应公式中的`out`。shape与入参`x`的shape保持一致。	INT8、FLOAT8_E4M3FN、FLOAT8_E5M2、HIFLOAT8	ND
quant_scale	输出	表示量化系数。对应公式中的`quant_scale`。shape为[B…, S]，其中B支持0到6个维度，维度数量和大小与`x`中的B保持一致，S与`x`中S维一致。	FLOAT32	ND

• Atlas A3 训练系列产品/Atlas A3 推理系列产品、Atlas A2 训练系列产品/Atlas A2 推理系列产品：输出out的数据类型仅支持INT8。

约束说明

无

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_ada_layer_norm_quant	通过aclnnAdaLayerNormQuant接口方式调用AdaLayerNormQuant算子。