AscendAntiQuantV2

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	√
Atlas 训练系列产品	×

功能说明

• 算子功能：根据输入的scale和offset对输入x进行反量化。

• 计算公式：

  • sqrt_mode为true，offset为None时，计算公式为：

    $$y=cast\_to\_dst\_type((x)\ast scale\ast scale)$$

  • sqrt_mode为true，offset不为None时，计算公式为：

    $$y=cast\_to\_dst\_type((x+offset)\ast scale\ast scale)$$

  • sqrt_mode为false，offset为None时，计算公式为：

    $$y=cast\_to\_dst\_type((x)\ast scale)$$

  • sqrt_mode为false，offset不为None时，计算公式为：

    $$y=cast\_to\_dst\_type((x+offset)\ast scale)$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	表示算子输入的Tensor，对应公式中的x； 不支持空Tensor； 当数据类型是INT4时，shape的尾轴为偶数。	INT4、INT8、HIFLOAT8、FLOAT8_E4M3、FLOAT8_E5M2	ND
scale	输入	表示反量化中的scale值。对应公式中的scale； 不支持空Tensor； scale的维度数必须与x相同，或者是1维； 如果x是1维，scale的形状必须是[1]或与x相同； 如果scale是1维，其大小必须是1、x[-1]或x[-2]； 如果scale是多维，最多只能有一个非1的维度，且这个非1的维度只能是-1或-2轴； 当输入x的类型为HIFLOAT8、FLOAT8_E4M3、FLOAT8_E5M2时，scale只支持FLOAT32。	FLOAT32、BFLOAT16	ND
offset	可选输入	表示反量化中的offset值。对应公式中的offset； 不支持空Tensor； 数据类型和shape需要与scale保持一致。	和scale一致	ND
dst_type	可选属性	表示输出的数据类型； 支持取值1、27，分别表示FLOAT16、BFLOAT16。	INT64	-
sqrt_mode	可选属性	表示scale参与计算的逻辑。对应公式中的sqrt_mode； 当x的数据类型为HIFLOAT8、FLOAT8_E4M3、FLOAT8_E5M2时，sqrt_mode为false。	BOOL	-
y	输出	表示反量化的计算输出。对应公式中的y； shape和输入x一致。	FLOAT16、BFLOAT16	ND

• Atlas 推理系列产品：
  • 数据类型：
    • 入参x仅支持INT8。
    • 入参scale、offset和出参y不支持BFLOAT16。
  • 入参dstType仅支持取值1，表示FLOAT16。
  • 入参scale、offset仅支持一维，且只能等于x尾轴大小或1，当x为int32类型时，必须为x尾轴大小的8倍。
• Atlas A2 训练系列产品/Atlas A2 推理系列产品/Atlas A3 训练系列产品/Atlas A3 推理系列产品：
  • 入参x仅支持INT4、INT8。
  • 入参scale、offset仅支持一维，且只能等于x尾轴大小或1，当x为int32类型时，必须为x尾轴大小的8倍。

约束说明

无

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_ascend_anti_quant	通过aclnnAscendAntiQuant接口方式调用AscendAntiQuantV2算子。
图模式	-	通过算子IR构图方式调用AscendAntiQuantV2算子。