AscendQuantV2

产品支持情况

产品	是否支持
Ascend 950PR&950DT系列产品	√
Atlas A3系列产品	√
Atlas A2系列产品	√
Atlas 200I/500 A2推理产品	×
Atlas推理系列产品	√
Atlas训练系列产品	×
kirin X90处理器系列产品	√
kirin 9030处理器系列产品	√

功能说明

• 算子功能：对输入x进行量化操作，支持设置axis以指定scale和offset对应的轴，scale和offset的shape需要满足和axis指定x的轴相等或1。axis当前支持设置最后两个维度。
• 计算公式：

  • sqrt_mode为false时，计算公式为：

    $$y=round((x\ast scale)+offset)$$

  • sqrt_mode为true时，计算公式为：

    $$y=round((x\ast scale\ast scale)+offset)$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	需要执行量化的输入，对应公式中的`x`。	FLOAT16、FLOAT32、BFLOAT16	ND
scale	输入	量化中的scale值，对应公式中的`scale`。	FLOAT16、FLOAT32、BFLOAT16	ND
offset	可选输入	反量化中的offset值，对应公式中的`offset`。	FLOAT16、FLOAT32、BFLOAT16	ND
sqrt_mode	可选属性	指定scale参与计算的逻辑，对应公式中的`sqrtMode`。 默认值为false。	BOOL	-
round_mode	可选属性	指定cast到输出数据类型的转换方式。支持取值round，ceil，trunc，floor。 默认值为"round"。	STRING	-
dst_type	可选属性	指定输出的数据类型。 默认值为DT_INT8。	INT	-
axis	可选属性	指定scale和offset对应x的维度。 默认值为-1。	INT	-
y	输出	表示AscendQuantV2的结果输出`y`，对应公式中的`y`。shape与输入`x`的shape一致。	INT8、INT4、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN	ND

• Atlas推理系列产品：

  • 数据类型：
    • 输入Tensor数据类型不支持BFLOAT16。
    • 输出Tensor数据类型仅支持INT8。
  • round_mode，支持取值round，ceil，trunc，floor。
  • dst_type：支持取值2，表示INT8。
  • axis：只支持指定x的最后一个维度（假设输入x维度是xDimNum，axis取值是-1或xDimNum-1）。

• Atlas A2系列产品、Atlas A3系列产品：

  • 输出Tensor数据类型仅支持INT8、INT4。
  • dst_type：支持取值2，29，分别表示INT8、INT4。
  • axis：支持指定x的最后两个维度（假设输入x维度是xDimNum，axis取值范围是[-2，-1]或[xDimNum-2，xDimNum-1]）。

• Ascend 950PR&950DT系列产品：

  • round_mode：dst_type表示FLOAT8_E5M2或FLOAT8_E4M3FN时，只支持round。dst_type表示HIFLOAT8时，支持round和hybrid。dst_type表示其他类型时，支持round，ceil，trunc和floor。
  • axis：支持指定x的最后两个维度（假设输入x维度是xDimNum，axis取值范围是[-2，-1]或[xDimNum-2，xDimNum-1]）。

• Kirin X90/kirin 9030处理器系列产品: x、scale、offset不支持BFLOAT16；y数据类型不支持INT4、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN。

约束说明

无

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_ascend_quant	通过aclnnAscendQuant接口方式调用AscendQuantV2算子。
aclnn接口	test_aclnn_ascend_quant_v3	通过aclnnAscendQuantV3接口方式调用AscendQuantV2算子。
图模式	-	通过算子IR构图方式调用AscendQuantV2算子。