TransQuantParamV2

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	√
Atlas 训练系列产品	×
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

• 算子功能：完成量化计算参数scale数据类型的转换，将FLOAT32的数据类型转换为硬件需要的UINT64类型。

• 计算公式：

  1. out为64位格式，初始为0。

  2. 若round_mode为1，scale按bit位round到高19位，round_mode为0不做处理。

     $$scale=Round(scale)$$

  3. scale按bit位取高19位截断，存储于out的bit位32位处，并将46位修改为1。

     $$out=out|(scale\&0xFFFFE000)|(1\ll 46)$$

  4. 根据offset取值进行后续计算：

     • 若offset不存在，不再进行后续计算。
     • 若offset存在：

       1. 将offset值处理为int，范围为[-256, 255]。

          $$offset=Max(Min(INT(Round(offset)),255),-256)$$

       2. 再将offset按bit位保留9位并存储于out的37到45位。

          $$out=(out\&0x4000FFFFFFFF)|((offset\&0x1FF)\ll 37)$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
scale	输入	量化参数，对应公式中的`scale`。shape是1维（t，），t = 1或n，以及2维（1，n）其中n与matmul计算中的右矩阵的shape n一致。用户需要保证scale数据中不存在NaN和Inf。	FLOAT32	ND
offset	可选输入	量化可选参数，对应公式中描述中的`offset`。shape是1维（t，），以及2维（1，n），t = 1或n，其中n与matmul计算中的右矩阵的shape n一致。用户需要保证offset数据中不存在NaN和Inf。	FLOAT32	ND
round_mode	可选属性	量化计算中FP32填充到FP19的round模式，仅支持以下取值：0（aclnn 的V3兼容V2），1（提升计算精度）。对应公式中描述中的`round_mode`。 默认值为0。	INT	-
y	输出	量化后的输出结果，对应公式中的`out`。当输入scale的shape为1维时，y的shape也为1维，该维度的shape大小为scale与offset(若不为nullptr)单维shape大小的最大值，当输入scale的shape为2维时，y的shape与输入scale的shape维度和大小完全一致。	UINT64	ND

约束说明

• Atlas 推理系列产品、Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品、Ascend 950PR/Ascend 950DT：该接口对应的aclnn接口支持与matmul类算子（如aclnnQuantMatmulV4）配套使用。
• Atlas 推理系列产品、Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品：该接口对应的aclnn接口不支持与grouped matmul类算子（如aclnnGroupedMatmulV4）配套使用。
• 关于scale、offset、y的shape说明如下：
  • 当无offset时，y shape与scale shape一致。
    • 若y作为matmul类算子输入，shape支持1维(1,)、(n,)或2维(1, n)，其中n与matmul计算中右矩阵（对应参数x2）的shape n一致。
    • 若y作为grouped matmul类算子输入，仅在分组模式为m轴分组时使用（对应参数groupType为0），shape支持1维(g,)或2维(g, 1)、(g, n)，其中n与grouped matmul计算中右矩阵（对应参数x2）的shape n一致，g与grouped matmul计算中分组数（对应参数groupListOptional的shape大小）一致。
  • 当有offset时，仅作为matmul类算子输入：
    • offset，scale，y的shape支持1维(1,)、(n,)或2维(1, n)，其中n与matmul计算中右矩阵（对应参数x2）的shape n一致。
    • 当输入scale的shape为1维，y的shape也为1维，且shape大小为scale与offset单维shape大小的最大值。
    • 当输入scale的shape为2维，y的shape与输入scale的shape维度和大小完全一致。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_trans_quant_param_v2	通过aclnnTransQuantParamV2接口方式调用TransQuantParamV2算子。
aclnn接口	test_aclnn_trans_quant_param_v3	通过aclnnTransQuantParamV3接口方式调用TransQuantParamV2算子。
图模式	-	通过算子IR构图方式调用TransQuantParamV2算子。