English

QuantMaxV2

产品支持情况

产品 是否支持
Ascend 950PR&950DT系列产品 √
Atlas A3系列产品 ×
Atlas A2系列产品 ×
Atlas 200I/500 A2推理产品 ×
Atlas推理系列产品 ×
Atlas训练系列产品 ×

功能说明

  • 算子功能:输入 x 支持按 group_list 分组(不传 group_list 时整个 tensor 视为单组,即 Per-Tensor),对每组求 |x| 的最大值 amax,并输出量化结果 y。传入 scale 时为静态量化;不传时为动态量化,此时额外输出量化系数 y_scale。amax 为必选输出。

    相较 GroupedQuantMax,V2 支持"scale 系数可选、group_list 分组可选、动态量化输出 y_scale"三项能力,amax 升级为必选输出,并新增属性 dst_type_max。

    | scale | group_list | 模式 | 输出 | | :----------------: | :----------------: | ---------------- | ------------------------------------------------- | | 不传(nullptr) | 不传(nullptr) | Dynamic Per-Tensor | y + amax[1](必选) + y_scale[1](必选) | | 传 | 不传(nullptr) | Static Per-Tensor | y + amax[1](必选) + y_scale(不输出,传 nullptr) | | 不传(nullptr) | 传 | Dynamic Per-Group | y + amax[G](必选) + y_scale[G](必选) | | 传 | 传 | Static Per-Group | y + amax[G](必选) + y_scale(不输出,传 nullptr) |

  • 计算公式:

    group_list 沿 dim-0 将 x 切分为 numGroups(记 G)组,group_list[g] 为前 g+1 组在 dim-0 上的累计结束位置(cumsum 语义)。对每个 group(g = 0, 1, …, G-1):

    xg=x[ groupList[g−1]:groupList[g], … ]( g=0 时下界为 0 )x_g = x\left[\,groupList[g-1] : groupList[g],\ \ldots\,\right] \qquad(\ g = 0\ \text{时下界为}\ 0\ )

    ag=max⁡(∣xg∣)a_g = \max\left(|x_g|\right)

    静态量化(传入 scale,scale[g] 为常规系数 s 的倒数 1/s):

    qg=scale[g],yg=Cast(xg×qg, dstType, roundMode)q_g = scale[g], \qquad y_g = \mathrm{Cast}\left(x_g \times q_g,\ dstType,\ roundMode\right)

    动态量化(不传 scale,dstTypeMax 为目标类型最大有限值):

    qg={dstTypeMaxag,ag>00,ag=0,yg=Cast(xg×qg, dstType, roundMode)q_g = \begin{cases} \dfrac{dstTypeMax}{a_g}, & a_g > 0 \\[4pt] 0, & a_g = 0 \end{cases}, \qquad y_g = \mathrm{Cast}\left(x_g \times q_g,\ dstType,\ roundMode\right)

    输出:

    amax[g]=ag,y=Concat(y0, y1, …, yG−1),yScale[g]=1qg(仅动态量化输出)amax[g] = a_g, \qquad y = \mathrm{Concat}\left(y_0,\ y_1,\ \ldots,\ y_{G-1}\right), \qquad yScale[g] = \dfrac{1}{q_g} \quad(\text{仅动态量化输出})

    其中,y_scale 满足 x ≈ y × y_scale(y_scale[g] = amax[g] / dstTypeMax;a_g = 0 时 q_g = 0,对应 y_scale[g] = 0)。

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x 输入 待量化的输入张量,对应公式中的 x。支持 2-8 维,支持空 Tensor。 FLOAT32、FLOAT16、BFLOAT16 ND
scale 可选输入 量化缩放系数 s 的倒数 1/s。nullptr 表示动态量化(系数按本组 amax 现算);非空表示静态量化。shape 为 [numGroups](Per-Tensor 为 [1])。 FLOAT32 ND
group_list 可选输入 x 在 0 轴上每个 group 的累计结束位置(cumsum 语义)。nullptr 表示 Per-Tensor;非空表示 Per-Group,shape 为 [numGroups],num_groups 取值范围 1~384。 INT64 ND
y 输出 量化结果,对应公式中的 y。shape 与 x 完全一致,dtype 由 dst_type 决定。 HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN ND
amax 输出 量化前分组的 x 绝对值最大值(必选输出)。shape 为 [numGroups](Per-Tensor 为 [1]),dtype 与 x 一致。 FLOAT32、FLOAT16、BFLOAT16 ND
y_scale 可选输出 y 的量化系数(y_scale = 1/q,动态量化下为 amax/dstTypeMax)。仅动态量化输出,shape 为 [numGroups](Per-Tensor 为 [1]);静态量化传 nullptr。 FLOAT32 ND
round_mode 属性 量化结果转换到目标类型时的舍入模式(必选)。dst_type=34 支持 "round"、"hybrid";dst_type=35/36 仅支持 "rint"。 string -
dst_type 属性 y 的目标数据类型(必选)。34=HIFLOAT8、35=FLOAT8_E5M2、36=FLOAT8_E4M3FN。 int -
dst_type_max 属性 目标类型的最大有限值,默认 15.0,取值范围 0~32768。仅动态量化参与系数计算。 float -

约束说明

  • round_mode 与 dst_type 的匹配关系:dst_type 为 35 或 36 时必须为 "rint";dst_type 为 34 时必须为 "round" 或 "hybrid"。
  • group_list 的值要求:每个值在 [0, x.shape[0]] 范围内、非递减(允许相等,即空 group),且最后一个数必须等于 x 的 0 轴大小。PyTorch 接口(cann_ops_nn.quant_max)对该约束做校验并抛出异常,aclnn C 接口要求调用方自行保证。
  • dst_type_max 仅对 dst_type=34(HIFLOAT8)生效;dst_type 为 35/36 时按类型最大值(57344/448)推导动态系数,传入值不参与计算(范围校验恒生效)。
  • dst_type_max 取值需为 0~32768 内的有限值,否则第一段接口报错。
  • 确定性计算:Ascend 950PR&950DT系列产品 上 aclnnQuantMaxV2 默认为确定性实现。

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_quant_max_v2 通过aclnnQuantMaxV2接口方式调用QuantMaxV2算子。
图模式调用 - 通过算子IR构图方式调用QuantMaxV2算子。