DynamicDualLevelMxQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：目的数据类型为FLOAT4类的MX量化。只对尾轴进行量化，前面所有的轴都合轴处理，通过给定的level0_block_size将输入划分成多个数据块，对每个数据块进行一级量化，输出量化尺度level0_scale；然后将一级量化的结果作为新的输入，并通过给定的level1_block_size将其划分成多个数据块，对每个数据块进行二级量化，输出量化尺度level1_scale，根据round_mode进行数据类型的转换，得到量化结果y。

  • 可选功能：融合smooth scale运算，在对数据输入x进行量化前先进行x=x*smooth_scale（广播逐元素乘法）。

• 计算公式：

  • 将输入x在尾轴上按$k_0$ = level0_block_size个数分组，一组$k_0$个数 $\{\{x_i{\}}_{i=1}^{k_0}\}$ 动态量化为 $\{level{0}_{s}cale,\{tem{p}_i{\}}_{i=1}^{k_0}\}$, $k_0$ = level0_block_size，然后将temp在尾轴上按$k_1$ = level1_block_size个数分组，一组$k_1$个数 $\{\{tem{p}_i{\}}_{i=1}^{k_1}\}$ 动态量化为 $\{level{1}_{s}cale,\{y_i{\}}_{i=1}^{k_1}\}$, $k_1$ = level1_block_size

  $$input\_ma{x}_i=ma{x}_i(abs(x_i))$$

  $$level0\_scal{e}_i=input\_ma{x}_i/(FP4\_E2M1\_MAX)$$

  $$tem{p}_i=cast\_to\_x\_type(x_i/level0\_scal{e}_i),ifrom1tolevel0\_block\_size$$

  $$shared\_ex{p}_i=floor(lo{g}_2(ma{x}_i(|tem{p}_i|)))-emax$$

  $$level1\_scal{e}_i=2^{shared\_ex{p}_i}$$

  $$y_i=cast\_to\_FP4\_E2M1(tem{p}_i/level1\_scal{e}_i,round\_mode),ifrom1tolevel1\_block\_size$$

  • ​量化后的 $y_i$ 按对应的 $x_i$ 的位置组成输出y，$level0\_scal{e}_i$按尾轴对应的分组组成输出$level0\_scale$，$level1\_scal{e}_i$按尾轴对应的分组组成输出$level1\_scale$。

  • max_i代表求第i个分组中的最大值

  • emax: 对应数据类型的最大正则数的指数位。

    DataType	emax
    FLOAT4_E2M1	2

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	表示算子输入的Tensor，对应公式中xi； shape支持1-7维，最后一维必须是偶数。	FLOAT16、BFLOAT16	ND
smooth_scale	可选输入	表示用于smooth scale运算的输入； 当不需要融合smooth scale运算时，smooth_scale应传入nullptr； 当smooth_scale不为nullptr时，smooth_scale的dtype需与x一致，且shape为1维，长度等于x最后一维。	FLOAT16、BFLOAT16（且与输入x一致）	ND
round_mode	可选属性	表示数据转换的模式，对应公式中的round_mode； 支持{"rint", "round", "floor"}； 默认值为"rint"。	STRING	-
level0_block_size	可选属性	表示第一级量化的block_size，对应公式中的level0_block_size； 输入范围为{512}。	INT64	-
level1_block_size	可选属性	表示第二级量化的block_size，对应公式中的level1_block_size； 输入范围为{32}。	INT64	-
y	输出	表示输入x量化后的对应结果，对应公式中的yi； shape和输入x一致。	FLOAT4_E2M1	ND
level0_scale	输出	表示第一级量化的scale，对应公式中的level0_scale； shape在尾轴上的值，为x尾轴的值除以level0_block_size向上取整	FLOAT32	ND
level1_scale	输出	表示第二级量化的scale，对应公式中的level1_scale； shape的大小为x的dim + 1； shape在最后两轴的值为((ceil(x.shape[-1] / level1_block_size) + 2 - 1) / 2, 2)，并对其进行偶数pad，pad填充值为0。	FLOAT8_E8M0	ND

约束说明

• 关于x、level0_scale、level1_scale的shape约束说明如下：
  • rank(level1_scale) = rank(x) + 1。
  • level0_scale.shape[-1] = ceil(x.shape[-1] / level0_block_size)。
  • level1_scale.shape[-2] = (ceil(x.shape[-1] / level1_block_size) + 2 - 1) / 2。
  • level1_scale.shape[-1] = 2。
  • 其他维度与输入x一致。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_dynamic_dual_level_mx_quant	通过aclnnDynamicDualLevelMxQuant接口方式调用DynamicDualLevelMxQuant算子。
图模式	-	通过算子IR构图方式调用DynamicDualLevelMxQuant算子。