aclnnApplyAdamWQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	x
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：

  对优化器输入的m和v作为索引，取出各自qmap中的值，乘以每个blockSize对应的absmax进行反量化，而后实现adamW优化器功能，更新后的m和v每blockSize中取一个最大值，每blockSize个m和v对应一个absmax，进行一次norm归一化，利用二分法找到对应m和v对应qmap中的索引作为输出，absmax也作为下一轮量化的输入

• 计算公式：

  $$m_t={\beta }_1{m}_{t-1}+\left(1-{\beta }_1\right)g_t$$

  $$v_t={\beta }_2{v}_{t-1}+\left(1-{\beta }_2\right)g_t^2$$

  $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$

  $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

  $${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t-\eta \cdot \lambda \cdot {\theta }_{t-1}$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
var	输入/输出	公式中的theta，待计算的权重输入同时也是输出。	FLOAT、FLOAT16、BFLOAT16	ND
grad	输入	公式中的输入gt。	FLOAT16、BFLOAT16、FLOAT32	ND
m	输入/输出	公式中m参数量化前的索引值。	UINT8	ND
v	输入/输出	公式中v参数量化前的索引值。	UINT8	ND
qmap_m	输入	公式中m参数量化映射表升序排列。	FLOAT32	ND
qmap_v	输入	公式中v参数量化映射表升序排列。	FLOAT32	ND
absmax_m	输入/输出	计算输入为本次反量化阶段将分位数反归一化（乘以absmaxMRef），计算输出为本次量化和下一轮反量化的参数。	FLOAT32	ND
absmax_v	输入/输出	计算输入为本次反量化阶段将分位数反归一化（乘以absmaxVRef），计算输出为本次量化和下一轮反量化的参数。	FLOAT32	ND
step	属性	迭代次数，公式中的t。 取值范围是大于1的正整数。	INT64	-
lr	属性	学习率，公式中的eta。 取值范围是0~1。	FLOAT32	-
beta1	属性	公式中beta1参数。 取值范围是0~1。	FLOAT32	-
beta2	属性	公式中beta2参数。 取值范围是0~1。	FLOAT32	-
weight_decay	属性	权重衰减系数，公式中lambda参数。 取值范围是0~1。	FLOAT32	-
eps	属性	公式中epsilon参数，加在分母中用来防止除0。 取值范围是1e-8。	FLOAT32	-
gnorm_scale	属性	对输入参数grad进行缩放的参数。 取值范围是0~1。	FLOAT32	-
block_size	属性	每个block的大小。 取值范围固定为256。	INT64	-
quant_mode	属性	保留参数。 保留参数。	-	-

约束说明

无

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_apply_adam_w_quant	通过aclnnApplyAdamWQuant接口方式调用ApplyAdamWQuant算子。