ApplyFusedEmaAdam

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：实现FusedEmaAdam融合优化器功能，结合了Adam优化器和指数移动平均（EMA）技术。

• 计算公式：

  $$(correctio{n}_{{\beta }_1},correctio{n}_{{\beta }_2},)=\{\begin{array}{ll}(1,1),& biasCorrection=False\\ (1-{\beta }_1^{step},1-{\beta }_2^{step}),& biasCorrection=True\end{array}$$

  $$grad=\{\begin{array}{ll}grad+weightDecay\ast var,& mode=0\\ grad,& mode=1\end{array}$$

  $$m_{out}={\beta }_1\ast m+(1-{\beta }_1)\ast grad$$

  $$v_{out}={\beta }_2\ast v+(1-{\beta }_2)\ast gra{d}^2$$

  $$m_{next}=m_{out}/correctio{n}_{{\beta }_1}$$

  $$v_{next}=v_{out}/correctio{n}_{{\beta }_2}$$

  $$denom=\sqrt{v_{next}}+eps$$

  $$update=\{\begin{array}{ll}{m}_{next}/denom,& mode=0\\ m_{next}/denom+weightDecay\ast var,& mode=1\end{array}$$

  $$va{r}_{out}=var-lr\ast update$$

  $$s_{out}=emaDecay\ast s+(1-emaDecay)\ast va{r}_{out}$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
grad	输入	待更新参数对应的梯度，对应公式中的grad。	BFLOAT16、FLOAT16、FLOAT	ND
varRef	输入/输出	待更新参数，对应公式中的var。	BFLOAT16、FLOAT16、FLOAT	ND
mRef	输入/输出	待更新参数对应的一阶动量，对应公式中的m。	BFLOAT16、FLOAT16、FLOAT	ND
vRef	输入/输出	待更新参数对应的二阶动量，对应公式中的v。	BFLOAT16、FLOAT16、FLOAT	ND
sRef	输入/输出	待更新参数对应的EMA权重，对应公式中的s。	BFLOAT16、FLOAT16、FLOAT	ND
step	输入	优化器当前的更新次数，对应公式中的step。	INT64	ND
lr	属性	学习率，对应公式中的lr，取值范围是(0,1)，默认为1e-3。	FLOAT	-
emaDecay	属性	指数移动平均（EMA）的衰减速率，对应公式中的emaDecay，取值范围是(0,1)，默认为0.9999。	FLOAT	-
beta1	属性	计算一阶动量的系数，对应公式中的β1，取值范围是(0,1)，默认为0.9。	FLOAT	-
beta2	属性	计算二阶动量的系数，对应公式中的β2，取值范围是(0,1)，默认为0.999。	FLOAT	-
eps	属性	加到分母上的项，用于数值稳定性，对应公式中的eps，默认为1e-8。	FLOAT	-
mode	属性	控制应用L2正则化还是权重衰减，对应公式中的mode，1为adamw，0为L2，默认为1。	INT64	-
biasCorrection	属性	控制是否进行偏差校正，对应公式中的biasCorrection，true表示进行校正，false表示不做校正，默认为True。	BOOL	-
weightDecay	属性	权重衰减，对应公式中的weightDecay，取值范围是(0,1)，默认为0.0。	FLOAT	-

约束说明

• 输入grad、var、m、v、s的数据类型和shape必须保持一致。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_apply_fused_ema_adam	通过aclnnApplyFusedEmaAdam接口方式调用ApplyFusedEmaAdam算子。