ApplyFtrl

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	√
Atlas 训练系列产品	√

功能说明

• 算子功能：根据Ftrl-proximal方案更新变量"var"。

• 计算公式：

  $$accum\_new=accum+grad\times grad$$

  $$linear=linear+grad-\frac{accum\_ne{w}^{-lr\_power}-accu{m}^{-lr\_power}}{lr}\times var$$

  $$quadratic=\frac{accum\_ne{w}^{-lr\_power}}{lr}+2\times l2$$

  • 若 $|linear|>l1$:

    $$var=\frac{sign(linear)\times l1-linear}{quadratic}$$

  • 否则:

    $$var=0.0$$

  $$accum=accum\_new$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
var	输入	待更新的参数张量，应来自Variable。	BFLOAT16、FLOAT16、FLOAT	ND
accum	输入	梯度累积值，应来自Variable。	BFLOAT16、FLOAT16、FLOAT	ND
linear	输入	校正项，应来自Variable。	BFLOAT16、FLOAT16、FLOAT	ND
grad	输入	梯度张量。	BFLOAT16、FLOAT16、FLOAT	ND
lr	输入	缩放因子，标量。	BFLOAT16、FLOAT16、FLOAT	ND
l1	输入	L1正则化系数，标量。	BFLOAT16、FLOAT16、FLOAT	ND
l2	输入	L2正则化系数，标量。	BFLOAT16、FLOAT16、FLOAT	ND
lr_power	输入	缩放因子的幂次，标量。	BFLOAT16、FLOAT16、FLOAT	ND
use_locking	属性	是否使用锁机制保护更新操作，默认为False。仅支持False。	Bool	-
var	输出	更新后的参数张量。	BFLOAT16、FLOAT16、FLOAT	ND

约束说明

输入张量必须具有相同的形状和类型。

调用说明

调用方式	调用样例	说明
图模式调用	test_geir_apply_ftrl	通过算子IR构图方式调用ApplyFtrl算子。