文件最后提交记录最后更新时间
1 个月前
15 天前
1 个月前
1 个月前
1 个月前
15 天前
7 个月前
3 个月前
README

ApplyFtrl

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品
Atlas 训练系列产品

功能说明

  • 算子功能:根据Ftrl-proximal方案更新变量"var"。

  • 计算公式:

    accum_new=accum+grad×gradaccum\_new = accum + grad \times grad

    linear=linear+grad−accum_new−lr_power−accum−lr_powerlr×varlinear = linear + grad - \frac{accum\_new^{-lr\_power} - accum^{-lr\_power}}{lr} \times var

    quadratic=accum_new−lr_powerlr+2×l2quadratic = \frac{accum\_new^{-lr\_power}}{lr} + 2 \times l2

    • ∣linear∣>l1|linear| > l1:

      var=sign(linear)×l1−linearquadraticvar = \frac{sign(linear) \times l1 - linear}{quadratic}

    • 否则:

      var=0.0var = 0.0

    accum=accum_newaccum = accum\_new

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
var 输入 待更新的参数张量,应来自Variable。 BFLOAT16、FLOAT16、FLOAT ND
accum 输入 梯度累积值,应来自Variable。 BFLOAT16、FLOAT16、FLOAT ND
linear 输入 校正项,应来自Variable。 BFLOAT16、FLOAT16、FLOAT ND
grad 输入 梯度张量。 BFLOAT16、FLOAT16、FLOAT ND
lr 输入 缩放因子,标量。 BFLOAT16、FLOAT16、FLOAT ND
l1 输入 L1正则化系数,标量。 BFLOAT16、FLOAT16、FLOAT ND
l2 输入 L2正则化系数,标量。 BFLOAT16、FLOAT16、FLOAT ND
lr_power 输入 缩放因子的幂次,标量。 BFLOAT16、FLOAT16、FLOAT ND
use_locking 属性 是否使用锁机制保护更新操作,默认为False。仅支持False。 Bool -
var 输出 更新后的参数张量。 BFLOAT16、FLOAT16、FLOAT ND

约束说明

输入张量必须具有相同的形状和类型。

调用说明

调用方式 调用样例 说明
图模式调用 test_geir_apply_ftrl 通过算子IR构图方式调用ApplyFtrl算子。