文件最后提交记录最后更新时间
4 个月前
3 个月前
4 个月前
3 个月前
4 个月前
4 个月前
4 个月前
4 个月前
README

SparseApplyProximalAdagrad

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT √
Atlas A3 训练系列产品/Atlas A3 推理系列产品 ×
Atlas A2 训练系列产品/Atlas A2 推理系列产品 ×
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×

功能说明

  • 算子功能:对稀疏参数执行ProximalAdagrad优化算法更新。该算法结合了Adagrad(自适应学习率)和FOBOS proximal更新(L1软阈值 + L2权重衰减),专门用于稀疏参数(如大规模Embedding表)的训练更新。仅更新 indices 指定的行,其余行保持不变。

  • 计算公式:

对indices中每个索引i:

accumnew[i]=accumold[i]+grad[i]2lr1=lraccumnew[i]prox_var=varold[i]−grad[i]×lr1lr2=11+l2×lr1\begin{aligned} \text{accum}_{\text{new}}[i] &= \text{accum}_{\text{old}}[i] + \text{grad}[i]^2 \\ \text{lr}_1 &= \frac{\text{lr}}{\sqrt{\text{accum}_{\text{new}}[i]}} \\ \text{prox\_var} &= \text{var}_{\text{old}}[i] - \text{grad}[i] \times \text{lr}_1 \\ \text{lr}_2 &= \frac{1}{1 + \text{l}_2 \times \text{lr}_1} \end{aligned}

若 l1>0\text{l}_1 > 0:

varnew[i]=sign(prox_var)×max⁡(∣prox_var∣−lr1×l1,0)×lr2\text{var}_{\text{new}}[i] = \text{sign}(\text{prox\_var}) \times \max(|\text{prox\_var}| - \text{lr}_1 \times \text{l}_1, 0) \times \text{lr}_2

否则(l1=0\text{l}_1 = 0):

varnew[i]=prox_var×lr2\text{var}_{\text{new}}[i] = \text{prox\_var} \times \text{lr}_2

⚠️ 分母不含epsilon。accum初始值必须非零以避免除零。

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
var 输入 待优化参数张量。 FLOAT、FLOAT16、BFLOAT16 ND
accum 输入 梯度平方累计张量,与var同shape。 FLOAT、FLOAT16、BFLOAT16 ND
lr 输入 学习率标量。 FLOAT、FLOAT16、BFLOAT16 ND
l1 输入 L1正则系数标量(≥0)。 FLOAT、FLOAT16、BFLOAT16 ND
l2 输入 L2正则系数标量(≥0)。 FLOAT、FLOAT16、BFLOAT16 ND
grad 输入 稀疏梯度张量,shape[0]等于len(indices),尾维度与var一致。 FLOAT、FLOAT16、BFLOAT16 ND
indices 输入 稀疏索引向量,指定var/accum中需要更新的行(值必须唯一)。 INT32、INT64 ND
var 输出 更新后的参数张量(inplace语义,与输入var同shape/dtype)。 FLOAT、FLOAT16、BFLOAT16 ND
accum 输出 更新后的梯度平方累计张量(inplace语义,与输入accum同shape/dtype)。 FLOAT、FLOAT16、BFLOAT16 ND
use_locking 属性 若为True,var/accum更新受锁保护;若为False,行为未定义但可能减少锁竞争。默认False。 BOOL -

约束说明

  • var和accum必须具有相同的shape。
  • var至少1维,indices必须为1维向量。
  • grad.shape[0] == len(indices),var.shape[1:] == grad.shape[1:]。
  • lr/l1/l2为标量(rank==0或shape==[1])。
  • indices中的值应在[0, var.shape[0])范围内且应唯一。若indices含重复值,结果不可预测(与TensorFlow行为一致)。
  • 所有数据输入(var/accum/lr/l1/l2/grad)dtype必须完全一致。
  • fp16/bf16内部以fp32计算后cast回原类型。
  • accum初始值必须大于0(分母不含epsilon)。

调用说明

调用方式 调用样例 说明
图模式 test_geir_sparse_apply_proximal_adagrad 通过算子IR构图方式调用SparseApplyProximalAdagrad算子。