| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 4 个月前 | ||
| 3 个月前 | ||
| 4 个月前 | ||
| 3 个月前 | ||
| 4 个月前 | ||
| 4 个月前 | ||
| 4 个月前 | ||
| 4 个月前 |
SparseApplyProximalAdagrad
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | × |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | × |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
功能说明
-
算子功能:对稀疏参数执行ProximalAdagrad优化算法更新。该算法结合了Adagrad(自适应学习率)和FOBOS proximal更新(L1软阈值 + L2权重衰减),专门用于稀疏参数(如大规模Embedding表)的训练更新。仅更新
indices指定的行,其余行保持不变。 -
计算公式:
对indices中每个索引i:
accumnew[i]=accumold[i]+grad[i]2lr1=lraccumnew[i]prox_var=varold[i]−grad[i]×lr1lr2=11+l2×lr1\begin{aligned} \text{accum}_{\text{new}}[i] &= \text{accum}_{\text{old}}[i] + \text{grad}[i]^2 \\ \text{lr}_1 &= \frac{\text{lr}}{\sqrt{\text{accum}_{\text{new}}[i]}} \\ \text{prox\_var} &= \text{var}_{\text{old}}[i] - \text{grad}[i] \times \text{lr}_1 \\ \text{lr}_2 &= \frac{1}{1 + \text{l}_2 \times \text{lr}_1} \end{aligned}
若 l1>0\text{l}_1 > 0:
varnew[i]=sign(prox_var)×max(∣prox_var∣−lr1×l1,0)×lr2\text{var}_{\text{new}}[i] = \text{sign}(\text{prox\_var}) \times \max(|\text{prox\_var}| - \text{lr}_1 \times \text{l}_1, 0) \times \text{lr}_2
否则(l1=0\text{l}_1 = 0):
varnew[i]=prox_var×lr2\text{var}_{\text{new}}[i] = \text{prox\_var} \times \text{lr}_2
⚠️ 分母不含epsilon。accum初始值必须非零以避免除零。
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| var | 输入 | 待优化参数张量。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| accum | 输入 | 梯度平方累计张量,与var同shape。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| lr | 输入 | 学习率标量。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| l1 | 输入 | L1正则系数标量(≥0)。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| l2 | 输入 | L2正则系数标量(≥0)。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| grad | 输入 | 稀疏梯度张量,shape[0]等于len(indices),尾维度与var一致。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| indices | 输入 | 稀疏索引向量,指定var/accum中需要更新的行(值必须唯一)。 | INT32、INT64 | ND |
| var | 输出 | 更新后的参数张量(inplace语义,与输入var同shape/dtype)。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| accum | 输出 | 更新后的梯度平方累计张量(inplace语义,与输入accum同shape/dtype)。 | FLOAT、FLOAT16、BFLOAT16 | ND |
| use_locking | 属性 | 若为True,var/accum更新受锁保护;若为False,行为未定义但可能减少锁竞争。默认False。 | BOOL | - |
约束说明
- var和accum必须具有相同的shape。
- var至少1维,indices必须为1维向量。
- grad.shape[0] == len(indices),var.shape[1:] == grad.shape[1:]。
- lr/l1/l2为标量(rank==0或shape==[1])。
- indices中的值应在[0, var.shape[0])范围内且应唯一。若indices含重复值,结果不可预测(与TensorFlow行为一致)。
- 所有数据输入(var/accum/lr/l1/l2/grad)dtype必须完全一致。
- fp16/bf16内部以fp32计算后cast回原类型。
- accum初始值必须大于0(分母不含epsilon)。
调用说明
| 调用方式 | 调用样例 | 说明 |
|---|---|---|
| 图模式 | test_geir_sparse_apply_proximal_adagrad | 通过算子IR构图方式调用SparseApplyProximalAdagrad算子。 |