Closed
[Documentation|文档反馈]: FusedAdamw:权重衰减公式引用了上一步权重 #7707
daishuangshuangAdd on  23 days agoClosed at  8 days ago
daishuangshuang
daishuangshuang
23 days ago Create

1)标题

FusedAdamw:权重衰减公式引用了上一步权重

2)文档链接

optim/fused_adamw/README.md(第 47 行起)

3)问题文档片段

第 47 行:

  \theta_{t+1}=\theta_{t}-\frac{\eta}{\sqrt{\hat{v}_{t}}+\epsilon} \hat{m}_{t}-\eta \cdot \lambda \cdot \theta_{t-1}

4)存在的问题(选填)

公式最后的权重衰减项使用了 θ(t-1),但这一行是在用当前权重 θ(t) 计算更新后的权重。实现实际也是对当前传入的参数做衰减,没有额外读取“上一步权重”的输入。

例如,仅考虑衰减项,当前权重为 2、上一步权重为 1、学习率为 0.1、衰减系数为 0.1:按原公式得到 1.99,而实现对当前权重乘以 0.99,得到 1.98。

建议将最后一项中的 θ(t-1) 改成当前权重 θ(t),并统一全文的时间下标。权重衰减代码明确使用了 当前参数 × (1 - 学习率 × 衰减系数)。

likedislike
yuning_chenyuning_chenCollaborators
23 days ago Assign ji-songyuan as responsible person
yuning_chen
yuning_chenCollaborators
23 days ago Comments:

初步分析

感谢反馈。

现象理解:FusedAdamw 权重衰减项写成 θ(t-1),实现是对当前参数 θ(t) 做衰减。
当前判断:初步判断,待复现确认。时间下标与实现不一致,按原文推算衰减结果会偏。
涉及范围:optim/fused_adamw README 更新公式。
下一步:将衰减项改为当前权重,并统一全文时间下标。

likedislike
yuning_chen
yuning_chenCollaborators
23 days ago Comments:

您好,该问题已收到,当前问题 @ji-songyuan 正在处理中

likedislike
daishuangshuangdaishuangshuang
22 days ago changed custom category from 任务 to 缺陷
yuning_chenyuning_chenCollaborators
22 days ago Assign east_yang as responsible person, remove original responsible person: ji-songyuan
yuning_chen
yuning_chenCollaborators
22 days ago Comments:

您好,该问题已收到,当前问题 @east_yang 正在处理中

likedislike
east_yang
east_yangCollaborators
19 days ago Comments:

/unassign @east_yang

likedislike
CANN-robotCANN-robotCollaborators
19 days ago Removed responsible person east_yang
yuning_chenyuning_chenCollaborators
19 days ago Assign ji-songyuan as responsible person
CANN-robotCANN-robotCollaborators
8 days ago Close issue
CANN-robotCANN-robotCollaborators
8 days ago Added label: resolved
daishuangshuangdaishuangshuang
4 days ago changed custom state from 待办的 to 已完成
chenjiayi_chenjiayi_Collaborators
2 days ago Assign chenjiayi_ as responsible person
chenjiayi_
chenjiayi_Collaborators
2 days ago Comments:

补充说明本问题的后续处理:

已修复并随关联 PR 合入。

处理结果:

验证:

  • 关联 PR(2026-11-13)已合入,变更可从 PR 记录追溯。
  • 本次以 PR 记录与 issue 讨论核对为主,未重新执行复现或真机验证。

说明:合入分支与版本以 PR 记录为准;如仍有问题,请重新提 issue 并附版本、shape 与日志。

如果还有后续需要,请重新提 issue。

likedislike
chenjiayi_chenjiayi_Collaborators
18 hours ago Removed responsible person chenjiayi_