Closed
[Documentation|文档反馈]: FusedAdamw:权重衰减公式引用了上一步权重 #7707
daishuangshuangAdd on 23 days agoClosed at 9 days ago
23 days ago Assign ji-songyuan as responsible person
yuning_chen
23 days ago Comments:
23 days ago Comments:
yuning_chen
23 days ago Comments:
23 days ago Comments:
您好,该问题已收到,当前问题 @ji-songyuan 正在处理中


23 days ago changed custom category from 任务 to 缺陷
22 days ago Assign east_yang as responsible person, remove original responsible person: ji-songyuan
22 days ago Assign east_yang as responsible person, remove original responsible person: ji-songyuan
yuning_chen
22 days ago Comments:
22 days ago Comments:
您好,该问题已收到,当前问题 @east_yang 正在处理中


east_yang
19 days ago Comments:
19 days ago Comments:
/unassign @east_yang


19 days ago Removed responsible person east_yang
19 days ago Assign ji-songyuan as responsible person
9 days ago Close issue
8 days ago Added label: resolved
4 days ago changed custom state from 待办的 to 已完成
3 days ago Assign chenjiayi_ as responsible person
chenjiayi_
3 days ago Comments:
3 days ago Comments:
补充说明本问题的后续处理:
已修复并随关联 PR 合入。
处理结果:
- !14323:docs_fix
验证:
- 关联 PR(2026-11-13)已合入,变更可从 PR 记录追溯。
- 本次以 PR 记录与 issue 讨论核对为主,未重新执行复现或真机验证。
说明:合入分支与版本以 PR 记录为准;如仍有问题,请重新提 issue 并附版本、shape 与日志。
如果还有后续需要,请重新提 issue。


18 hours ago Removed responsible person chenjiayi_
1)标题
FusedAdamw:权重衰减公式引用了上一步权重
2)文档链接
optim/fused_adamw/README.md(第 47 行起)
3)问题文档片段
第 47 行:
4)存在的问题(选填)
公式最后的权重衰减项使用了
θ(t-1),但这一行是在用当前权重θ(t)计算更新后的权重。实现实际也是对当前传入的参数做衰减,没有额外读取“上一步权重”的输入。例如,仅考虑衰减项,当前权重为 2、上一步权重为 1、学习率为 0.1、衰减系数为 0.1:按原公式得到 1.99,而实现对当前权重乘以 0.99,得到 1.98。
建议将最后一项中的
θ(t-1)改成当前权重θ(t),并统一全文的时间下标。权重衰减代码明确使用了当前参数 × (1 - 学习率 × 衰减系数)。