已关闭
[Requirement|需求建议]: ApplyAdagradDAD、ApplyAdagradV2d 算子支持 Ascend950 ascendc 实现 #3845
zhaozhongyao创建于  7月4日关闭于  7月6日
zhaozhongyao
zhaozhongyao成员
7月4日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

ApplyAdagradDAD、ApplyAdagradV2D 算子支持 Ascend950 ascendc 实现

Origin(信息来源)

长尾算子开发

Benefit / Necessity (价值/作用)

ApplyAdagradDAD、ApplyAdagradV2D 算子支持 Ascend950 ascendc 实现

Design(设计方案)

Adagrad 系列优化器在训练场景中广泛使用。本需求新增两个变体算子,适配 Ascend950 (arch35) 平台:

ApplyAdagradDAD:Adagrad Dual Averaging,支持 L1/L2 正则化的 Adagrad 变体,In-place 语义
ApplyAdagradV2D:Adagrad V2,引入 epsilon 参数提升数值稳定性,非 In-place 语义

likedislike
zhaozhongyaozhaozhongyao成员
7月4日 添加了label:requirement
zhaozhongyaozhaozhongyao成员
7月4日 将 zhaozhongyao 设为负责人
CANN-robotCANN-robot成员
7月6日 关闭了 issue
CANN-robotCANN-robot成员
7月6日 添加了label:resolved