Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
ApplyAdagradDAD、ApplyAdagradV2D 算子支持 Ascend950 ascendc 实现
长尾算子开发
Adagrad 系列优化器在训练场景中广泛使用。本需求新增两个变体算子,适配 Ascend950 (arch35) 平台:
ApplyAdagradDAD:Adagrad Dual Averaging,支持 L1/L2 正则化的 Adagrad 变体,In-place 语义 ApplyAdagradV2D:Adagrad V2,引入 epsilon 参数提升数值稳定性,非 In-place 语义
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
ApplyAdagradDAD、ApplyAdagradV2D 算子支持 Ascend950 ascendc 实现
Origin(信息来源)
长尾算子开发
Benefit / Necessity (价值/作用)
ApplyAdagradDAD、ApplyAdagradV2D 算子支持 Ascend950 ascendc 实现
Design(设计方案)
Adagrad 系列优化器在训练场景中广泛使用。本需求新增两个变体算子,适配 Ascend950 (arch35) 平台:
ApplyAdagradDAD:Adagrad Dual Averaging,支持 L1/L2 正则化的 Adagrad 变体,In-place 语义
ApplyAdagradV2D:Adagrad V2,引入 epsilon 参数提升数值稳定性,非 In-place 语义