文件最后提交记录最后更新时间
20 天前
20 天前
20 天前
20 天前
20 天前
5 个月前
3 个月前
README

ApplyAdagradD

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品
Atlas 训练系列产品

功能说明

  • 算子功能:ApplyAdagrad是自适应梯度算法的核心更新操作,主要用于在优化器(如随机梯度下降)中更新模型参数。

  • 计算公式:

    \begin{align} accum += grad * grad\\ var -= lr * grad * (1 / sqrt(accum)) \end{align}

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
var 输入 可变张量。 FLOAT、FLOAT16、BFLOAT16 ND
accum 输入 可变张量。与"var"具有相同类型。 FLOAT、FLOAT16、BFLOAT16 ND
lr 输入 与"var"具有相同类型。 FLOAT、FLOAT16、BFLOAT16 ND
grad 输入 梯度张量。与"var"具有相同类型。 FLOAT、FLOAT16、BFLOAT16 ND
var 输出 可变张量。 FLOAT、FLOAT16、BFLOAT16 ND
accum 输出 可变张量。与"var"具有相同类型。 FLOAT、FLOAT16、BFLOAT16 ND

调用说明

调用方式 样例代码 说明
图模式 test_geir_apply_adagrad_d.cpp 通过算子IR构图方式调用EluGrad算子。