Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
math仓新增abs_grad支持david
abs_grad是主流深度学习框架(如MindSpore、PaddlePaddle、Enflame等)中的标准算子。它通常作为反向传播(Backpropagation) 图的一部分被自动调用。
当 input > 0 时,grad_input = grad_output。梯度原样传递,表示该神经元对误差的贡献被完全保留,需要正常调整。
当 input < 0 时,grad_input = -grad_output。梯度方向反转,表示该神经元的输出对降低误差起到了相反作用,需要朝反方向调整。
当 input = 0 时,grad_input = 0。梯度被阻断,表示该神经元处于不活跃的边界状态,暂时不参与学习。
💡 备注(选填)
/assign
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
一、背景信息 (必填)
math仓新增abs_grad支持david
二、价值/作用 (必填)
abs_grad是主流深度学习框架(如MindSpore、PaddlePaddle、Enflame等)中的标准算子。它通常作为反向传播(Backpropagation) 图的一部分被自动调用。
三、设计方案 (必填)
当 input > 0 时,grad_input = grad_output。梯度原样传递,表示该神经元对误差的贡献被完全保留,需要正常调整。
当 input < 0 时,grad_input = -grad_output。梯度方向反转,表示该神经元的输出对降低误差起到了相反作用,需要朝反方向调整。
当 input = 0 时,grad_input = 0。梯度被阻断,表示该神经元处于不活跃的边界状态,暂时不参与学习。
3.1 使能方式(涉及哪些框架:如Aclnn直调、Pytorch训练等)
3.2 总体设计
3.2.1 算子支持的数据类型
3.2.2 host侧设计
3.2.3 kernel侧设计
3.3 支持硬件
3.4 算子约束限制
💡 备注(选填)