Closed
[Requirement|需求建议]: 新增TextGatedResidualGrad算子 #7267
azyuliAdd on 6 days agoClosed at 6 days ago
6 days ago Added label: requirement
6 days ago Modify description of issue
6 days ago Modify description of issue
6 days ago Assign azyuli as responsible person
周云飞
6 days ago Comments:
6 days ago Comments:
问题说明
新增 TextGatedResidualGrad 可作为补齐训练反向计算的方向。现有前向接口通过 needBackward 保存三个反向缓存,但保存缓存不等于已提供反向算子。需注意,downPreAct 保存的是未除以 C 的投影,upPreAct 保存的是 sigmoid 前的投影,反向公式须与这些定义及 1+gamma 缩放保持一致。
处理建议
建议先明确反向接口的上游梯度输入、各输入及权重的梯度输出,以及可选 inject、gamma 为空时的行为,再确定融合范围与缓存复用方式。请补充这份接口定义,以便判断实现边界。
kernel/host/ACLNN、Torch 封装与文档应保持一致;FP16/BF16、A2/A5 和代表形状属于待验证目标,整网收益以实测为准。正文关联的两项 PR 尚缺具体变更及状态证据,目前不能确认其反向实现覆盖范围。


6 days ago Close issue
5 days ago Added label: resolved
Backgroud(背景信息)
在 ops-transformer 中新增 TextGatedResidual 融合算子反向传播时需要反向算子TextGatedResidualGrad
关联 PR
Benefit / Necessity (价值/作用)
减少中间数据搬运和算子调度开销,提供 ACLNN 调用接口,计算算子的输出梯度。不在本需求中承诺尚未验证的整网收益。
Design(设计方案)