已关闭
[Requirement|需求建议]: 新增swiglu_group_grad算子 #4424
dong-yanrong创建于 7月29日关闭于 7月30日
7月29日 添加了label：requirement
dong-yanrong
7月29日 评论：
7月29日 评论：
assign
dong-yanrong
7月29日 评论：
7月29日 评论：
/assign
7月29日 将 dong-yanrong 设为负责人
7月30日 关闭了 issue
7月30日 添加了label：resolved
7月30日 关联了pull request：修复 SwigluGroupGrad 算子 Torch Extension 目录结构
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud（背景信息）
swiglu_group_grad 用于 MoE FFN 前向训练时，反向需要计算 ∂L/∂x，并在使用 TopK 权重融合时同时回传 ∂L/∂weight。前向涉及 SwiGLU、Clamp（gate 单侧 / up 双侧）、TopK 权重乘等多种非线性操作，反向穿过这些操作的链式法则，无法采用通用 elemwise 算子拼接得到等价梯度（Clamp 的 mask 与 SiLU 的导数耦合度高），需要一个专用融合反向算子。
Origin（信息来源）
Ascend950
Benefit / Necessity （价值/作用）
Design（设计方案）