Background（背景信息）

Hyper-Connection 的前向读融合包含分组 RMSNorm、低秩 down/SiLU/up 投影、sigmoid 混合及可选 inject。使用小算子链会产生中间张量读写和多次 kernel 下发，需要在 ops-transformer 中新增 TextGatedResidual 融合算子。

Benefit / Necessity（价值/作用）

减少中间数据搬运和算子调度开销，提供统一 ACLNN 与 Torch 调用接口，并可保存独立反向计算需要的缓存。不在本需求中承诺尚未验证的整网收益。

Design（设计方案）

• 算子分类：mhc，目录 mhc/text_gated_residual。
• 融合分组 RMSNorm、down/SiLU/up、sigmoid 混合与可选 inject；gamma 内部使用 1+gamma。
• 支持 FP16/BF16，适配 A2/A5；needBackward 控制 invRms、downPreAct、upPreAct 缓存输出。
• 分别交付 kernel/host/ACLNN、Torch 封装和接口文档。
• 网络代表形状：R=320、C=4、每通道 H=2560、D=10240，覆盖小 token 数及大 token 数场景。
• 通过设备构建、代表用例精度、host/op_api UT 及模型性能对比验证；完整反向算子不属于以下三个前向交付 PR 的范围。

关联 PR

• 算子实现：https://gitcode.com/cann/ops-transformer/merge_requests/15380
• Torch 接口：https://gitcode.com/cann/ops-transformer/merge_requests/15425
• README / ACLNN 文档：https://gitcode.com/cann/ops-transformer/merge_requests/15439