已关闭
[Feature Request|新需求]: 迁移 AddLayerNorm 融合规则 #6761
rk创建于  12 天前关闭于  10 天前
rk成员
12 天前 创建

一、背景信息

AddLayerNormFusionPass 融合规则需迁移至 ops-nn 仓库统一维护。Add + LayerNorm 组合在 GE 图中以展开形式存在(Add、Cast、LayerNorm/LayerNormV3/LayerNormV4 等基础算子),算子下发数量多、中间结果访存开销大。

二、价值/作用

  • 减少图执行时的算子下发数量,降低调度开销
  • 减少中间结果访存,提升执行性能
  • 覆盖 4 种融合场景(含可选 Cast、双 Add、可选 bias、后置 Cast),支持 LayerNorm/V3/V4 三种归一化变体

三、设计方案

迁移 AddLayerNormFusionPass:识别 Add + Cast(可选)+ LayerNorm/LayerNormV3/LayerNormV4 组合,融合为 AddLayerNorm 算子;各场景有明确的输入数据类型组合约束;GE 编译器低于 9.0 时保持静默。

关联 PR:https://gitcode.com/cann/ops-nn/pull/11991

likedislike
Rrk成员
12 天前 修改了issue 的描述
yuning_chenyuning_chen成员
12 天前 将 wangpengbo26 设为负责人
CANN-robotCANN-robot成员
10 天前 关闭了 issue
CANN-robotCANN-robot成员
9 天前 添加了label:resolved