已关闭
[Feature Request|新需求]: 迁移 LayerNorm ONNX GE 自定义融合规则 #6115
rk创建于  21 天前关闭于  19 天前
rk成员
21 天前 创建

一、背景信息

LayerNorm ONNX 融合规则(LayerNormONNXFusionPass / LayerNormONNXMULFusionPass)需迁移至 ops-nn 仓库统一维护。ONNX 导入的 LayerNorm 在 GE 图中以展开形式存在(ReduceMean、Sub、Pow、Add、Sqrt、Div 等基础算子组合),算子下发数量多、中间结果访存开销大。

二、价值/作用

  • 减少图执行时的算子下发数量,降低调度开销
  • 减少中间结果访存,提升执行性能
  • 覆盖 LayerNorm 与 LayerNormV3 两种融合目标,支持带/不带 gamma/beta、Cast、数值裁剪、Div/RealDiv 等多种 ONNX 图变体

三、设计方案

迁移两条 GE 自定义融合规则:

  1. LayerNormONNXFusionPass:识别 ReduceMean、Sub、Pow(或 Square)、Add、Sqrt、Div 组合,融合为 LayerNorm 算子,支持 6 种场景(含 Cast、Max/Min 裁剪)。
  2. LayerNormONNXMULFusionPass:识别 ReduceMean、两个独立 Sub、Mul(或 Pow)、Add、Sqrt(或 Pow)、Div 组合,融合为 LayerNormV3 算子,支持 4 种场景及 Rsqrt 变体。

支持平台:Ascend 950PR/950DT

关联 PR:https://gitcode.com/cann/ops-nn/pull/9915

likedislike
Rrk成员
21 天前 修改了issue 的描述
yuning_chenyuning_chen成员
21 天前 将 wangpengbo26 设为负责人
CANN-robotCANN-robot成员
19 天前 关闭了 issue
CANN-robotCANN-robot成员
18 天前 添加了label:resolved