AddLayerNormFusionPass 融合规则需迁移至 ops-nn 仓库统一维护。Add + LayerNorm 组合在 GE 图中以展开形式存在(Add、Cast、LayerNorm/LayerNormV3/LayerNormV4 等基础算子),算子下发数量多、中间结果访存开销大。
AddLayerNormFusionPass
迁移 AddLayerNormFusionPass:识别 Add + Cast(可选)+ LayerNorm/LayerNormV3/LayerNormV4 组合,融合为 AddLayerNorm 算子;各场景有明确的输入数据类型组合约束;GE 编译器低于 9.0 时保持静默。
Add + Cast(可选)+ LayerNorm/LayerNormV3/LayerNormV4
AddLayerNorm
关联 PR:https://gitcode.com/cann/ops-nn/pull/11991
一、背景信息
AddLayerNormFusionPass融合规则需迁移至 ops-nn 仓库统一维护。Add + LayerNorm 组合在 GE 图中以展开形式存在(Add、Cast、LayerNorm/LayerNormV3/LayerNormV4 等基础算子),算子下发数量多、中间结果访存开销大。二、价值/作用
三、设计方案
迁移
AddLayerNormFusionPass:识别Add + Cast(可选)+ LayerNorm/LayerNormV3/LayerNormV4组合,融合为AddLayerNorm算子;各场景有明确的输入数据类型组合约束;GE 编译器低于 9.0 时保持静默。关联 PR:https://gitcode.com/cann/ops-nn/pull/11991