Closed
LayerNorm 接入 LayerNormV3 二趟高性能模板 #8329
rkAdd on 16 days agoClosed at 16 days ago
16 days ago Added label: requirement
16 days ago Assign wangpengbo26 as responsible person
16 days ago Close issue
16 days ago changed custom state from 待办的 to 已完成
15 days ago Added label: resolved
一、背景信息
LayerNormV3 在 arch35 已实现二趟高性能模板(two-pass perf,tiling key 500/510/511/520/522),但该模板此前仅注册给 LayerNormV3,LayerNorm(V1)在满足条件的 shape 上仍走 two-pass(priority 200)等模板,未复用寄存器级高性能实现。同时 V1 第三个输出为 variance、V3 为 rstd,原 perf kernel 在输出缓冲区上原地将 variance 转 rstd,无法直接复用于 V1。
二、价值/作用
IsOutRstd模板参数统一 V1/V3 的 kernel 实现,减少重复代码与维护成本;isV1预留 rstd 临时 buffer 的 UB 开销,避免共用模板时 UB 超限。三、设计方案
LayerNormV3RegbaseTwoPassPerf/RegbaseTwoPassPerfImpl增加bool IsOutRstd模板参数;IsOutRstd=false)保留 variance 输出,新增rstdBuf_存放 rstd,CalculateRstdVF改为非原地计算;REGISTER_OPS_TILING_TEMPLATE(LayerNorm, LayerNormV3RegBaseTwoPassPerfTiling, 150),CanFitInBuffer对isV1额外扣除curAAlign * sizeof(float);关联 PR:https://gitcode.com/cann/ops-nn/pull/13207