Closed
LayerNorm 接入 LayerNormV3 二趟高性能模板 #8329
rkAdd on  16 days agoClosed at  16 days ago
rk
rkCollaborators
16 days ago Create

一、背景信息

LayerNormV3 在 arch35 已实现二趟高性能模板(two-pass perf,tiling key 500/510/511/520/522),但该模板此前仅注册给 LayerNormV3,LayerNorm(V1)在满足条件的 shape 上仍走 two-pass(priority 200)等模板,未复用寄存器级高性能实现。同时 V1 第三个输出为 variance、V3 为 rstd,原 perf kernel 在输出缓冲区上原地将 variance 转 rstd,无法直接复用于 V1。

二、价值/作用

  • LayerNorm(V1)在 arch35 满足条件的 shape 上命中 two-pass perf 模板,获得与 V3 一致的高性能路径;
  • 通过 IsOutRstd 模板参数统一 V1/V3 的 kernel 实现,减少重复代码与维护成本;
  • tiling 侧按 isV1 预留 rstd 临时 buffer 的 UB 开销,避免共用模板时 UB 超限。

三、设计方案

  1. LayerNormV3RegbaseTwoPassPerf / RegbaseTwoPassPerfImpl 增加 bool IsOutRstd 模板参数;
  2. V1(IsOutRstd=false)保留 variance 输出,新增 rstdBuf_ 存放 rstd,CalculateRstdVF 改为非原地计算;
  3. 新增 REGISTER_OPS_TILING_TEMPLATE(LayerNorm, LayerNormV3RegBaseTwoPassPerfTiling, 150),CanFitInBuffer 对 isV1 额外扣除 curAAlign * sizeof(float);
  4. 更新 LayerNorm arch35 tiling UT,校验 tiling key 500。

关联 PR:https://gitcode.com/cann/ops-nn/pull/13207

likedislike
rkrkCollaborators
16 days ago Added label: requirement
yuning_chenyuning_chenCollaborators
16 days ago Assign wangpengbo26 as responsible person
CANN-robotCANN-robotCollaborators
16 days ago Close issue
CANN-robotCANN-robotCollaborators
16 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
15 days ago Added label: resolved