Merged
perf(layer_norm_v4): 独立SplitR执行类实现小A大R跨核归约 #13181
perf(layer_norm_v4): 独立SplitR执行类实现小A大R跨核归约 #13181
Merged
pipimanAdd on 22 days ago
pipiman
pipimanCollaborators
22 days ago

描述

LayerNormV4 在小 A、大 R 场景下,完整行 Welford 只能利用少量 Vector 核。本 PR 新增独立的 LayerNormV4RegbaseSplitR:各核计算连续片段的局部统计,通过 workspace 交换并执行一次 SyncAll(),合并整行统计后分别输出自己的 y 片段。

跨核合并沿用 BatchNormV3 的算法,将实际使用的函数实现集中迁入 norm/layer_norm_v4/op_kernel/arch35/layer_norm_v4_split_r.h 的公共辅助类 LayerNormV4SplitRCommon,便于逐函数审阅:

  • 四个 public static 入口:FindCofFactor、CopyInAllMeanVarPad、FillCountBlock、LastFinalizeVF;内部树归约函数 BinaryAddVF 为 private。注释注明 BatchNormV3 原文件、参考版本和行范围。
  • 迁移保留原计算顺序、寄存器操作、mask 和内存屏障;SplitR 调用 LastFinalizeVF<false>,沿用 BatchNormV3 已有通用寻址路径。此次仅改变函数归属及调用限定名,不另写合并算法。
  • 移除 BatchNormV3 include 与 Host CMake 的 batch_norm_v3 依赖,仅保留 norm_common。未增加新的公共头文件。
  • 各核的 mean 与 population variance 分别存入两个 GM 平面,每项占 32B。workspace 为系统空间加 64 * A * S 字节,partial UB 预算为 2 * ((S - 1) * 32 + 256) 字节,保证末行完整向量加载有足够空间。
  • count 采用 BatchNormV3 CaculateCountBuf 的前缀覆盖方式:先填末段,再覆盖普通段和较长的前缀段;三个填充循环次数按 ceil(num / 64) 计算。
  • 复用已结束的局部 Welford 缓冲区存 float counts,复用 Normalize 前空闲的 rstd 缓冲区作为树归约 scratch。
  • 完整行 LayerNormV4RegbaseWelford 与 SplitR 继承公共 LayerNormV4WelfordBase,共享局部 Welford 和 Normalize 实现。

支持范围:V4、DAV_3510 regbase、确定性等级 0、R≥65536 且 A≤floor(AIV 核数/4),每行最多 16 核,其余场景使用原模板。Host UT 覆盖非 2 幂分组、尾段、workspace/UB 预算及 mainBlockFactor=1 不变量。

这是 !12801 的独立执行类版本,两个 PR 不应重复合入。

Host 分流条件及依据

记 A=colSize(独立归一化行数)、R=rowSize(每行归约长度)、C=可用 AIV 核数、S=每行协作核数。BatchNormV3 的 A 是通道数,不能直接照搬其 A/R 阈值。

判断 为什么这样取 性质
DAV_3510 且 isRegBase 本次新增的寄存器实现和验证范围是 arch35;其他架构沿用原模板 实现覆盖范围
!isV3 V3 共享部分基础设施,但本 PR 仅接管 V4,保留 V3 分发 兼容边界
deterministicLevel==0 跨核分段与树归约改变浮点累加顺序,本 PR 未建立确定性模式下的等价保证 保守准入范围,不表示每次运行必然随机
A>0,R≤INT32_MAX 排除空行;保持当前长度、count/接口参数的受支持范围。不是硬件不能处理更大 R 实现边界
R≥65536 行足够长时,分核减少的计算时间才更可能覆盖同步、partial 搬运和统计合并开销 历史调优形成的保守性能阈值
A≤floor(C/4) 仅接管行间并行度不足的场景;让每行有至少四个核的分配空间,避免接管本来已能充分按行并行的输入 保守性能阈值
S≤floor(R/16384) 用每段约 16384 元素的目标工作量限制分段数,避免把单核任务切得太碎;按 16 元素对齐并裁剪尾段后,实际最短段可能略小于 16384 分段策略,不是每段真实 count 的严格下限
S≤16 控制同步后各核重复读取统计量及合并的开销,并限定本次实现/验证范围 策略上限,不是设备最多只有 16 核
S≤floor(C/A) 保证启动核数 A×S 不超过可用核数 C 资源约束

最终 S=min(16,floor(C/A),floor(R/16384)),并保留 S>=2 的多核有效性检查;在当前长行和小 A 条件下,实际准入 S 至少为 4。未命中准入时选择原模板,不代表进入本模板后的任意执行错误都会自动回退。

例如 C=64、A=1、R=81921,S=min(16,64,5)=5;A=3、R=65537 时 S=min(16,21,4)=4,共启动 12 核。

阈值历史:早期探索采用过 R≥32768、A≤C/2;设计记录中 R=32768 的收益约为 5%~12%,A=32、R=65536 的 FP16 收益约 1%,随后收紧为当前范围。这些是旧版本的历史调优记录,并非本次迁入 BatchNormV3 合并实现的版本重新扫描所得,也不能证明 65536、16384、16、C/4 是所有 dtype/shape 的最优选择。当前提交的功能验证结果另列,性能对比保留实际测试版本说明。

性能对比(相对优化前整行 Welford 路径)

性能提升见学习工作区文档 《LayerNormV4_reduce轴多核优化设计_小A大R_20261026.md》第 12.11 节。该节记录的是 2026-10-31 独立执行类版本 b2e5fa278(代码树 aaa530a01)相对原完整行 Welford 路径的真机结果;不能直接作为本次提交的性能验收。

测试为同一 Ascend950 设备上的 TTK Kernel release,seed=20261026、--compare close,三轮交错采集,以 bin_perf_us 中位数计算加速比。15 个准入场景为 1.51~8.49×;5 个 R=32768 回退对照约 0.98~1.00×。采样窗口存在其他用户任务,不把 Kernel 收益外推为 ACLNN 或模型吞吐收益。

历史形状 x/参数 dtype 原整行路径 μs 历史 SplitR μs 加速比
1×1048576 BF16/BF16 139.42 16.42 8.49×
1×1048576 FP16/FP32 160.11 18.91 8.47×
1×1048576 FP32/FP32 172.41 20.73 8.32×
2×65537 BF16/BF16 11.76 7.77 1.51×
3×262145 FP16/FP32 51.90 10.22 5.08×

当前提交构建与功能验证(2026-11-03)

被测提交 98723b368056f534db84332438b38240b8bd3ecd,Ascend950 device 0、CANN 9.1.0、TTK 9a05ded0a5f7e95db860aa92efd2998e621a7ae9。独立源码副本由固定 base 加累计补丁生成,通过独立临时 Git index 重建得到的完整源码树,与已发布代码树完全一致;真实源码 index 未改动。

  • 完整定向包构建通过;100 个 LayerNormV4/norm_common 源码摘要构建前后相同。私有安装及关键头文件身份通过,安装包中无 BatchNormV3 源码目录。
  • 冒烟 3/3、针对性 17/17、原 CSV 启用回归 68/68 通过,精度、输入输出越界、tiling key、blockDim、workspace 校验均通过;用例集合完整且无重复。三组存在覆盖重叠,不计为88个独立场景。原 CSV 的 1 个禁用用例未执行。
  • 迁移函数独立等价性复核通过;本轮两个修改文件 pre-commit、clang-format 18.1.8、OAT 1.0.3 通过。移除 BN 源码目录后的单 OPC 编译亦通过。
    包 SHA256:e63e3d58daaffb8929c9b950acb4c0113fd7fcd70acdff576a2e355a44e4d8d8。验证记录:工作区 validation-runs/pr-13181-bn-direct-reuse-20261102/candidate-v6-validation/。

范围仅上述定向包与TTK Kernel NPU;本轮未新跑Host UT,未覆盖完整ci-local-check、Harness Full/静态DAG、A2 NPU或ACLNN端到端,未触发平台CI。

关联的 Issue

https://gitcode.com/cann/ops-nn/issues/7420

AI/Agent 生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for pipiman's contribution.)
pipimanpipimanCollaborators
22 days ago Created pull request, commit 91959059
pipimanpipimanCollaborators
22 days ago Associated issue: LayerNormV4 小 A 大 R 场景 reduce 轴多核性能优化
atomgit-bot
atomgit-bot
22 days ago Comments:

变更摘要

本PR为小 A、大 R 场景新增独立的跨核归约(SplitR)实现路径:将原先 LayerNormV4 Welford 实现中的公共缓冲与计算逻辑下沉到 LayerNormV4WelfordBase<T, U, M, TilingData>,原 LayerNormV4RegbaseWelford 仅保留完整行执行流程,并新增 LayerNormV4RegbaseSplitR 独立管理行/段映射、partial 统计交换、全核同步与固定顺序合并。Host 侧新增 LayerNormV4SplitRTiling 与 800 系列 tiling key、独立 tiling 数据结构以及 workspace 申请,其余场景仍走原有模板。

主要改动

  • 新增独立 Kernel 类 LayerNormV4RegbaseSplitR:在 layer_norm_v4_split_r.h 中按 splitR 划分行/连续片段,各核计算局部 Welford 统计后将 (count, mean, M2) 写入 workspace,经 SyncAll 与固定的从左到右合并得到全局统计,再由各核归一化自己的 y 片段;仅 split_ == 0 负责输出 mean/rstd。
  • 提取公共基类 LayerNormV4WelfordBase:新增 layer_norm_v4_welford_base.h,集中承载队列/缓冲区初始化、WelfordInitialize、ProcessWelfordUpdate、ProcessNormalize、ResetCache/RefreshCache 等逻辑;layer_norm_v4_welford.h 由此大幅瘦身,仅保留行循环调度,构造函数仍为原三参数调用形式。
  • 新增 SplitR Tiling 准入与资源管理:LayerNormV4SplitRTiling 在 IsCapable 中限定 DAV_3510、确定性等级 0、R ≥ 65536、A ≤ 核数/4 且 splitR ≥ 2(每行最多 16 核),DoLibApiTiling 为 partial 队列预留 UB,PostTiling 按 colSize * splitR 设置 BlockDim、申请 workspace 并切换到调度模式 1。
  • 新增 tiling 数据结构与 key 映射:layer_norm_v4_tiling.h 中定义 LayerNormV4TilingDataSplitR(在原 Welford 字段上增加 splitR),并注册 800/810/811/820/822 五个模板 key;layer_norm_v4_apt.h 增加对应宏与 RegbaseSplitRImpl 模板分发入口,含 workspace 空指针检查。
  • 补充 Host/Kernel UT:test_layer_norm_v4_tiling.cpp 新增形状边界用例,校验 SplitR 命中(tiling key 810、BlockDim 大于 A 且为其整数倍)与退化回退;layer_norm_v4_regbase_tiling.h 增加 LayerNormV4TilingDataSplitR 结构及 InitTilingData 适配。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
22 days ago Comments:

代码审查

审查结论

  • [建议] norm/layer_norm_v4/op_host/layer_norm_v4_split_r_tiling.cpp:53 fix: SplitR 新增队列的 UB 预留未参与 tileLength 选择,可能超出 UB 预算
  • [建议] norm/layer_norm_v4/tests/ut/op_host/test_layer_norm_v4_tiling.cpp:2130 fix: 新增 SplitR Host UT 未设置 NpuArch=3510,准入分支无法命中
  • [建议] norm/layer_norm_v4/op_kernel/arch35/layer_norm_v4_welford_base.h:134 fix: 刷新缓存尾块读取偏移用 VL_MEAN,与实际按 VL_F32 打包的 UB 布局不一致
类型 数量
🔴 阻塞 0
🟡 建议 3

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
22 days ago Added label: cann-cla/yes
179 messages are collapsed here。 See more
qianzehong
qianzehongCollaborators
13 days ago Comments:

/lgtm
/approve

likedislike
CANN-robot
CANN-robotCollaborators
13 days ago Comments:

The following users do not have permission to comment /lgtm or /approve on any module in this PR:
/approve: 陈娇

likedislike
CANN-robotCANN-robotCollaborators
13 days ago Added label: lgtm
CANN-robotCANN-robotCollaborators
13 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
13 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike