Pull Request has been successfully merged by CANN-robot.
(Thank you for rk's contribution.)变更摘要
本 PR 将 LayerNormV3 的 two-pass 性能模板复用给 LayerNorm 算子,并在该模板中引入 IsOutRstd 编译期开关,使同一套内核既能输出 rstd,也能输出方差(variance)。配套调整了 UB 空间占用估算和算子注册,并补充了对应的 host 侧 tiling 单测与 kernel 侧精度单测。
主要改动
- 模板增加
IsOutRstd参数:LayerNormV3RegbaseTwoPassPerf与RegbaseTwoPassPerfImpl新增bool IsOutRstd模板参数,layer_norm_v3_apt.h中 FLOAT/FLOAT、HALF/FLOAT、HALF/HALF、BF16/FLOAT、BF16/BF16 五个 tiling key 分支均透传该参数。 - 输出语义由 rstd 泛化为 lastout: 内核内
rstdGm_、rstdQueue_、rstdOutUb_、CopyOutMeanRstd、CastMeanRstd等统一改名为lastoutGm_、lastoutQueue_、lastoutOutUb_、CopyOutMeanLastout、CastMeanLastout,最后一个输出根据IsOutRstd承载 rstd 或方差。 - 新增独立 rstd 缓冲: 当
IsOutRstd == false时额外InitBuffer出rstdBuf_,CalculateRstdVF改为接收varianceUb输入与rstdOutUb输出两个地址,先用方差缓冲区计算 rstd 再写入独立缓冲,从而把原始方差保留在lastout输出中。 - tiling 容量判断与算子注册调整:
CanFitInBuffer将输出缓冲按字节计算(sizeof(float)),并在commonParams.isV1时额外计入一份curAAlign * sizeof(float);同时新增REGISTER_OPS_TILING_TEMPLATE(LayerNorm, LayerNormV3RegBaseTwoPassPerfTiling, 150),使LayerNorm复用该 tiling 模板。 - 测试覆盖更新: host 侧 UT 用例更名为
layer_norm_tiling_regbase_two_pass_perf并校验 tiling key 为 500;kernel 侧 UT 新增RunTwoPassPerf内核入口与CheckPerfOutputs校验函数,针对多组columns分别验证方差模式与 rstd 模式下 mean、lastout 和 y 的计算结果。
🧩 本次 Review 已使用自定义 Skill:


代码审查
检视结论
按文件的检视结果
| 文件 | 结论 |
|---|---|
norm/layer_norm/tests/ut/op_host/arch35/test_layer_norm_tiling.cpp |
无问题。用例重命名与 ASSERT_EQ(tiling_key, 500) 已核对:LayerNormV3TilingKey::LAYER_NORM_REGBASE_TWO_PASS_PERF_FLOAT32_FLOAT32 = 500,且 perf 模板优先级 150 高于 two_pass 200、IsCapable() 对该 [64,4096]/float 形状成立,断言值正确。 |
norm/layer_norm/tests/ut/op_kernel/test_layer_norm_apt.cpp |
2 个问题(见下),均为测试侧。 |
norm/layer_norm_v3/op_host/arch35/layer_norm_v3_regbase_two_pass_perf_tiling.cpp |
无问题。outputBufferSize 用字节数与 ubCanUseSize 单位一致,且与 kernel 侧 meanQueue_/lastoutQueue_(2×DOUBLE_BUFFER)及 V1 额外 rstdBuf_ 一一对应(isV1 = (opType == "LayerNorm") 与 kernel IsOutRstd=false 语义一致);REGISTER_OPS_TILING_TEMPLATE(LayerNorm, ...) 与 welford/two_pass/no_reduce 等文件的双注册惯例一致。 |
norm/layer_norm_v3/op_kernel/arch35/layer_norm_v3_two_pass_perf.h |
无问题。!IsOutRstd 时方差保留在 lastoutOutUb_、rstd 改写入 rstdBuf_,CalculateNormalizeVF 使用 rstd,CalculateRstdVF(variance, rstd) 实参顺序正确;rstdGm_/rstdQueue_/rstdOutUb_/CastMeanRstd/CopyOutMeanRstd 的重命名在文件内无残留旧名。 |
norm/layer_norm_v3/op_kernel/layer_norm_v3_apt.h |
无问题。RegbaseTwoPassPerfImpl 新增 IsOutRstd 模板参数后,500/510/511/520/522 五个调用点全部同步更新,无遗漏调用。 |
问题计数
- P0:0
- P1:0
- P2:1(新增 UT 的 block 数与同文件既有
(blockNum+1)/2换算约定不一致,可能导致 tailA 为负、越界 DataCopy 或行未处理而断言失败) - P3:1(新增 UT 未覆盖
!IsOutRstd与M != float、nullptrGamma/nullptrBeta的组合)
总体风险判断
生产代码(host tiling + device kernel)的改动在语义与 UB 资源核算上是自洽且正确的:IsOutRstd 参数化把 LayerNormV1「第三输出为方差」的语义补齐,tiling 侧同步为 V1 额外申请了 rstd 临时 buffer,注册项与仓库既有双注册惯例一致。整体风险较低,剩余风险集中在新增 kernel UT 的启动 block 数假设与覆盖度上,建议在合并前确认 simulator 下 GetBlockNum() 与 ICPU_RUN_KF blockDim 的换算关系。
| 类型 | 数量 |
|---|---|
| 🔴 阻塞 | 0 |
| 🟡 建议 | 1 |
💬 仅评论
🧩 本次 Review 已使用自定义 Skill:


Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.
PR Approval Progress
✅ Congratulations! All modules have met the lgtm and approve requirements.
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| norm | ✅ 陈展熹, 钱泽洪 (2/2) | ✅ 陈展熹, 钱泽洪 (2/1) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
CLA Signature Pass
wangpengbo26, thanks for your pull request. All authors of the commits have signed the CLA. 👍


🟡 Medium Priority
变更行(新增 CheckPerfOutputs,第 306-307 行):AscendC::SetKernelMode(KernelMode::AIV_MODE); ICPU_RUN_KF(RunTwoPassPerf<IsOutRstd>, 2, ...),即按“blockDim=2 就是 2 个核”的假设启动。
受影响行为/契约:同一个文件里既有的 ExcuteTestCase 在完全相同的 AIV_MODE 下调用 ICPU_RUN_KF 时,并不直接使用 tiling 里的 blockNum,而是先做 uint32_t realBlockNum = (blockNum + 1) / 2;(第 79、94-95 行)再传。新增代码没有沿用这一换算。与此同时,新增代码上方构造的 tiling 是按“共 2 个 block”算出来的:a = ROWS = 5、aBlockFactor = 3、formerBlockUbLoops = ceil(3/ubRows)、tailBlockUbLoops = ceil(2/ubRows),且 aUbFactor 只有 1~2 行。
失败模式(取决于 sim 中 GetBlockNum() 与 ICPU_RUN_KF blockDim 的换算关系,同文件既有代码暗示二者不等):
- 若
GetBlockNum() > 2(例如按 2×blockDim 解释得到 4),kernel 的最后一块执行tailA = tl_->a - aBlockFactor*(blockNum-1) - (tailBlockUbLoops-1)*aUbFactor = 5 - 3*3 = -4,currentA变为 -4,CopyInX中copyInParams.blockCount = currentANum(负值转 uint32 后约 0xFFFFFFFC)→ DataCopyPad 越界读,同时 3、4 两行永远不会被写,EXPECT_NEAR(outputMean[3..4], ...)直接失败。 - 若
GetBlockNum() == 1,block0 走 tail 分支得到currentA = tailA = 5,而elemNum_ = aUbFactor * rAlign(最多 2 行)以及 mean/lastout 队列只有aUbFactorAlignB32(8 个 float)容量 → 越界读写 UB,断言失败。
建议:统一 block 数换算:参考同文件 ExcuteTestCase 的 realBlockNum 计算方式传入,或在启动前用 ASSERT 校验 GetBlockNum() 与构造 tiling 时假设的 block 数(本处为 2)一致;同时把该常量(2)与 ROWS_PER_CORE 等一起提为具名常量,避免 tiling 假设与启动核数脱节。


compile


| 🚀 CI 流水线已启动 |
|---|
| 📋 执行详情: 点击查看流水线 |


您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@liujie12345678 @fanqirui @wangrui_ @wang-xing001 @Chen_HaoWen @yourealize @zhajianqing123 @su-yueming @u010470851 @pingchuantang


/lgtm
/approve


/lgtm
/approve


Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


[Major] 这个 UB 预算修正同时改了 LayerNormV3 的 aUbFactor,建议补 V3 的回归数据:kernel 里 meanQueue_/lastoutQueue_ 都是 DOUBLE_BUFFER * aUbFactorAlignB32 * sizeof(float),实际 16B/元素,而原式 LNV3_NUM_TWO * LNV3_DOUBLE_BUFFER * curAAlign 只扣了 4B/元素(少算 12B)。乘上 sizeof(float) 后是对的,但 V3 走的是同一份 CanFitInBuffer,它的 aUbFactor 也会跟着变小、UB loop 变多。PR 描述写"未提供性能数据",建议补 V3(大 A / 大 rowAlign 场景)的精度与性能对比,确认这次修正没有把 V3 拖慢。


描述
为 LayerNorm(V1)接入 LayerNormV3 已有的二趟高性能(two-pass perf)tiling/kernel 模板,使 V1 在满足条件的 shape 上复用同一套寄存器级实现;并通过模板参数区分 V1/V3 第三个输出的语义(V1 输出 variance,V3 输出 rstd),保证共用 kernel 时结果正确。
改动原因
REGISTER_OPS_TILING_TEMPLATE(LayerNormV3, ..., 150))。LayerNorm(V1)在同 shape 下只能命中 two-pass 模板(priority 200)等路径,未复用该高性能实现。改动方法
LayerNormV3RegbaseTwoPassPerf与RegbaseTwoPassPerfImpl新增bool IsOutRstd模板参数;layer_norm_impl将该参数透传到五个 two-pass perf tiling key 分支(V3 传true、V1 传false)。lastout,新增rstdBuf_存放 rstd;CalculateRstdVF增加 variance 入参,改为ComputeRstdNewtonRaphson(variance, rstd)非原地计算;y 归一化使用 rstd,第三输出写 variance;rstdGm_/rstdQueue_/rstdOutUb_更名为lastout*,CopyOutMeanRstd/CastMeanRstd更名为CopyOutMeanLastout/CastMeanLastout。REGISTER_OPS_TILING_TEMPLATE(LayerNorm, LayerNormV3RegBaseTwoPassPerfTiling, 150);CanFitInBuffer在commonParams.isV1时额外扣除curAAlign * sizeof(float)的 rstd 缓冲区,避免 UB 超限。layer_norm_tiling_regbase_two_pass_perf,并启用 tiling key 断言((64,4096) FP32 → key 500)。涉及文件(4 个,+53 -40):
norm/layer_norm/tests/ut/op_host/arch35/test_layer_norm_tiling.cpp(+2 -2)norm/layer_norm_v3/op_host/arch35/layer_norm_v3_regbase_two_pass_perf_tiling.cpp(+6 -2)norm/layer_norm_v3/op_kernel/arch35/layer_norm_v3_two_pass_perf.h(+36 -27)norm/layer_norm_v3/op_kernel/layer_norm_v3_apt.h(+9 -9)关联的Issue
测试
layer_norm_tiling_regbase_two_pass_perf覆盖 (64,4096) FP32,校验命中 two-pass perf 模板(tiling key=500)。文档更新
不涉及
类型标签
AI/Agent生成声明