Pull Request has been successfully merged by CANN-robot.
(Thank you for rk's contribution.)变更摘要
本 PR 围绕 LayerNorm 系列算子的一致性修复展开:一方面调整 add_layer_norm 在 arch35 上的 tiling 每循环行数计算与空张量兜底 kernel 的输出填充规则(mean 填 0、rstd 填 NaN),另一方面重写/新增 add_layer_norm、inplace_add_layer_norm、layer_norm、layer_norm_v3 的 golden 参考实现与三方对照(Torch)规格,使精度比对口径与空归一化维度的语义统一。
主要改动
add_layer_norm空张量语义调整:arch35兜底 kernel 由原来对mean/rstd都填 NaN,改为在同一个输出 buffer 中分两段填充——前段Duplicate为0.0f写入mean,后段QuietNaN写入rstd;TQue由outNanQueue_更名为outQueue_,容量扩大为2 * rowsPerLoop_ * sizeof(float)。add_layer_normtiling 每循环元素数计算:DoOpTiling()中perLoopMax改为按ubSize_ / (OUTPUT_NUM * sizeof(float))计算,并在rowsPerLoop_小于 1 时回落为elemsPerBlock而不是rowsPerCore_,使切分粒度与多输出 buffer 占用匹配。add_layer_normgolden 重写:add_layer_norm_golden改为基于gamma.ndim推导normalized_shape与stat_shape,用itemsize判定是否升精度累积,新增0 in normalized_shape时mean=0、rstd=NaN、y为空的处理;x_out在additional_output关闭时返回None;新增AddLayerNormTorchThirdParty与AddLayerNormTestSpec,并通过__spec__注册。inplace_add_layer_normgolden 对齐: 空归一化维度场景下mean_out由填 NaN 改为np.zeros(..., dtype=np.float32);additional_output关闭时返回值补齐为四元组并以None占位。- 新增
layer_norm与layer_norm_v3golden: 两个新增文件均提供_check_axes_and_params校验begin_norm_axis/begin_params_axis范围及gamma/beta形状,主算法以 FP64 计算mean、variance、rstd与y并按gamma.dtype输出统计量,同时提供 Torch 三方对照类和对应LayerNormTestSpec/LayerNormV3TestSpec规格注册。
🧩 本次 Review 已使用自定义 Skill:


代码审查
审查总结
发现统计
| 优先级 | 数量 | 说明 |
|---|---|---|
| P0 | 0 | — |
| P1 | 0 | — |
| P2 | 2 | 空归一化维参考语义(golden vs 三方对照)不一致,可能导致 cross_check 误判 |
| P3 | 3 | 三方对照 x 槽语义分歧、UB 预算常量耦合、reduce-empty 路径缺测试 |
逐文件核查结论
norm/add_layer_norm/op_host/add_layer_norm_tiling_arch35.cpp:已检视。hunk 只有 863/867 两行;ubSize_/(OUTPUT_NUM*sizeof(float))与 kernel 的2*rowsPerLoop_*sizeof(float)在当前 OUTPUT_NUM=2 下恰好匹配(无现实 UB 溢出),rowsPerLoop_=elemsPerBlock兜底可保证第二段 Duplicate 的 32B 对齐,且rowsPerLoop_>rowsPerCore_时 kernel 侧loopCount_=1/tailLen_=rowsThisCore_仍自洽——功能正确,仅报 1 条 P3 常量耦合。norm/add_layer_norm/op_kernel/arch35/add_layer_norm_regbase_reduce_empty.h:已检视。两段填充与outLocal[rowsPerLoop_]取值、GM 偏移、buffer 尺寸均一致;mean=0/rstd=NaN与两份 golden 一致;outNanQueue_→outQueue_改名无残留引用。仅报 1 条 P3(缺单测)。norm/add_layer_norm/tests/assets/golden.py:已检视。wide/out_dtype、多维权重的normalized_shape、stat_shapereshape、additional_output槽位逻辑正确(相比旧版按shape[-1]归约是修正);空维分支与 kernel 语义一致,但新增的AddLayerNormTorchThirdParty未同步空维分支 → P2。norm/inplace_add_layer_norm/tests/assets/golden.py:已检视。已确认 inplace 复用add_layer_norm.h与同一 tiling(tilingKey 8200 双向注册),故 mean=0 的改动方向正确;但未同步的TorchGpuThirdParty仍是 NaN → P2;x 槽 None/x2.clone()分歧 → P3。norm/layer_norm/tests/assets/golden.py(新增):已检视,未发现需上报问题。已核对 LayerNorm 第三输出在layer_norm_def.cpp中确为Output("variance")(示例与文档亦按 variance 断言),故返回variance正确;epsilon 默认 1e-12 与 def 一致;轴/参数 shape 校验、var_mean顺序均正确。norm/layer_norm_v3/tests/assets/golden.py(新增):已检视,未发现需上报问题。v3 第三输出确为rstd(def/infershape/示例一致),epsilon 默认 1e-5 与 def 一致;nullptrGamma/Beta在 base tiling 中恒置 0,gamma/beta 实际必选,故不带默认形参不构成缺陷。
总体风险判断
C++/kernel 侧改动逻辑自洽、无越界或同步缺陷,风险低;主要风险集中在测试基准一致性——本 PR 把空归一化维的 mean 由 NaN 改为 0,golden 已同步,但两处 torch 三方对照未同步,若用例集含 0 维 shape 且走 cross_check,存在误报红测的可能。建议合入前补齐三方对照的空维分支并补一条 reduce-empty 单测。
| 类型 | 数量 |
|---|---|
| 🔴 阻塞 | 0 |
| 🟡 建议 | 2 |
💬 仅评论
🧩 本次 Review 已使用自定义 Skill:


Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.
PR Approval Progress
✅ Congratulations! All modules have met the lgtm and approve requirements.
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| norm | ✅ 陈展熹, 钱泽洪 (2/2) | ✅ 陈展熹, 钱泽洪 (2/1) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
CLA Signature Pass
wangpengbo26, thanks for your pull request. All authors of the commits have signed the CLA. 👍


compile


| 🚀 CI 流水线已启动 |
|---|
| 📋 执行详情: 点击查看流水线 |


🟡 Medium Priority
改动点:第 50 行把空归一化维的 mean_out 从 np.full(stat_shape, np.nan) 改成 np.zeros(stat_shape)(与 kernel 新的 mean=0 语义一致),但同文件未改动的 TorchGpuThirdParty.__call__(第 91-97 行)仍直接调用 torch.ops.aten.native_layer_norm,没有空维分支。
契约影响:改造前 golden 与三方对照在该路径上都是 NaN(一致);改造后 golden 给 0、三方给 NaN,两套参考互相矛盾。
失败模式:含 0 维 gamma(如 gamma=(0,))的用例在 cross_check / 三方比对模式下,kernel(mean=0) 与 third_party(mean=NaN) 判不等而误报失败;若框架以 golden 与 third_party 互检,同样报红。触发条件是测试集中存在 0 in normalized_shape 的 shape。
建议:在 TorchGpuThirdParty.call 内、调用 aten 之前加空维分支:if 0 in normalized_shape: return (torch.zeros(x1.shape, dtype=out_dtype), torch.zeros(stat_shape, dtype=torch.float32), torch.full(stat_shape, float("nan"), dtype=torch.float32), x.to(out_dtype) if additional_output else None)。


🟡 Medium Priority
改动点:本次 diff 在 add_layer_norm_golden 中新增了空张量分支(第 62-66 行:0 in normalized_shape 时 mean_out=0、rstd_out=NaN),同时新增了 AddLayerNormTorchThirdParty(第 84-118 行),但该三方实现直接调用 torch.ops.aten.native_layer_norm(第 105-111 行),没有任何空归一化维分支。
契约影响:golden(官方参考)与 third_party(cross_check 基准)对同一个空用例给出不同期望值——golden 的 mean=0,而 aten 对 R==0 的归约得到 mean=0/0=NaN;kernel 侧已同步改为 mean=0(add_layer_norm_regbase_reduce_empty.h 第 60-61 行)。
失败模式:当用例集包含 gamma.shape 含 0 的 shape(例如 x1=(A,0)、gamma=(0,))且走 cross_check 比对时,kernel 输出的 mean(0) 与 third_party 的 mean(NaN) 不一致,判定失败;或 golden 与 third_party 互检时报不一致,出现红测。注意改动前该文件没有 third_party,此不一致由本次新增代码引入。
建议:在 AddLayerNormTorchThirdParty.call 里在做 x1+x2 之后加入与 golden 相同的判断:if 0 in tuple(gamma.shape): return (torch.empty(x.shape, dtype=out_dtype), torch.zeros(stat_shape, dtype=torch.float32), torch.full(stat_shape, float("nan"), dtype=torch.float32), x.to(out_dtype) if additional_output else None),stat_shape 与 golden 一致由 x1.shape/gamma.ndim 推出。


/lgtm
/approve


/lgtm
/approve


Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


描述
补全 LayerNorm / LayerNormV3 的 golden 参考实现,并统一 AddLayerNorm / InplaceAddLayerNorm golden 在归一化维度为空及可选输出关闭时的输出语义。全部为测试参考实现(golden)变更,不涉及算子计算逻辑。
改动原因
tests/assets/golden.py,对应 Kernel/GEIR 用例无法加载参考实现;additional_output=false场景;additional_output=false时返回 3 元组,丢失可选输出槽位。改动方法
norm/layer_norm/tests/assets/golden.py(+79):__golden__与__spec__(LayerNormTestSpec);_check_axes_and_params校验begin_norm_axis/begin_params_axis范围及 gamma/beta 形状;LayerNormTorchThirdParty三方对照(低精度输入用 FP32 累积)。norm/layer_norm_v3/tests/assets/golden.py(+79):与 V1 对称,第三输出为 rstd,epsilon 默认 1e-5(与 LayerNormV3 op def 一致)。norm/add_layer_norm/tests/assets/golden.py(+75 -33):__spec__、AddLayerNormTestSpec与AddLayerNormTorchThirdParty;gamma.shape决定,统计量形状按 x 前缀维 + 1 推导,支持多维归一化;0 in normalized_shape):y 为空,mean=0,rstd=NaN(950 语义);additional_output=false时 x 输出返回 None,保留输出槽位并跳过比较。norm/inplace_add_layer_norm/tests/assets/golden.py(+3 -3):additional_output=false返回(y, mean, rstd, None),补齐可选输出槽位。涉及文件(4 个,+236 -36):
norm/add_layer_norm/tests/assets/golden.py(+75 -33)norm/inplace_add_layer_norm/tests/assets/golden.py(+3 -3)norm/layer_norm/tests/assets/golden.py(新增,+79)norm/layer_norm_v3/tests/assets/golden.py(新增,+79)关联的Issue
测试
additional_output开关场景的参考结果。third_partytorch 对照,可用于参考实现自校验。文档更新
不涉及
类型标签
AI/Agent生成声明