Merged
fix(l2_normalize): 恢复普通 FP32 开方精度并补齐 FP16 边界回归 #13500
fix(l2_normalize): 恢复普通 FP32 开方精度并补齐 FP16 边界回归 #13500
Merged
raoliang_sacAdd on 18 days ago
raoliang_sac
raoliang_sacCollaborators
18 days ago

描述

承接已合入 PR #13443 的评审遗留项。主线普通 FP32 切片也走 1-ULP sqrt,改变了此前 0-ULP 开方模式。冻结空轴、eps=0 的输入后,4096 个非零有限元素有 122 个输出偏离精确的 ±1,最大绝对差 1.1920928955078125e-7;缩至 8 个元素也可复现。主线按既有统计精度标准仍为 PASS,此处不把它表述为精度验收失败。

  • 普通 FP32 首遍开方恢复 0-ULP FTZ_FALSE。真正保留的有限平方和处于 [2^-120, 2^124),位于该算法支持区间;高/低量级仍先标记再缩放重算,重算路径继续使用 1-ULP FTZ_FALSE。FP32 Div 保持原有的 1-ULP FTZ_FALSE。
  • 明确 FP16、普通 FP32 和缩放重算路径的模式说明,避免把 FP16 的 0-ULP 说明套到所有 FP32 路径。
  • 补齐 6 条仓内回归,包含 FP16 最大/次正规有限值、混合 Inf/NaN、空轴及 Group Inf/NaN,以及 8 元素普通 FP32 舍入复现。沿用同一个 CSV,28→34 条,最大元素数仍为 131074;输入约束使用 TTK 支持的 attributes 指定和广播,无任务绝对路径或额外二进制输入资产。
  • 主线 24 条特殊值补测全通过,没有复现新的 FP16 数值缺陷,因此不修改 FP16 算法。Group 的全核一致标记扫描保持原有同步设计。

关联的Issue

https://gitcode.com/cann/ops-nn/issues/8024

测试

  • 主线基线 eee087959c030e9647990199b1727102f695c99f;Ascend950PR_9579、任务内两套独立 CANN 9.3.0;定向 release 构建 -j4,安装与部署内容核对通过。
  • TTK 8f50c968,全部显式 --pc=1,独立 FP64 golden / Promote / stat_rel_err 和容差保持不变。
  • 主线 24/24 边界 PASS,三次确定性 PASS;FP32 4096 元素舍入差异 122→0,最小 8 元素差异 8→0,输入 payload 完全相同。变化只涉及普通开方模式;不声称整个算子逐 bit 对齐 FP64。
  • 最终 kernel 85/85 PASS,全部 BINARY_MATCH,三次确定性全部 PASS;GEIR 85/85 PASS,两通路 85 条输入字节一致。覆盖此前 54 条回归和两个冻结原始极值失败输入。
  • 17 条 NPU 设备计时复测均精度 PASS;沿用之前实际采集的 A100 torch.compile/Nsight 基线与历史 NO_FOLD=1,最小 G/N=0.236646,全部 >=0.1。此次未重新采集 GPU,也未重新核定物理带宽系数。
  • pre-commit、clang-format、OAT 通过。未运行本轮本地 CI;不沿用原 PR 的 CI 结果。

文档更新

无需修改公开 README/API 文档;仅修正相关代码注释,数学定义、输入域及精度验收标准保持不变。

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for raoliang_sac's contribution.)
raoliang_sacraoliang_sacCollaborators
18 days ago Created pull request, commit 14999904
atomgit-bot
atomgit-bot
18 days ago Comments:

变更摘要

本 PR 承接前置 PR 的评审遗留项,主要修正 l2_normalize 在 arch35 实现中的开方精度模式选择:让普通 FP32 首遍开方回到 0-ULP 正确舍入模式,而高/低量级标记后的缩放重算路径继续使用 1-ULP 模式,同时澄清 FP16 与 FP32 各路径的精度模式注释,避免将 FP16 的 0-ULP 说明误套到所有 FP32 路径。按 PR 描述,还补齐了仓内 6 条回归用例(含 FP16 最大/次正规有限值、混合 Inf/NaN、空轴与 Group Inf/NaN、以及 8 元素普通 FP32 舍入复现),沿用同一 CSV 使用例数由 28 增至 34,该测试数据文件在本次材料中未附带补丁。

主要改动

  • 新增普通开方 0-ULP 模式常量: 在 l2_normalize_scaling.h 中新增 NORMAL_SQRT_MODE_0ULP(MaskMergeMode::ZEROING 配合 SqrtAlgo::PRECISION_0ULP_FTZ_FALSE),并附注释说明首遍保留的有限平方和落在 [2^-120, 2^124) 区间,低于快速倒数平方根上限,故沿用原有 0-ULP 模式。
  • 首遍开方改用 0-ULP 模式: PrepareScaledNormVf 中的 Reg::Sqrt 由 SCALE_SQRT_MODE 改为 NORMAL_SQRT_MODE_0ULP,使普通 FP32 首遍开方恢复正确舍入精度,高/低量级仍先标记为重算标记。
  • 缩放重算路径保持 1-ULP: SCALE_SQRT_MODE 继续保留 PRECISION_1ULP_FTZ_FALSE,配合注释明确重算路径与普通输入精度选择相互独立,FP32 Div 仍为 1-ULP FTZ_FALSE。
  • 修正精度模式注释范围: l2_normalize_base.h 更新高精度模式说明,将 0-ULP FTZ_FALSE 明确限定为 FP16 与普通 FP32 范数,PostElewiseVfImpl 处的注释改为“仅 FP16 输入路径在 FP32 中间值上使用 0-ULP FTZ_FALSE”。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
18 days ago Comments:

代码审查

审查结论

按文件逐一确认

文件 结论
norm/l2_normalize/op_kernel/arch35/l2_normalize_base.h no issues。第 75–76、443 行仅改注释,已逐条核对:FP32 Div 实际用 SCALE_DIV_MODE(1-ULP FTZ_FALSE,第 526 行),普通 FP32/FP16 的 sqrt 确为 0-ULP;PostElewiseVfImpl 两个调用点(base.h:1174、group.h:507)都在 IsSameType<DType,float> 的 else 分支,且算子仅支持 FLOAT16/FLOAT(op_host/l2_normalize_def.cpp:37),故“FP16 input path only”表述准确。
norm/l2_normalize/op_kernel/arch35/l2_normalize_scaling.h no issues。第 38–39 行新增 NORMAL_SQRT_MODE_0ULP 与既有 SQRT_MODE_0ULP 配置完全一致(0-ULP + FTZ_FALSE + ZEROING);第 59 行切换后,保留区间的论证成立:比较在 Maxs(eps) 之后进行,>= 2^124 走 high 标记、< 2^-120 走 low 标记,故真正参与 0-ULP 开方的有限平方和落在 [2^-120, 2^124),结果 [2^-60, 2^62) 均为 fp32 正规数,低于注释所述 2^126 快速开方上限;标记 lane 的 sqrt 结果随后被 Select 覆盖,不影响标记语义;重算路径仍走 SCALE_SQRT_MODE(1-ULP),与注释一致。group 内核(l2_normalize_group.h:490)复用同一 VF,普通 FP32 首遍已同步恢复,无跨文件模式分叉。
norm/l2_normalize/tests/st/arch35/ttk_kernel_l2_normalize_st.csv 1 个问题(P2):新增 6 条用例未填 absolute_precision,导致本 PR 要锁定的 1 ULP 回归无法被检出。

发现统计:P0 0 个、P1 0 个、P2 1 个、P3 0 个。

整体风险判断:算子侧改动(1 行模式切换 + 2 处注释)范围极小、语义自洽,与 SCALE_SUM_HIGH/SCALE_SUM_LOW 的标记区间和重算路径构成闭环,未引入越界、整数/类型收窄、同步或流水线风险,也没有与兄弟路径(Div、缩放重算、group 内核)产生新的契约分叉,可以合入;唯一遗留风险在测试侧——新增回归用例的容差声明缺失,可能使 l2_fp32_identity_normal 等用例在 1-ULP 模式回归时仍判 PASS,建议补 absolute_precision 后再合入。

类型 数量
🔴 阻塞 0
🟡 建议 1

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
raoliang_sacraoliang_sacCollaborators
18 days ago Modify description of pull request
CANN-robotCANN-robotCollaborators
18 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
18 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
norm ✅ 陈展熹, 钱泽洪 (2/2) ✅ 陈展熹, 钱泽洪 (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

raoliang_sac, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robotCollaborators
18 days ago Set zengjuan,u010470851,chaotang233,kevin_huang1234,crystalhu,yangyang016,fanqirui,wangrui_,renruhai,su-yueming,zhajianqing123,yourealize,chenqi317,wang-xing001,liubo75,tangweiwei2,chenxingyu18,liujie12345678,east_yang,pingchuantang,Chen_HaoWen,qianzehong as approver
CANN-robotCANN-robotCollaborators
18 days ago Set u010470851,kevin_huang1234,wangrui_,renruhai,su-yueming,zhajianqing123,yourealize,wang-xing001,chenxingyu18,liujie12345678,east_yang,pingchuantang,Chen_HaoWen,qianzehong as approver
atomgit-bot
atomgit-bot18 days agoStart code review1
norm/l2_normalize/tests/st/arch35/ttk_kernel_l2_normalize_st.csv
@@ -30,0 +32,4 @@
32+l2_fp16_empty_nonfinite,UNKNOWN,l2_normalize,"((8,),)","('float16',)","('ND',)","((8,),)","('float16',)","('ND',)","((8,),)","('ND',)","((8,),)","('ND',)","{'axis': [], 'eps': 0.0001, 'x': [float('inf'),-float('inf'),float('nan'),0.0,-0.0,2**-24,65504.0,-65504.0]}","((-1,1),)",,,(),(),True,FP16 special values and FP32 normal sqrt precision regression,,0,,(),(),"((8,),)"
33+l2_fp32_identity_normal,UNKNOWN,l2_normalize,"((8,),)","('float32',)","('ND',)","((8,),)","('float32',)","('ND',)","((8,),)","('ND',)","((8,),)","('ND',)","{'axis': [], 'eps': 0.0, 'x': [-841.525634765625, -460.3163757324219, -0.10450954735279083, -0.003607991384342313, -817.0941162109375, -0.23848676681518555, -0.7906009554862976, 13.625178337097168]}","((-1,1),)",,,(),(),True,FP16 special values and FP32 normal sqrt precision regression,,0,,(),(),"((8,),)"
34+l2_fp16_group_inf,UNKNOWN,l2_normalize,"((65537, 2),)","('float16',)","('ND',)","((65537, 2),)","('float16',)","('ND',)","((65537, 2),)","('ND',)","((65537, 2),)","('ND',)","{'axis': [0], 'eps': 0.0, 'x': [[float('inf'),1.0]]}","((-1,1),)",,,(),(),True,FP16 special values and FP32 normal sqrt precision regression,,0,,(),(),"((65537, 2),)"
35+l2_fp16_group_nan,UNKNOWN,l2_normalize,"((65537, 2),)","('float16',)","('ND',)","((65537, 2),)","('float16',)","('ND',)","((65537, 2),)","('ND',)","((65537, 2),)","('ND',)","{'axis': [0], 'eps': 0.0, 'x': [[float('nan'),1.0]]}","((-1,1),)",,,(),(),True,FP16 special values and FP32 normal sqrt precision regression,,0,,(),(),"((65537, 2),)"
atomgit-bot
atomgit-bot18 days agoComments:

🟡 Medium Priority

改动行:CSV 第 30–35 行新增 6 条用例,第 16 列 precision_tolerances 与第 17 列 absolute_precision 全为空(,,,(),() 段),而同文件其余 33 条用例(第 2–11 行 fp16 填 1.52587890625e-5,第 12–29 行填 1e-08)均显式给出 absolute_precision。本文件所有用例的 precision_tolerances 都是空的,也就是说 absolute_precision 是这套 CSV 唯一的容差来源。

影响契约:第 33 行 l2_fp32_identity_normal(axis=[]、eps=0、8 个冻结元素)正是本 PR 用来锁定“普通 FP32 首遍 Sqrt 由 1-ULP 改回 0-ULP”的回归用例,其输出期望为精确的 ±1。

失效模式:若容差为空、由 TTK 按 dtype 默认(fp32 通常为 1e-4 量级相对误差)判定,则把 PrepareScaledNormVf 的 sqrt 模式改回 SCALE_SQRT_MODE(1-ULP)后,输出相对精确 ±1 的偏差仅 1.1920928955078125e-7(issue #8024 实测最大绝对差),仍会判 PASS——即这条“回归”用例恰恰检不出它要防的回归。反之若按同文件惯例填 absolute_precision=1e-08,1.19e-7 > 1e-8,回归会被正确捕获。同理第 30/32 行 FP16 用例(含 2^-24 次正规、65504 边界)也缺少 fp16 侧 1.52587890625e-5 的量级约束。

建议:为新增 6 条用例补第 17 列 absolute_precision:第 33 行(fp32)填 1e-08;第 30、31、32、34、35 行(fp16)填 1.52587890625e-5,与第 2–29 行既有写法一致,确保新回归门限严于 1 ULP。

likedislike
Incorrect?
raoliang_sacraoliang_sacCollaborators
18 days ago Pre merge succeeded (commit_id: 4e5582432344c2af7270fee86f5d98b197496d7a)
raoliang_sacraoliang_sacCollaborators
18 days ago Force-pushed 5 commits:52fb1243-4 commits from branch master,135f2f5f-fix(l2_normalize): restore ordinary fp32 sqrt precision
raoliang_sacraoliang_sacCollaborators
18 days ago Pre merge succeeded (commit_id: ee9ba2cc194345ffeb9715ed1b36e41e54a1251a)
CANN-robotCANN-robotCollaborators
18 days ago Removed label: cann-cla/yes
CANN-robotCANN-robotCollaborators
18 days ago Added label: cann-cla/yes
raoliang_sac
raoliang_sacCollaborators
18 days ago Comments:

compile

likedislike
raoliang_sacraoliang_sacCollaborators
18 days ago Pre merge succeeded (commit_id: 2c92cfb497df9d10db5cedf83fa635e36a690a6b)
CANN-robot
CANN-robotCollaborators
18 days ago Comments:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robotCollaborators
18 days ago Added label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
18 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
18 days ago Added label: ci-pipeline-passed
陈展熹陈展熹Collaborators
18 days ago Resolved final issue
陈展熹
陈展熹Collaborators
18 days ago Comments:

/lgtm
/approve

likedislike
CANN-robotCANN-robotCollaborators
18 days ago Added label: approved
qianzehong
qianzehongCollaborators
18 days ago Comments:

/lgtm
/approve

likedislike
CANN-robotCANN-robotCollaborators
18 days ago Added label: lgtm
CANN-robotCANN-robotCollaborators
18 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
18 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
18 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike
yuning_chen
yuning_chenCollaborators
18 days ago Comments:

您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@u010470851 @pingchuantang @yangyang016 @chaotang233 @chenxingyu18 @liujie12345678 @renruhai @Chen_HaoWen @wangrui_

likedislike