Closed
[Bug-Report|缺陷反馈]: BNInference 折叠相消精度损失及通道参数重复计算 #8250
raoliang_sacAdd on  16 days agoClosed at  16 days ago
raoliang_sac
raoliang_sacCollaborators
16 days ago Create

Describe the current behavior / 问题描述

原始 BNInference_L1_tolerance_d_b_700 在 FP32 x 与 FP16 mean/variance/scale/offset 下,稳定三方精度失败:MARE 比值 10.7173(阈值 5)、RMSE 比值 2.5692(阈值 1.5)。实际中间值记录显示 sqrt 与 offset/scale 的部分通道各有 1 ULP 偏差,相消放大最终误差。

原始 BNInference_L1_accuracy_perf_d_b_017(外部 Issue https://gitcode.com/wangyueting/changwei_yangjinwen/issues/42)NCDHW、shape (37154,4,4,4,10),offset-only,generic 路径重复加载和计算通道参数。当前版本实测 NPU 2131.466 μs、GPU 128 μs;按本次机器 NPU 1.6T/GPU 1.55T 归一化为 0.05818,低于 0.1。共享 GPU 重复计时有波动,所有记录保留;不使用旧交付的 1.444 系数。

Environment Information / 环境信息

  • Ascend950PR_9579,CANN 9.3.0 C25B114,任务内独立 Master/Revise 环境。
  • 初始定位使用 ops-test-kit 8f50c96868d36d11f413f4acaa369ed03280fe2a;当前定向验收已更新至 1ae0fedcc0f727ccfdddca1195060b87301edf6d,所有执行 --pc=1。
  • 真实远端 A100-PCIE-40GB;Python 3.12.9;原始 golden 未修改。
  • 修复基于当前 master 算子实现;合入前会按最终 PR commit 记录本地 CI 和全量回归。

Steps to reproduce the issue / 重现步骤

  • 使用冻结第三轮 CSV 的 BNInference_L1_tolerance_d_b_700,kernel 模式、--compare cross_check --golden-mode Promote --seed 42 --pc=1;原始输入形状 (33,94,10,79),NHWC。
  • 使用外部 Issue #42 的原始 017 CSV,GEIR --pc=1 --xpu-perf,5 次运行并排除首轮、取其余中位数;采用相同种子及设备配置。
  • PR 内 17 元素的固定相消 ST 提供小规模回归;完整大形状数据不加入流水线 CSV。

Describe the expected behavior / 预期结果

原始容差下三方精度通过,保留超大及特殊输入语义;性能 (GPU_us/NPU_us)×(GPU带宽/NPU带宽) >=0.1。

最小只改除法的实测仍失败:MARE 5.3585、RMSE 2.5692。增加有范围保护的精确开方后原始 700 PASS:MARE 0.003809、RMSE 1.0。

通道优先布局的 generic 路径改为同一通道跨 batch 连续处理,复用既有参数缓存。当前机器原始 017 的 GEIR NPU 耗时由 2131.466 μs 降至 666.732 μs;本轮 GPU 226.000 μs、NPU/GPU 带宽 1.6/1.55 TB/s,归一化性能比为 (226.000/666.732)×(1.55/1.6)=0.328374,高于 0.1。这是 cannlab A100 实测,未在外部 Issue 的 L20 机器上复跑。

最终提交 92930385e953f737c43c95a2dc49991db453cc99 的 950 正式包已重新验证:43 条 ST 和原始 700 两方/真实 GPU 三方均 PASS;017 的 NPU 665.384 μs、GPU 156 μs,按 1.55/1.6 带宽归一化为 0.227124,超过 0.1。相同提交的本地 CI(950/A2 包及 kernel UT、前置检查)全部通过。996 条原始测例的最终代码全量回归正在进行,不沿用旧版本结果,尚不声明完整通过。

关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13781

当前修复及最终包验证

BNInference 的 FP32 输入与 FP16 统计量组合在折叠系数相消时会放大 sqrt 和 offset/scale 的舍入误差,原始 700 三方精度失败。本次对安全范围内的开方及折叠除法采用已有的 0 ULP 配置,保留完整数值范围的回退路径。

原始性能 022 的 NCDHW shape 为 (4, 424138, 2, 2, 2),通道优先 generic 路径产生大量仅 8 元素的搬运。本次在空间维不超过 256 的 generic 路径中合并相邻通道和多个 batch,按 UB 预算选择分组,复用系数和索引。参数计算次序和精度标准保持不变;通道尾块、batch 尾块和大空间维回退均有覆盖。

  • 最终受测提交 1c6e1b0697acc8f6d8f96790c64fd2e9cae8fd9f,基于主仓 master 46ff6fdb827968cede75ef3570a7fc7edbd27c4a,PR 为单提交;squash 前后完整 diff 与 tree 一致,rebase 后另行核对。
  • TTK 1ae0fedcc0f727ccfdddca1195060b87301edf6d,CANN 9.3.0 C25B114,Ascend950PR_9579,GPU A100;TTK 全部 --pc=1。
  • 本地 CI:pre-commit、OAT、Check_Example、950/A2 定向构建和相关 UT 通过;不等同于线上 CI 结论。
  • 同一提交的线上 CI已获平台 ci-pipeline-passed 标记。
  • 本地 CI 原始 950 安装包部署核对通过,55 个预编译 binary;44 条紧凑 ST 和原始 700 两方/真实 GPU 三方全部 PASS、BINARY_MATCH。外部精度 Issue #39 的原始 145、187、292 已在本轮最终代码全量回归中两方/真实 GPU 三方全部通过,原始形状和精度要求不变。
  • 逻辑一致的候选修复已复测外部性能问题中的全部 26 个场景,精度、确定性及当前机器的带宽折算指标全部通过;提交前仅经 clang-format 排版,代码 token 一致性已核对。最终 CI 包重新验证 022、017 和本轮余量最小的场景,均完整采集 5 轮、剔除首轮取 4 轮中位数。
  • BNInference_L1_accuracy_perf_d_b_022:NPU 63.290 μs,GPU 362.000 μs,(362.000/63.290)×(1.55/1.6)=5.540962 ≥ 0.1。
  • BNInference_L1_accuracy_perf_d_b_017:NPU 66.058 μs,GPU 129.000 μs,(129.000/66.058)×(1.55/1.6)=1.891803 ≥ 0.1。
  • BNInference_L1_tolerance_d_b_169:NPU 1934.532 μs,GPU 475.000 μs,(475.000/1934.532)×(1.55/1.6)=0.237864 ≥ 0.1。
  • 性能数据来自当前 cannlab 机器,NPU/GPU 带宽使用 1.6/1.55 TB/s;没有宣称在外部 L20 机器上复跑。
  • 截至 2026-11-06T11:06:36,最终代码的原始 996 条回归 epoch full_v8_20261106_cf_grouped:两方 PASS 951/958,真实 GPU 三方 PASS 951/958,负向已有结果 38/38;当前状态 EXECUTION_FINISHED_USER_SCOPE。资源受限和负向预期问题单独保留,未计为精度通过,未复用旧版本的 PASS。尚未声明全部 996 条通过。负向逐条审计:35 条在 GE 的类型、格式、维数或必需输入检查中被拒绝;2 条在 TTK 输入大小检查时被拒绝,未进入算子;1 条原“维度上溢”负向用例实际不违反形状约束,其接受结果不计为精度 PASS。原测例的 ACL 错误码预期不能直接用 GE 拒绝代替。最新负向证据已补充到原跟踪 Issue #8097,该 Issue 原本已关闭,本次保留其关闭状态;测例预期问题仍在本报告中明确保留。已实际执行的 951 条正向两方、三方均已完成且通过,精度失败 0 条。另外 6 条超大原始正向用例未执行:内存准入估计超过当前 32 GiB 主机容器上限,不是精度失败,也没有按通过统计;估计值不是实测最小内存需求。用户最新明确要求不再执行最后一条 BNInference_L1_tolerance_d_b_744;调度器已在该例尚未启动时退出,记为 NOT_RUN_USER_REQUEST。合计 7 条正向未执行,不计为 PASS;按调整后的用户要求完成收尾。TTK 统计核对:同一候选代码 017 的旧/新 TTK 为 664.642/666.732 μs(约 +0.31%);原始主线 0761 在最新 TTK 复跑为 2030.492 μs,旧 TTK 为 2131.466/2028.748 μs,8 份输入、CPU、NPU、GPU 文件哈希均一致,全部完整 5 轮、剔首轮统计 4 轮,无缺轮警告。旧版本基线的性能问题仍存在;本次算子优化后的提升不是缺轮统计造成的假象。

关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13781

likedislike
raoliang_sacraoliang_sacCollaborators
16 days ago Added label: bug-report
yuning_chenyuning_chenCollaborators
16 days ago Assign raoliang_sac as responsible person
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
16 days ago Close issue
CANN-robotCANN-robotCollaborators
16 days ago Added label: resolved