Closed
[Bug-Report|缺陷反馈]: INTrainingUpdateV2方差减法残差丢失导致三方精度失败 #8236
raoliang_sacAdd on  16 days agoClosed at  16 days ago
raoliang_sac
raoliang_sacCollaborators
16 days ago Create

Describe the current behavior / 问题描述

INTrainingUpdateV2 第四轮原始测例集全量回归发现一个新的 FP32 精度问题:INTrainingUpdateV2_L1_rangebound_highpre_470 的第三个输出 batch_variance 在真实 NPU/FP64 Golden/GPU 三方比较中失败。RMSE 比值 1.607104908988671,大于 cross_check L1 上限 1.5;同次 y 和 batch_mean 通过。

当前主线已包含此前 147/483 的修复,本问题仍能稳定复现。固定原始输入重复三次,NPU 三个输出逐位稳定;GPU 正常返回,NPU 均为 Release BINARY_MATCH。去掉运行 mean/variance 或将 momentum 改成 1 后,未经运行统计混合的方差输出仍失败,首个已定位的偏差阶段为基础方差。

Environment Information / 环境信息

  • 昇腾:Ascend950PR_9579,任务内两套独立 CANN 9.3。
  • 基于主线 2bec4eb813a6f33cbd6663d216a30fe8383f4df2 新建修复分支。此前受测 122f84f5c35c612f7bb98f44c46665bda45c1d9d 的完整算子目录与该主线一致。
  • TTK:ad177f0b9c7b336c3e0ce6778721489df08b5f36,kernel,Release binary,seed 42,--pc=1。
  • Golden:算子仓 norm/in_training_update_v2/tests/assets/golden.py,SHA256 fc689d904f86b3e79f3ecdb96949dabd13540d7daa8c2ce4fd9f417ff48b11fe;Promote FP64,cross_check L1(mare 5、mere 1.5、RMSE 1.5)。
  • 三方标杆:A100-PCIE-40GB,Torch 2.14.1+cu130,任务独立 Torch 进程。

Steps to reproduce the issue / 重现步骤

  1. 使用第三轮原始 INTrainingUpdateV2_L1_rangebound_highpre_470,沿用上述 TTK、仓内 Golden 和 seed 42。正式复现已冻结实际输入,并通过 manual_input_binaries 连续执行三次,输入 SHA256 全部一致。
  2. 参数:x FP32/NCHW (2,2,33,6335),sum、square_sum、mean、variance 均为 FP32/NCHW (2,2,1,1);gamma 单独存在 (6,4,1,1),beta=None,因此没有完整 affine 对;R=209055。momentum 原字段 -0.4682235522992304(接口 FP32 值 -0.46822354197502136),epsilon 默认 1e-5。
  3. 冻结统计输入如下,各数组按 N*C 顺序:
sum        = [30201.19921875, -25328.4296875, 22587.83203125, -6794.34765625]
square_sum = [702821632, 706552256, 703997504, 701617152]
mean       = [0, -0.0010000000474974513, -0.00015691338921897113, -0.0005664840573444963]
variance   = [0.125, 0.125, 0.125, 0.125]
  1. 使用当前主线预编译包执行 ttk kernel ... --pc=1 --seed 42 --golden-mode Promote --compare cross_check --dump=in,out,golden,xpu --dump-format npy,连接实际 GPU。与原始 CSV 对应的 binary/source、全部输入和输出均需核对,不使用 --no-prof 代替上板。
  2. 将 mean/variance 设为 None 或 momentum 改成 1 的阶段对照也已真实执行,基础方差偏差仍存在。

Describe the expected behavior / 预期结果

保持接口、Golden 和原三方判据,原失败输入及相关回归通过。方差补偿应同时保留乘法与减法产生的残差,不应在 Bessel 校正前遗漏已经舍入掉的部分。

原 batch_variance NPU:
[-1573.9342041015625, -1582.2926025390625, -1576.5721435546875, -1571.245849609375]
FP64 Golden:
[-1573.9341212777504, -1582.2925933086537, -1576.5720574050763, -1571.245694303955]
真实 GPU:
[-1573.93408203125, -1582.2926025390625, -1576.5721435546875, -1571.2457275390625]

去掉运行统计后的基础方差 NPU:
[3361.8935546875, 3379.744873046875, 3367.52734375, 3356.15185546875]
对应 FP64 Golden:
[3361.893429323707, 3379.744885479983, 3367.527353914937, 3356.1516698161536]
真实 GPU:
[3361.893310546875, 3379.744873046875, 3367.52734375, 3356.151611328125]

定位到 op_kernel/arch35/in_training_update_v2_common.h 的 ComputeBaseStats:两个乘法已恢复低位,但随后高位相减时丢失减法舍入误差。按原指令顺序建立的 FP32 数值模型与上述 NPU 基础方差四个值逐位一致;补入遗漏残差后,模型得到 FP64 Golden 的最近 FP32 值,且真实修复包验证一致。

修复后定向 11 条真实三方全部 PASS/BINARY_MATCH,包含原输入三次重复、两条阶段对照、四条小输入、147/483 原始输入。470 的 batch_variance 与本次 GPU 四个值逐位一致;未修改 Golden、容差或 TTK 源码。完整 707 条回归与本地 CI 尚待完成,后续补充。

Special notes / 备注

本轮原始记录、固定输入来源与 SHA256、前后对照、运行命令、构建部署证据统一保存在 /workspace/changwei-quentions/changwei-测试用例测试第四轮/9月/INTrainingUpdateV2,其中 failure470_stability_and_stage.json、failure470_subtraction_residual_model.json、failure470_fixed_numeric_proof.json 和 fix_targeted/ 为核心证据。

关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13756

2026-11-06 本地 CI 补充

受测提交 d67f536e39aaa26ac0be0063bdcf2114ef241bb0,主线基线 886bfe76783c116ce7aea99db7abbd17d01bb292。按指定本地 CI 入口以 JOBS=1 执行,Ascend 950 和 A2 的定向构建、CPU UT 及 Graph ASan 门禁全部通过。修复文件与此前数值验证版本字节一致。本次未使用本地 NPU;707 条全量回归仍按用户指示暂停,未宣称全量上板通过。

likedislike
raoliang_sacraoliang_sacCollaborators
16 days ago Added label: bug-report
yuning_chenyuning_chenCollaborators
16 days ago Assign raoliang_sac as responsible person
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
16 days ago Close issue
CANN-robotCANN-robotCollaborators
16 days ago Added label: resolved