Closed
[Bug-Report|缺陷反馈]: INTrainingUpdateV2方差减法残差丢失导致三方精度失败 #8236
raoliang_sacAdd on 16 days agoClosed at 16 days ago
16 days ago Added label: bug-report
16 days ago Assign raoliang_sac as responsible person
16 days ago Modify description of issue
16 days ago Close issue
16 days ago Added label: resolved
Describe the current behavior / 问题描述
INTrainingUpdateV2 第四轮原始测例集全量回归发现一个新的 FP32 精度问题:
INTrainingUpdateV2_L1_rangebound_highpre_470的第三个输出 batch_variance 在真实 NPU/FP64 Golden/GPU 三方比较中失败。RMSE 比值 1.607104908988671,大于 cross_check L1 上限 1.5;同次 y 和 batch_mean 通过。当前主线已包含此前 147/483 的修复,本问题仍能稳定复现。固定原始输入重复三次,NPU 三个输出逐位稳定;GPU 正常返回,NPU 均为 Release BINARY_MATCH。去掉运行 mean/variance 或将 momentum 改成 1 后,未经运行统计混合的方差输出仍失败,首个已定位的偏差阶段为基础方差。
Environment Information / 环境信息
2bec4eb813a6f33cbd6663d216a30fe8383f4df2新建修复分支。此前受测122f84f5c35c612f7bb98f44c46665bda45c1d9d的完整算子目录与该主线一致。ad177f0b9c7b336c3e0ce6778721489df08b5f36,kernel,Release binary,seed 42,--pc=1。norm/in_training_update_v2/tests/assets/golden.py,SHA256fc689d904f86b3e79f3ecdb96949dabd13540d7daa8c2ce4fd9f417ff48b11fe;Promote FP64,cross_check L1(mare 5、mere 1.5、RMSE 1.5)。Steps to reproduce the issue / 重现步骤
INTrainingUpdateV2_L1_rangebound_highpre_470,沿用上述 TTK、仓内 Golden 和 seed 42。正式复现已冻结实际输入,并通过 manual_input_binaries 连续执行三次,输入 SHA256 全部一致。(2,2,33,6335),sum、square_sum、mean、variance 均为 FP32/NCHW(2,2,1,1);gamma 单独存在(6,4,1,1),beta=None,因此没有完整 affine 对;R=209055。momentum 原字段-0.4682235522992304(接口 FP32 值-0.46822354197502136),epsilon 默认 1e-5。ttk kernel ... --pc=1 --seed 42 --golden-mode Promote --compare cross_check --dump=in,out,golden,xpu --dump-format npy,连接实际 GPU。与原始 CSV 对应的 binary/source、全部输入和输出均需核对,不使用--no-prof代替上板。Describe the expected behavior / 预期结果
保持接口、Golden 和原三方判据,原失败输入及相关回归通过。方差补偿应同时保留乘法与减法产生的残差,不应在 Bessel 校正前遗漏已经舍入掉的部分。
Related log / screenshot / 日志与结果
定位到
op_kernel/arch35/in_training_update_v2_common.h的ComputeBaseStats:两个乘法已恢复低位,但随后高位相减时丢失减法舍入误差。按原指令顺序建立的 FP32 数值模型与上述 NPU 基础方差四个值逐位一致;补入遗漏残差后,模型得到 FP64 Golden 的最近 FP32 值,且真实修复包验证一致。修复后定向 11 条真实三方全部 PASS/BINARY_MATCH,包含原输入三次重复、两条阶段对照、四条小输入、147/483 原始输入。470 的 batch_variance 与本次 GPU 四个值逐位一致;未修改 Golden、容差或 TTK 源码。完整 707 条回归与本地 CI 尚待完成,后续补充。
Special notes / 备注
本轮原始记录、固定输入来源与 SHA256、前后对照、运行命令、构建部署证据统一保存在
/workspace/changwei-quentions/changwei-测试用例测试第四轮/9月/INTrainingUpdateV2,其中failure470_stability_and_stage.json、failure470_subtraction_residual_model.json、failure470_fixed_numeric_proof.json和fix_targeted/为核心证据。关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13756
2026-11-06 本地 CI 补充
受测提交
d67f536e39aaa26ac0be0063bdcf2114ef241bb0,主线基线886bfe76783c116ce7aea99db7abbd17d01bb292。按指定本地 CI 入口以 JOBS=1 执行,Ascend 950 和 A2 的定向构建、CPU UT 及 Graph ASan 门禁全部通过。修复文件与此前数值验证版本字节一致。本次未使用本地 NPU;707 条全量回归仍按用户指示暂停,未宣称全量上板通过。