Closed
[Bug-Report|缺陷反馈]: BN3DTrainingReduce FP16 full-R 多槽合并丢失舍入低位 #8106
raoliang_sacAdd on  18 days agoClosed at  18 days ago
raoliang_sac
raoliang_sacCollaborators
18 days ago Create

问题描述

BN3DTrainingReduce FP16 NCDHW [83,6,46,34] full-R 两槽合并丢失新舍入低位。通道 0 的 sum 正确 FP32 舍入结果为 65699.1796875,旧输出为 65699.171875;三方 RMSE ratio 2.0 > 1.5。

环境信息

Ascend950PR_9579,任务内 CANN 9.3.0,Python 3.12,TTK 5bc080fe42c25b2a11654e514de10ac08771cb02。修复基点见关联 PR,受测提交 6e2e4ab33230b06f9b5306cf398aa7f63ca98055。

重现步骤

使用原测例 BN3DTrainingReduce_L1_149,输入 FP16 NCDHW [83,6,46,34]、区间 [0.01,1],两输出 FP32 [6]。TTK --pc=1 --seed 42 --golden-mode Promote --compare cross_check,使用源码 golden 与实际 GPU 对照。

预期结果

归约合并保留新产生的舍入误差,在原 L1 门槛下通过。普通 full-R 改用已有 TwoSum 后,固定输入的 kernel 3 次与 GEIR 1 次均通过。

日志与验证

原报告 588 条全部纳入本次计划,取得新的 TTK 结果 586/588。

  • 正向两方 mixed:实际执行 562 条,562 条通过。
  • 正向三方 cross_check L1:实际执行 562 条,562 条通过;两组为同一批正向用例,不累加为独立用例数。
  • 修复版本本次回归精度失败:0。按用户明确要求不测的超大内存用例:2,为 BN3DTrainingReduce_L1_upboundary_highpre_078, BN3DTrainingReduce_L1_upboundary_highpre_094;不计为通过。其他正向用例均已完成两方与三方验证。
  • 24 条反向用例:11 条非法输入被拒绝,13 条合法 GEIR 输入被接受或重新推导输出,原报错预期需修订。原备注中的精确 ACL 错误码未由 GEIR 拒绝结果证明;这 24 条单独核对,不记为精度通过。

证据目录:validation/fullr_fix_20261104_103151、validation/round3_full_20261104_103821。golden、阈值及原始测例参数未修改。

关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13622

本地CI补充:受测提交7e5d8c6a889c3098d70a687092377e61df68d718,主仓master快照1566185bf41ab3fc1c2cdda13aeff45fcbcb95f3。

  • PR原先已有1个提交,无需重复squash;已保留备份,核对整理前后完整diff和tree一致,rebase后相对主线仍为1个提交。
  • 通过指定/workspace/CI-skills/ci_local_check.sh入口,pre-commit、隔离OAT、链接、示例SKIP契约和Check_Example检查均通过。
  • 仅对bn3d_training_reduce执行定向检查,构建参数--soc=ascend950、--soc=ascend910b的package和kernelUT目标构建均通过;-j2。该算子没有独立kernelUT用例,本次不宣称执行了kernelUT数值用例。
  • 算子实现、构建文件、测例及已核对的共享依赖与此前TTK精度受测提交6e2e4ab33230b06f9b5306cf398aa7f63ca98055一致;主线仅在算子目录新增README_en.md,已单独核对,不属于本PR改动。本轮未重复执行数值回归,也未修改README/API文档或示例。
  • PR远端HEAD已核对与本地CI受测SHA一致。compile触发评论及线上流水线已确认;最终线上通过状态尚未核实。
likedislike
raoliang_sacraoliang_sacCollaborators
18 days ago Added label: bug-report
raoliang_sacraoliang_sacCollaborators
18 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
18 days ago Close issue
CANN-robotCANN-robotCollaborators
17 days ago Added label: resolved
chenjiayi_chenjiayi_Collaborators
9 days ago Assign chenjiayi_ as responsible person
CANN-robotCANN-robotCollaborators
9 days ago changed custom state from 进行中 to 已完成
chenjiayi_
chenjiayi_Collaborators
9 days ago Comments:

补充说明本问题的处理结果:

已修复并合入 master。FP16 full-R 多槽归约的槽间合并改为 TwoSum 补偿合并,保留新舍入低位。

修复内容(文件/函数):

  • norm/bn3d_training_reduce/op_kernel/arch35/bn3d_training_reduce_dense_channel.h:AccumulateRowsByPrecisionPolicy 的槽间合并使用 TwoSum,CompSlot 保存补偿项,最后统一做 hi + lo。
  • 新增 BN3DTrainingReduce_L1_149 原场景 ST 用例。

验证:

  • 原失败场景 kernel 3/3、GEIR 1/1 修复后 4/4 通过。
  • 全量 TTK 586/588;正向两方 562/562、三方 562/562;24 条边界与 16 条仓内 ST 通过。
  • 超大内存 2 例按约定单列,精度通过数按 586 统计。

说明:本次修改限于 full-R 槽间合并路径,tiling、UB 分配、golden 与阈值保持原样。

该 issue 已关闭,修复已由 PR !13622 合入 master。

MR 链接:PR#13622

likedislike
chenjiayi_chenjiayi_Collaborators
1 day ago Removed responsible person chenjiayi_