Merged
fix/apply-came-part1-narrow-reduction #13736
fix/apply-came-part1-narrow-reduction #13736
Merged
zsq_888Add on 16 days ago
zsq_888
zsq_888Collaborators
16 days ago

描述

修复 ApplyCamePart1 在长归约、窄列输入及直接归约场景下的精度问题,并根据 UB 容量和各阶段同时存活的 buffer 规划 UB 空间。

主要改动:

  • 根据数据类型、核数和 UB 总容量,计算各阶段的 buffer 需求,选择可用的 tile 大小;复用不同时存活阶段的 UB 空间。
  • 在直接归约结果写回前合并补偿项,避免丢失低位结果。
  • 对长归约、窄列场景使用分块补偿累加,减少多次 FP32 累加带来的舍入误差。
  • 将 CPU golden 的计算和归约调整为 FP64,作为高精度参考。

关联的Issue

关联 Issue #8291:https://gitcode.com/cann/ops-nn/issues/8291
关联 Issue #8545(修复归档):https://gitcode.com/cann/ops-nn/issues/8545

测试

  • 完成算子包编译、安装,在 Ascend950 上验证。
  • GEIR 图模式下, 三方精度对比通过,三个输出均为 PASS。

文档更新

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for zsq_888's contribution.)
zsq_888zsq_888Collaborators
16 days ago Created pull request, commit 822a1d0d
atomgit-bot
atomgit-bot
16 days ago Comments:

变更摘要

本 PR 针对 optim/apply_came_part1 算子的后处理阶段,在“单次处理行数为 64、且总列数超过 512”的窄列场景下引入专用的归约路径,并新增 FP64 黄金参考实现用于精度校验。核心是在 ApplyCamePart1Post 中新增 ReduceNarrowC 方法:按行分块搬运 C 方向的 workspace 数据,在本地内存中完成补偿求和并最终一次性写出结果,替代原先逐块原子累加的方式。

主要改动

  • 新增窄列归约方法: 在 ApplyCamePart1Post 中声明并实现 ReduceNarrowC(gmOffsets, outputCount, rowCount),以 width = 64、rowsPerChunk = 256 为固定分块参数,从 inputBuf_ 中划分 input、high、low 三块本地张量分别承载分块输入与高低位累加值。
  • 分块搬运与同步时序: 循环内先 Duplicate 清零输入区,通过 SetFlag/WaitFlag 在 V_MTE2、MTE2_V、V_S、S_V 之间建立同步,随后调用 CopyWorkspaceCChunk 搬运当前行块并执行 ReduceAdd(input, rowsPerChunk, width) 完成块内行方向求和。
  • 补偿累加与单次写出: 逐列使用 CompensatedAddApplyCamePart1 将块结果累加到 high/low,循环结束后统一执行 Add(input, high, low, width) 并通过 CopyOutCReduceResult 写入 gmSumGradC_ 的 batchIdx_ * M + gmOffsets 偏移处,注释说明其目的是一次舍入更新而非每块原子更新。
  • 入口分支接入: 在 Pre_Core_Compute 开头新增条件分支,当 cal_m == ONCE_HANDLE_NUM64 且 total_n > ONCE_HANDLE_NUM512 时,按 min(M - gmOffsets, base_m) 计算输出列数并调用 ReduceNarrowC 后提前返回,跳过原有的 pre_loop_n 幂次分块流程。
  • 新增 FP64 基准与规格: 新增测试资产 golden_fp64.py,提供 apply_came_part1_golden 在 FP64 下计算 sum(square(grad) + eps) 的行、列及整体和;同时定义 _ApplyCamePart1Compose 作为第三方 torch 交叉校验实现,并在 ApplyCamePart1KernelSpec 中为 float16、bfloat16、float32 配置 cross_check、L1 容差,另注明本算子无 aclnn/e2e 通路。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
16 days ago Comments:

代码审查

审查结论

逐文件复核情况

  1. optim/apply_came_part1/op_kernel/arch35/apply_came_part1_post.h — 已逐行复核新增的 ReduceNarrowC(412-450 行)与 Pre_Core_Compute 的新前置分支(456-460 行):

    • 缓冲区取址与边界正确(inputBuf_ 为 512×64 float;high/low 落在槽位 256/257,[0,16384) 的清零区间与两者不重叠;CopyWorkspaceCChunk 的最大写入下标 16384 未越界);
    • 流水同步链自洽(V→MTE2 保护 WAR、MTE2→V、V→S、S→V 逐级配平,末次 Add 与 CopyOutCReduceResult 前均有覆盖);
    • 尾块靠整块清零 + 固定 256 行归约保证正确,CompensatedAddApplyCamePart1 实参顺序与签名一致(左=累加器,右=input,右低位 0);
    • outputCount/total_n 的 64 位推导与 Init 中 workspace 分区(rcPartialCount/cOffsets)一致,未发现新的收窄或越界。
    • 仅发现 1 条性能冗余(P3)与 1 条该分支无任何用例覆盖(P2)。
  2. optim/apply_came_part1/tests/assets/golden_fp64.py — 已逐行复核:FP64 分支数值语义与 kernel 一致(square+eps,dim -1/-2/(-2,-1)),bf16 位重解释路径正确,无宽泛 except / 可变默认参数 / 安全风险;发现死代码 _compute(P3)与 __spec__ 键重复的待核实项(P3)。

发现统计

  • P0:0
  • P1:0
  • P2:1(新增窄归约分支 ReduceNarrowC 无任何 ST/UT 用例可进入,属未受检的关键数值路径)
  • P3:3(每轮满块冗余清零的性能开销;golden_fp64.py 的 _compute 死代码;__spec__ 键与 golden.py 重复的注册冲突风险)

整体风险判断

内核改动的核心逻辑(槽位布局、尾块补零、同步链、单次原子回写)经复核在语义与边界上是自洽的,未发现确定性的正确性缺陷;主要风险在于该分支零覆盖——新增的补偿归约快路径只在 M ≤ 64 且 total_n > 512 时生效,而仓内唯一 ST 用例 (65,67) 的 M=67(totalColumnTileCount_=2、cal_m=128)永远不会进入它,配合新增 FP64 参考可能未被真正加载,一旦该路径写错将表现为大 N 窄 M 场景下 sum_grad_c 的静默精度偏差。建议合入前先补一条能触发该分支的用例。总体属「逻辑可用、验证不足」的中低风险变更。

类型 数量
🔴 阻塞 0
🟡 建议 1

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
16 days ago Added label: stat/needs-squash
CANN-robotCANN-robotCollaborators
16 days ago Added label: cann-cla/yes
71 messages are collapsed here。 See more
CANN-robotCANN-robotCollaborators
15 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
15 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike
zsq_888zsq_888Collaborators
11 days ago Modify description of pull request
CANN-robotCANN-robotCollaborators
11 days ago Removed label: ci-pipeline-passed
CANN-robot
CANN-robotCollaborators
11 days ago Comments:

The following label is not ready.

ci-pipeline-passed: The ci-pipeline-passed label is expired as added over 72 hours. Please use /compile to recompile.

likedislike