Pull Request has been successfully merged by CANN-robot.
(Thank you for zsq_888's contribution.)变更摘要
本 PR 针对 softmax_focal_loss_grad 算子在 arch35 上的长行场景做并行切分优化:当行数 a 较少而每行 chunk 数较多时,将单行计算切分到多个核上并行完成,并通过新增模板参数 splitRow 及对应 tiling key 分流非切行与切行两条路径。为支持跨核合并,kernel 新增 softmax_focal_loss_grad_parallel.h 实现分块部分和写出、SyncAll 同步与行内部分和归并,同时在 tiling 侧调整核数分配、模板键与 workspace 大小。
主要改动
- 长行多核切分判定与资源分配:
softmax_focal_loss_grad_tiling_arch35.cpp在CalUbSplit之后按coreNum_ / a计算coresPerRow,当coresPerRow > 1且chunkNum >= 2 * coresPerRow时启用splitRow,将realCoreNum调整为a * coresPerRow,并相应扩大 workspace 以容纳各行各 chunk 的部分和。 - tiling key 增加
splitRow维度:softmax_focal_loss_grad_tiling_key.h在模板声明与选择中新增splitRow参数,并通过ASCENDC_TPL_SEL将其与 kernel 类型绑定——splitRow=0对应ASCENDC_TPL_AIV_ONLY,splitRow=1对应ASCENDC_TPL_MIX_AIV_1_0。 - kernel 入口与模板参数透传:
softmax_focal_loss_grad.cpp的 kernel 模板由<hasWeight, gammaMode>扩展为<hasWeight, gammaMode, splitRow>,在splitRow == 1时通过GetUserWorkspace(workspace)取得用户 workspace 传入Init,并按Process<(splitRow == 1)>()分发流程。 - 算子类新增部分和缓存与切行接口:
softmax_focal_loss_grad_nd.h中Init增加可选GM_ADDR workspace参数并初始化partialGm_,Process改为模板函数并在splitRow为真时转向ProcessSplitRow,同时声明StorePartial、MergePartials等私有接口。 - 新增并行计算实现文件:
softmax_focal_loss_grad_parallel.h实现StorePartial(将 8 个 32B slot 的部分和写回partialGm_)、MergePartials(分批拷回部分和并按原 chunk 顺序调用MergeRowSlots累加)、ProcessSplitRow(按coresPerRow划分 chunk 区间,先计算部分和,经PipeBarrier<PIPE_MTE3>与SyncAll后合并行和,再重算梯度并写出)。
🧩 本次 Review 已使用自定义 Skill:


代码审查
本次审查已完成,补充一条 P3 测试缺口后给出最终结论。
审查结论
按优先级统计
- P0: 0 项
- P1: 0 项
- P2: 3 项(kernel 2 项、host tiling 1 项)
- P3: 1 项(新增通路缺 tiling UT / 精度用例)
逐文件复核确认
| 文件 | 结论 |
|---|---|
loss/softmax_focal_loss_grad/op_host/arch35/softmax_focal_loss_grad_tiling_arch35.cpp |
1 项 P2:splitRow 的 workspace 依赖硬编码 16MiB 当作系统区(line 383-387)。其余已核对无问题:coresPerRow/splitRow 判据、realCoreNum = a*coresPerRow、SetBlockDim、tiling key 三参数顺序、workspace 字节数与 kernel chunk*8*ROW_SLOT_ELEM 换算一致。 |
loss/softmax_focal_loss_grad/op_kernel/arch35/softmax_focal_loss_grad_nd.h |
no issues。Init 新增可选 workspace、Process<splitRow> 的 if constexpr 分流、partialGm_ 成员及非 split 路径行为均无变化。 |
loss/softmax_focal_loss_grad/op_kernel/arch35/softmax_focal_loss_grad_parallel.h |
2 项 P2:①StorePartial 只读 dfBuf_,未覆盖 ExactRowSum4 的非精确分支(line 22-23);②MergePartials 连续 MergeRowSlots 之间缺 PipeBarrier<PIPE_V>(line 62-67)。另已核对:splitRow 蕴含 rowsPerTile_==1、chunk 区间无重叠/无遗漏、count>=2、batchChunks>=1 不会死循环、每核 partial 槽 256B 对齐(跨核不共享 cache line,故未额外报 DCCI 缺失)。 |
loss/softmax_focal_loss_grad/op_kernel/arch35/softmax_focal_loss_grad_tiling_key.h |
no issues。splitRow 追加在字段末位,GET_TPL_TILING_KEY 参数顺序未变;AIV_ONLY / MIX_AIV_1_0 两组选择与前向 softmax_focal_loss_tiling_key.h 同构。 |
loss/softmax_focal_loss_grad/op_kernel/softmax_focal_loss_grad.cpp |
1 项 P3(测试缺口);代码本身无问题:splitRow 模板参数、GetUserWorkspace 分流、op.template Process<(splitRow == 1)>() 与前向用法一致。 |
整体风险判断
改动方向合理——把前向已验证的「长行跨核切分 + workspace 两趟合并」移植到反向,默认(splitRow=0)路径行为完全不变,风险全部集中在新增的 splitRow 通路上,且均为特定条件触发:非精确分支被读到、跨 VEC_SCOPE 写后读无屏障、平台系统区大于 16MiB。这三点都不会影响现有默认路径,但一旦触发会表现为静默的数值错误或 GM 越界写,现场极难定位。
建议合入前优先修掉 StorePartial 缺失 exact 分支判断(兄弟实现已显式处理、本次移植丢失),并补 PipeBarrier<PIPE_V>;workspace 系统区大小改用 GetLibApiWorkSpaceSize(),与前向及其它 arch35 loss 算子保持一致。测试侧至少覆盖 r 略大于 chunk 宽度与 r 极长两类形态。
| 类型 | 数量 |
|---|---|
| 🔴 阻塞 | 0 |
| 🟡 建议 | 3 |
💬 仅评论
🧩 本次 Review 已使用自定义 Skill:


/lgtm
/approve


Pull Request 已合并或已关闭。
If you want to solve this problem, you can click here to do it in the FAQs.


描述
修复 SoftmaxFocalLossGrad 在少行、长归约轴场景下多核利用不足导致的性能问题。通过行内分块、多核计算及局部结果合并,提高并行度,并保留高低位补偿计算以保证精度。
同时完善局部结果缓冲区的选择与寻址、累加缓冲区初始化后的流水同步。
关联的Issue
关联 Issue #8824:https://gitcode.com/cann/ops-nn/issues/8824
测试
在 Ascend950 平台、CANN 1111 环境下,使用修改后重新编译安装的算子包,依次完成性能集、L0、L1 三方对比验证:
文档更新
类型标签
AI/Agent生成声明