Closed
[需求]: 优化SoftmaxFocalLossGrad的A5少量长行并行调度与workspace分配 #8824
zsq_888Add on  7 days agoClosed at  6 days ago
zsq_888
zsq_888Collaborators
7 days ago Create

背景与问题描述

SoftmaxFocalLossGrad的arch35实现按行分配计算任务,在行数较少、每行包含较多归约分块时,可利用的并行度受行数限制,需要增加行内多核并行路径以提升计算资源利用率。

当前workspace采用固定16MB配置,也需要改为根据系统需求和分块中间结果的实际需求分配。

环境信息

涉及A5平台的arch35实现。具体硬件型号、CANN版本及软件环境待补充。

优化方案

  • 根据行数、可用核数和分块数判断是否启用行内多核并行,将计算核均匀分配给少量长行。
  • 各核计算并写入分块归约的高低位结果,核间同步后按原分块顺序合并,再计算和写出各自负责的梯度区间。
  • 增加splitRow模板分发,区分普通路径与行内多核路径。
  • 使用系统workspace需求,并仅为行内多核路径追加分块中间结果空间。

验证步骤与预期结果

  1. 使用修复前后版本运行少量长行输入,记录执行耗时并比较性能。
  2. 对照高精度参考检查梯度结果,覆盖有无weight、不同gamma、数据类型及尾部分块。
  3. 检查普通路径与行内多核路径的workspace分配和运行结果。

预期少量长行场景能够利用多个计算核,输出满足精度要求,workspace覆盖实际中间结果需求。

具体输入shape、执行命令、性能数据及精度日志待补充。本次未执行编译或上板测试。

关联PR

https://gitcode.com/cann/ops-nn/pull/14428

likedislike
zsq_888zsq_888Collaborators
7 days ago Associated pull request
yuning_chenyuning_chenCollaborators
7 days ago Assign qq_57796320 as responsible person
CANN-robotCANN-robotCollaborators
6 days ago Close issue
CANN-robotCANN-robotCollaborators
6 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
6 days ago Added label: resolved