Closed
perf(foreach_minimum_list): arch35 tiling 小数据量分核优化并补充 host tiling UT #13479
liangtongxueAdd on 19 days agoClosed at 4 days ago
perf(foreach_minimum_list): arch35 tiling 小数据量分核优化并补充 host tiling UT #13479
Closed
liangtongxueAdd on 19 days agoClosed at 4 days ago
liangtongxue
liangtongxue
19 days ago

描述

针对 arch35(Ascend950)foreach_minimum_list 的 tiling 分核策略做小数据量优化。

背景(问题来源):GEIR 通路性能门禁对 0 维标量列表用例判单 case 不达标(如 19~32 个 0 维 fp32/fp16 标量,gpu/npu = 0.068~0.097 < 阈值 0.162)。实测 NPU 耗时拟合为 npu_us ≈ 0.65 * N + 2.8us(R²=0.9936),由“每张量一次 VF_CALL 的固定启动开销”主导,而 GPU 参考实现将整个 tensor list 融合为单个 kernel(~1.6us)。

根因:op_host/arch35/foreach_minimum_list_tiling_arch35.cpp 中 perCoreElements 的 32 对齐在 totalElements < coreNum * 32 时会把 needCoreNum 压到 1(如 total=19:ceil(19/64)=1 → 对齐到 32 → needCoreNum=1)。kernel 侧 Process(op_kernel/arch35/foreach_minimum_list_simt.h)随后在单核上按张量逐个发起 VF_CALL,19~32 次串行启动。

改动:仅在 perCoreElements >= ALIGN_SIZE(32) 时做 32 对齐:

  • 小数据量(totalElements < coreNum * 32)保持未对齐的每核元素数,needCoreNum 贴近 min(coreNum, totalElements),原本单核串行的多次 VF_CALL 变为多核并行,预计 16~23us 降至 ~3-4us;
  • 大数据量(perCoreElements >= 32)维持原 32 对齐(warp 友好)与分核行为,无回归。

kernel 侧不改动(coreStart/coreEnd 区间数学与原实现一致,仅 tiling 取值变化)。

关联的Issue

  • 问题单:wangyueting/changwei_gaoxiang#51([性能问题][ForeachMinimumList] 单case失败,6 条失败用例全部为 0 维标量列表)
  • 交付物 MDE 已将该开销列为已知优化空间(02_foreach_minimum_list_mde.md §8.2:张量数量多且碎时 VF 启动开销增大,当前未做)

测试

本地执行(本机环境 cann-9.3.0 devkit):

  • bash build.sh -u --ops=foreach_minimum_list --soc=ascend950 --ut_mode=fast -j16:arch35 host tiling UT 7/7 PASS(含本次新增 3 例),infershape 2/2 PASS,0 FAILED;
  • bash build.sh -u --ops=foreach_minimum_list --ut_mode=fast -j16(默认 910B):kernel UT total=4, pass=4, fail=0,arch22 路径不受影响。

新增 arch35 host tiling UT(tests/ut/op_host/arch35/test_foreach_minimum_list_tiling.cpp):

  • small_scalar_list_uses_multi_core:19 个单元素张量,断言 perCoreElements=1 / needCoreNum=19 / lastCoreElements=1(多核分核);
  • medium_shape_keeps_unaligned_core_count:total=1000,断言 perCoreElements=16 / needCoreNum=63 / lastCoreElements=8(未对齐核数贴近 coreNum);
  • large_shape_keeps_32_alignment:单张量 4096 元素,断言 perCoreElements=64 / needCoreNum=64 / lastCoreElements=64(大 shape 保持 32 对齐、行为不变)。
  • 同时断言 tensorNum / totalElements / tiling key,读取方式采用 GetRawTilingData()->GetData()(与 sparse_apply_ftrl_v2 等 arch35 UT 一致)。

未包含上板性能数据,预期收益(16~23us → ~3-4us、gpu/npu 回到阈值以上)待 CI / 上板复测确认。

文档更新

无(tiling 内部实现细节,docs/aclnnForeachMinimumList.md 未涉及)。

类型标签

AI/Agent生成声明

likedislike
The current Pull Request has been closed by liangtongxue.
liangtongxueliangtongxue
19 days ago Created pull request, commit 71c1cc06
liangtongxueliangtongxue
19 days ago Associated issue: [Bug-Report|缺陷反馈]: adaptive_avg_pool3d,adaptive_max_pool3d,avg_pool3_d,avg_pool3_d_grad,max_pool3d_grad_with_argmax,max_pool3d_with_argmax_v2等算子存在opapi编译告警
atomgit-bot
atomgit-bot
19 days ago Comments:

变更摘要

本次 PR 针对 arch35(Ascend950)的 foreach_minimum_list 算子 tiling 分核策略做小数据量性能优化。原实现在 op_host/arch35/foreach_minimum_list_tiling_arch35.cpp 中无条件对 perCoreElements 做 32 对齐,当 totalElements < coreNum * 32 时会把 needCoreNum 压到 1,导致 kernel 侧单核按张量串行发起多次 VF_CALL。改动后仅在 perCoreElements >= ALIGN_SIZE 时对齐,小数据量保持未对齐的每核元素数,使核数贴近 min(coreNum, totalElements),实现多核并行;大数据量维持原 32 对齐行为。同时新增 arch35 host tiling UT 覆盖三种数据量场景。

主要改动

  • 小数据量跳过 32 对齐: 在 ForeachMinimumListTilingFunc 中为 perCoreElements 的 CeilAlign 增加 >= ALIGN_SIZE(32) 条件判断,使 totalElements < coreNum * 32 时保持未对齐值,needCoreNum 不再被压到 1。
  • 分核计算结果变化: 因 needCoreNum 与 lastCoreElements 仍由 perCoreElements 推导,小数据量下这两项取值随之前移,从单核串行变为多核并行分核;大数据量下 perCoreElements、needCoreNum、lastCoreElements 取值不变。
  • 新增通用 tiling 断言辅助函数: 在 tests/ut/op_host/arch35/test_foreach_minimum_list_tiling.cpp 中新增 DoListTilingCase,构造 Ascend950 平台信息与多张量输入输出 shape,通过 GetRawTilingData()->GetData() 读取 ForeachMinimumListTilingData,断言 tensorNum、totalElements、perCoreElements、needCoreNum、lastCoreElements 及 tiling key。
  • 补充三个 host tiling UT 用例: small_scalar_list_uses_multi_core(19 个单元素张量,期望 perCoreElements=1 / needCoreNum=19)、medium_shape_keeps_unaligned_core_count(total=1000,期望 perCoreElements=16 / needCoreNum=63)、large_shape_keeps_32_alignment(单张量 4096 元素,期望 perCoreElements=64 / needCoreNum=64),分别覆盖多核分核、未对齐核数与保持对齐三类路径。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
19 days ago Comments:

代码审查

检视总结

逐文件确认

  • foreach/foreach_minimum_list/op_host/arch35/foreach_minimum_list_tiling_arch35.cpp:已检视。核对了新分支的数学一致性(CeilDiv(total, coreNum) ≥ 1 保证第 99 行除数非零;未对齐分支下 needCoreNum = CeilDiv(total, perCoreElements) ≤ coreNum,不会出现 blockDim 超过物理核数;lastCoreElements ∈ [1, perCoreElements] 且各核至少 1 个元素,与 totalElements==0 分支、65536 上限分支的既有行为不冲突)。逻辑本身未发现确定性缺陷,但新分支缺少真实执行的元素覆盖验证(见下)。
  • foreach/foreach_minimum_list/tests/ut/op_host/arch35/test_foreach_minimum_list_tiling.cpp:已检视。三条新用例的数值推导与实现一致(19→1/19/1;1000→16/63/8;4096→64/64/64),未发现算术或断言类型错误;但期望值隐含了对未显式注入的平台核数的依赖(见下)。

问题计数

  • P0:0
  • P1:0
  • P2:1(新分支缺少 kernel/设备级元素覆盖验证,confidence 0.32)
  • P3:1(新 UT 期望值依赖未注入的平台默认核数,confidence 0.45)

整体风险判断:改动面很小,仅一处 tiling 取值策略调整,数学与边界自洽,未发现越界、除零、核数溢出或签名/契约不一致等确定性问题,回归风险总体偏低。主要不确定性集中在两点:一是 perCoreElements 不再保证 32 对齐这一隐含前提是否被 arch35 SIMT kernel 依赖(本环境无法读取 kernel 侧源码核实,故按缺口报为 P2 且低置信度);二是新 UT 的硬编码期望值对环境默认平台核数的耦合。建议合入前重点确认上板后小数据量用例的输出正确性与实际收益。

类型 数量
🔴 阻塞 0
🟡 建议 1

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
19 days ago Added label: cann-cla/no
55 messages are collapsed here。 See more
CANN-robotCANN-robotCollaborators
13 days ago Added label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
13 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
13 days ago Added label: ci-pipeline-passed
yuning_chen
yuning_chenCollaborators
13 days ago Comments:

您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@yangyang016 @u010470851 @chenxingyu18 @qianzehong @Chen_HaoWen @wang-xing001 @kevin_huang1234 @pingchuantang

likedislike
liangtongxueliangtongxue
4 days ago Close pull request