The current Pull Request has been closed by liangtongxue.
变更摘要
本次 PR 针对 arch35(Ascend950)的 foreach_minimum_list 算子 tiling 分核策略做小数据量性能优化。原实现在 op_host/arch35/foreach_minimum_list_tiling_arch35.cpp 中无条件对 perCoreElements 做 32 对齐,当 totalElements < coreNum * 32 时会把 needCoreNum 压到 1,导致 kernel 侧单核按张量串行发起多次 VF_CALL。改动后仅在 perCoreElements >= ALIGN_SIZE 时对齐,小数据量保持未对齐的每核元素数,使核数贴近 min(coreNum, totalElements),实现多核并行;大数据量维持原 32 对齐行为。同时新增 arch35 host tiling UT 覆盖三种数据量场景。
主要改动
- 小数据量跳过 32 对齐: 在
ForeachMinimumListTilingFunc中为perCoreElements的CeilAlign增加>= ALIGN_SIZE(32)条件判断,使totalElements < coreNum * 32时保持未对齐值,needCoreNum不再被压到 1。 - 分核计算结果变化: 因
needCoreNum与lastCoreElements仍由perCoreElements推导,小数据量下这两项取值随之前移,从单核串行变为多核并行分核;大数据量下perCoreElements、needCoreNum、lastCoreElements取值不变。 - 新增通用 tiling 断言辅助函数: 在
tests/ut/op_host/arch35/test_foreach_minimum_list_tiling.cpp中新增DoListTilingCase,构造 Ascend950 平台信息与多张量输入输出 shape,通过GetRawTilingData()->GetData()读取ForeachMinimumListTilingData,断言tensorNum、totalElements、perCoreElements、needCoreNum、lastCoreElements及 tiling key。 - 补充三个 host tiling UT 用例:
small_scalar_list_uses_multi_core(19 个单元素张量,期望perCoreElements=1 / needCoreNum=19)、medium_shape_keeps_unaligned_core_count(total=1000,期望perCoreElements=16 / needCoreNum=63)、large_shape_keeps_32_alignment(单张量 4096 元素,期望perCoreElements=64 / needCoreNum=64),分别覆盖多核分核、未对齐核数与保持对齐三类路径。
🧩 本次 Review 已使用自定义 Skill:


代码审查
检视总结
逐文件确认
foreach/foreach_minimum_list/op_host/arch35/foreach_minimum_list_tiling_arch35.cpp:已检视。核对了新分支的数学一致性(CeilDiv(total, coreNum) ≥ 1保证第 99 行除数非零;未对齐分支下needCoreNum = CeilDiv(total, perCoreElements) ≤ coreNum,不会出现blockDim超过物理核数;lastCoreElements ∈ [1, perCoreElements]且各核至少 1 个元素,与totalElements==0分支、65536 上限分支的既有行为不冲突)。逻辑本身未发现确定性缺陷,但新分支缺少真实执行的元素覆盖验证(见下)。foreach/foreach_minimum_list/tests/ut/op_host/arch35/test_foreach_minimum_list_tiling.cpp:已检视。三条新用例的数值推导与实现一致(19→1/19/1;1000→16/63/8;4096→64/64/64),未发现算术或断言类型错误;但期望值隐含了对未显式注入的平台核数的依赖(见下)。
问题计数
- P0:0
- P1:0
- P2:1(新分支缺少 kernel/设备级元素覆盖验证,
confidence 0.32) - P3:1(新 UT 期望值依赖未注入的平台默认核数,
confidence 0.45)
整体风险判断:改动面很小,仅一处 tiling 取值策略调整,数学与边界自洽,未发现越界、除零、核数溢出或签名/契约不一致等确定性问题,回归风险总体偏低。主要不确定性集中在两点:一是 perCoreElements 不再保证 32 对齐这一隐含前提是否被 arch35 SIMT kernel 依赖(本环境无法读取 kernel 侧源码核实,故按缺口报为 P2 且低置信度);二是新 UT 的硬编码期望值对环境默认平台核数的耦合。建议合入前重点确认上板后小数据量用例的输出正确性与实际收益。
| 类型 | 数量 |
|---|---|
| 🔴 阻塞 | 0 |
| 🟡 建议 | 1 |
💬 仅评论
🧩 本次 Review 已使用自定义 Skill:


您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@yangyang016 @u010470851 @chenxingyu18 @qianzehong @Chen_HaoWen @wang-xing001 @kevin_huang1234 @pingchuantang


描述
针对 arch35(Ascend950)
foreach_minimum_list的 tiling 分核策略做小数据量优化。背景(问题来源):GEIR 通路性能门禁对 0 维标量列表用例判单 case 不达标(如 19~32 个 0 维 fp32/fp16 标量,
gpu/npu= 0.068~0.097 < 阈值 0.162)。实测 NPU 耗时拟合为npu_us ≈ 0.65 * N + 2.8us(R²=0.9936),由“每张量一次 VF_CALL 的固定启动开销”主导,而 GPU 参考实现将整个 tensor list 融合为单个 kernel(~1.6us)。根因:
op_host/arch35/foreach_minimum_list_tiling_arch35.cpp中perCoreElements的 32 对齐在totalElements < coreNum * 32时会把needCoreNum压到 1(如 total=19:ceil(19/64)=1 → 对齐到 32 → needCoreNum=1)。kernel 侧Process(op_kernel/arch35/foreach_minimum_list_simt.h)随后在单核上按张量逐个发起 VF_CALL,19~32 次串行启动。改动:仅在
perCoreElements >= ALIGN_SIZE(32)时做 32 对齐:totalElements < coreNum * 32)保持未对齐的每核元素数,needCoreNum贴近min(coreNum, totalElements),原本单核串行的多次 VF_CALL 变为多核并行,预计 16~23us 降至 ~3-4us;perCoreElements >= 32)维持原 32 对齐(warp 友好)与分核行为,无回归。kernel 侧不改动(
coreStart/coreEnd区间数学与原实现一致,仅 tiling 取值变化)。关联的Issue
02_foreach_minimum_list_mde.md§8.2:张量数量多且碎时 VF 启动开销增大,当前未做)测试
本地执行(本机环境 cann-9.3.0 devkit):
bash build.sh -u --ops=foreach_minimum_list --soc=ascend950 --ut_mode=fast -j16:arch35 host tiling UT 7/7 PASS(含本次新增 3 例),infershape 2/2 PASS,0 FAILED;bash build.sh -u --ops=foreach_minimum_list --ut_mode=fast -j16(默认 910B):kernel UTtotal=4, pass=4, fail=0,arch22 路径不受影响。新增 arch35 host tiling UT(
tests/ut/op_host/arch35/test_foreach_minimum_list_tiling.cpp):small_scalar_list_uses_multi_core:19 个单元素张量,断言perCoreElements=1 / needCoreNum=19 / lastCoreElements=1(多核分核);medium_shape_keeps_unaligned_core_count:total=1000,断言perCoreElements=16 / needCoreNum=63 / lastCoreElements=8(未对齐核数贴近 coreNum);large_shape_keeps_32_alignment:单张量 4096 元素,断言perCoreElements=64 / needCoreNum=64 / lastCoreElements=64(大 shape 保持 32 对齐、行为不变)。tensorNum / totalElements / tiling key,读取方式采用GetRawTilingData()->GetData()(与 sparse_apply_ftrl_v2 等 arch35 UT 一致)。未包含上板性能数据,预期收益(16~23us → ~3-4us、
gpu/npu回到阈值以上)待 CI / 上板复测确认。文档更新
无(tiling 内部实现细节,
docs/aclnnForeachMinimumList.md未涉及)。类型标签
AI/Agent生成声明