The current Pull Request has been closed by liangtongxue.
变更摘要
本 PR 针对 foreach_cosh 在 arch35(Ascend 950)上 GEIR 通路的性能问题做了内部实现优化,接口语义与约束保持不变。核心思路是把整个 TensorList 视为一段展平的元素区间:tiling 侧改为记录各张量在展平区间中的前缀起始位置 tensorStarts 以及每核认领的连续段长度(perCoreElements / lastCoreElements),内核侧按段类型分流——小段(≤ 4096 元素)用单次 VF 覆盖整段并由线程经前缀表自行定位张量,大段则二分定位首个相交张量后逐张量发起带 8 元素访存展开的 VF,从而同时改善小列表的单核串行与大数据量的有效带宽。
主要改动
- tiling 数据结构由逐张量计数改为前缀表:
ForeachCoshTilingData移除tensorElements[256],新增tensorStarts[FOREACH_COSH_MAX_TENSOR_NUM + 1]、perCoreElements、lastCoreElements,并引入常量FOREACH_COSH_MAX_TENSOR_NUM,使内核可由任意展平索引反查所属张量(空张量表现为相同前缀值)。 - 分核策略调整:
foreach_cosh_tiling.cpp用ALIGN_SIZE = 32取代MIN_PER_CORE = 1024,perCoreElements由展平总量对 coreNum 上取整得到,仅在段足够大(≥ 32)时做 32 对齐,避免小列表的needCoreNum被压到 1,并补充numel负值/溢出、perCoreElements正数及needCoreNum超INT32_MAX的校验。 - 内核按段大小分流两套 VF 实现:
foreach_cosh_simt.h新增ForeachCoshFlatSegSimt(整段一次VF_CALL,线程二分定位所属张量)与ForeachCoshTensorSegSimt(单张量切片计算,UNROLL_COUNT = 8的 8 笔独立 load 连续在途);Process改为按coreStart/coreEnd认领连续段,大段路径二分定位首个相交张量后仅遍历相交张量。 - 内核入口传递原始 tiling 地址:
foreach_cosh.cpp中Process的调用由传&tilingData改为同时传tilingGM 地址与本地tilingData,以便小段路径在 VF 内访问 GM 上的tensorStarts前缀表。 - 新增 host tiling 单测覆盖新分核语义:
test_foreach_cosh_tiling.cpp增加DoListCase辅助函数与 4 个列表用例(128 个标量张量、中规模 32 对齐、单大张量满核、含空张量),期望值由MOCK_CORE_NUM推导并校验前缀表与分核字段。
🧩 本次 Review 已使用自定义 Skill:




Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.
PR Approval Progress
⚠️ This PR does not yet meet the following requirements:lgtm (requires ≥ 2 person(s) per module)、approve (requires ≥ 1 person(s) per module)
Module Approval Details
| module | lgtm status | approve status |
|---|---|---|
| foreach | ❌ 陈琦 (1/2)(You can also ask: 王星, 刘杰, 范其瑞, 陈展熹, 曾娟) | ❌ (0/1)(You can also ask: 查建青, 陈展熹, 陈昊文, 黄迪, 陈兴宇) |
💡 Tip:
- Committer can comment
/approveor/lgtm- Commenting
/approveimplies both code review (lgtm) and intent to merge (approve)
CLA Signature Pass
liangtongxue, thanks for your pull request. All authors of the commits have signed the CLA. 👍


【review】
问题分类:可测
位置:foreach/foreach_cosh/tests/ut/op_host/arch35/test_foreach_cosh_tiling.cpp:236,代码:DoListCase({4, 0, 8}, ge::DT_FLOAT, GET_TPL_TILING_KEY(FOREACH_COSH_TPL_SCH_MODE_FLOAT));
问题:新增用例只读取 host 生成的 tensorStarts、perCoreElements 等字段,没有运行本次重写的两套 SIMT kernel。含空张量用例只是验证重复前缀,不能验证 ForeachCoshFlatSegSimt 的“取最后一个起点”查找;大张量用例也不能验证 8 路展开的尾部写回。把二分查找的 <= 改成 <,或删掉展开后的尾循环,这些新增断言仍全部通过。
可能导致的结果:张量边界恰好落在核起点、连续空张量及不足 8×线程数的尾段,都是此次分段算法的新边界;出现索引映射或尾部遗漏回归时,现有测试无法发现输出错位、越界或漏写。
建议的修改方法:增加实际执行 kernel 并逐张量对照 cosh 的数值回归:输入使用不同张量可区分的值,包含首部/连续/末尾空张量、恰落张量边界的 coreStart、每核 4096 与超过 4096 的分流边界,以及 4096±1 等展开尾长;输出预填哨兵并检查全部有效元素和边界。覆盖 FLOAT/FLOAT16/BFLOAT16,使上述查找或尾循环变异能被测试拦截。


compile


| 🚀 CI 流水线已启动 |
|---|
| 📋 执行详情: 点击查看流水线 |


流水线分析报告 — ops-nn run#18135
流水线: https://gitcode.com/cann/ops-nn/actions/runs/f4ab9e208cf14997b12a2dd82fb55ad9 | PR#13873 | 2026-11-09 09:57:39 ~ 10:01:00 | 失败 Job 1 个
定界结论: 代码问题 / 代码检查错误 — clang-format
- 失败类型: 代码问题 → 处置: 通知 PR 提交者修复
- 根因:
CodeCheck_precommit的 clang-format hook 判定不通过, hook 实际改写了 5 个文件(files were modified by this hook), 说明 PR 提交的 C/C++ 代码不符合 clang-format 格式规范 - 处置建议: 本地执行
pre-commit run clang-format --files <改动文件>(或直接pre-commit run clang-format --all-files)格式化后提交, 重新触发流水线 - 排除项: 同 Job 内 detect private key / codespell / OAT Compliance Check / Host Python Script Regressions 均已 Passed 或 Skipped, 仅 clang-format 一项失败; 无下游 Job 因本失败未启动
失败根因分析
根因 #1: 代码问题 / 代码检查错误 — clang-format 格式违规(5 个文件)
- 判据: pre-commit 检查项
clang-formatFailed,files were modified by this hook - 定位步骤:
3_precommit.log - 影响 Job: CodeCheck_precommit
- 根因证据(日志原文):
clang-format.............................................................Failed
- hook id: clang-format
- files were modified by this hook
Formatting [1/4] foreach/foreach_cosh/op_kernel/arch35/foreach_cosh.cpp
Formatting [2/4] foreach/foreach_cosh/op_host/arch35/foreach_cosh_tiling.cpp
Formatting [3/4] foreach/foreach_cosh/op_kernel/arch35/foreach_cosh_simt.h
Formatting [4/4] foreach/foreach_cosh/op_kernel/arch35/foreach_cosh_tiling_data.h
Formatting [1/1] foreach/foreach_cosh/tests/ut/op_host/arch35/test_foreach_cosh_tiling.cpp
::error::precommit.py 异常退出: exit code=1, signal=null
- 待修复文件(PR 中 foreach_cosh 相关 C/C++ 文件需按 clang-format 重排):
foreach/foreach_cosh/op_kernel/arch35/foreach_cosh.cppforeach/foreach_cosh/op_host/arch35/foreach_cosh_tiling.cppforeach/foreach_cosh/op_kernel/arch35/foreach_cosh_simt.hforeach/foreach_cosh/op_kernel/arch35/foreach_cosh_tiling_data.hforeach/foreach_cosh/tests/ut/op_host/arch35/test_foreach_cosh_tiling.cpp
结构化定界摘要
[{"repo": "ops-nn", "run_number": 18135, "Failed_Type": "代码问题",
"Failed_Sub_Type": "代码检查错误", "Failed_Reason": "CodeCheck_precommit 的 clang-format hook 不通过, 改写了 foreach_cosh 相关 5 个 C/C++ 文件, 代码格式不符合 clang-format 规范",
"evidence": "clang-format...Failed; - files were modified by this hook; Formatting [1/4] foreach/foreach_cosh/op_kernel/arch35/foreach_cosh.cpp ...",
"suggestion": "本地执行 pre-commit run clang-format 格式化 foreach_cosh 相关文件后提交并重新触发流水线",
"jobs": "CodeCheck_precommit"}]
由门禁失败定界分析自动生成 | repo: ops-nn | run: f4ab9e208cf14997b12a2dd82fb55ad9 | PR#13873


compile


| 🚀 CI 流水线已启动 |
|---|
| 📋 执行详情: 点击查看流水线 |


您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@wang-xing001 @east_yang @yourealize @pingchuantang @qianzehong @Chen_HaoWen @su-yueming @liujie12345678


/lgtm


描述
修复 ForeachCosh 算子 arch35(Ascend 950)GEIR 通路性能不达标问题:xpu-perf 实测均值 gpu/npu = 0.5521 < 门限 1.215(296 条),65 条单 case < 0.405,均值与单 case 双双不过。
根因(由附件 296 条实测数据反推):
MIN_PER_CORE=1024把 needCoreNum 压到 1,kernel 入口单核按张量串行发起 VF_CALL,叠加每张量 2 次依赖 GM 标量读,实测 npu_us ≈ 0.72 × N + 2.5(128 个标量 ~89us,GPU 参考实现 ~1.9us);修复(对齐仓内 foreach_minimum_list / foreach_acos 已有的 arch35 分段框架):
tensorStarts前缀和与perCoreElements/lastCoreElements,每核认领展平后的连续段;32 对齐仅在大段时生效,小列表 needCoreNum 保持贴近 min(coreNum, totalElements),消除单核串行;关联的Issue
https://gitcode.com/wangyueting/changwei_gaoxiang/issues/65
测试
bash build.sh --opkernel --soc=ascend950 --ops=foreach_cosh二进制构建通过(fp32/fp16/bf16 三个 tiling key);文档更新
无(接口语义、约束均未变化,仅 kernel/tiling 内部实现)。
类型标签
AI/Agent生成声明