Merged
ci: presmoke 从装编译产物起跑,并修掉日志上传的几个问题 #7332
zhugexun_sjtuAdd on 13 days ago
ci: presmoke 从装编译产物起跑,并修掉日志上传的几个问题 #7332
Merged
zhugexun_sjtuAdd on 13 days ago
zhugexun_sjtu
zhugexun_sjtuCollaborators
13 days ago

拆分提交的第一步,只含与架构无关的基础改动。A5 presmoke job 和用例仓侧的改动不在本 PR。

.gitcode/scripts/pre_smoke.sh

脚本原先是个占位:ops 列表写死单元素 "is_finite",循环体里的 $op / $mode 从没被用到,包名硬编码 cann-asc-devkit_linux-aarch64.run。改成从 job 传入的 run_url 取包,不在脚本里猜架构。

顺带修掉三个会影响定位的问题:

# 问题 后果
1 run_test.log 用相对路径且不清理 runner 工作目录跨轮复用,残留的 execute samples success 会让失败的一轮被判成通过
2 slog 固定叫 slog.tar.gz 多个 presmoke job 上传后互相覆盖,先跑完的那份拿不到
3 object-prefix: ${obs_smoke_path}/plog/ ${...} 在 yml 里不展开,slog 一直传到字面量路径下

第 1 条是门禁完整性问题,建议优先看。

另外两处环境相关的:

  • mc2_server.tar.gz:装 devkit 包会把镜像自带的签名版覆盖掉,而开源 CI 构建的那份没有 CMS 签名,装进去后设备侧验签失败,整轮用例一张卡都打不开。改成装前存、装后换回,并把三次 md5 写进诊断日志,便于确认换回确实生效。
  • npu-smi 输出:原先只写 ./npu_log/,不在 /root/ascend/log 打包范围内,所以每轮的卡状态从来没进过 slog。现在 tee 一份进 ci_env_report.log,并把整段 NPU 状态检查挪到 tar 之前 —— 写在 tar 之后等于写进一个已经被归档的文件。dcmi 的判定和 exit 1 仍留在 tar 之后:机器挂掉的那轮最需要日志,exit 不能跑在打包前面。

没包时的 exit 0("This PR no need execute smoke")语义保持不变。

顺带提一个我没动的点:那条早退把「包确实不存在」和「下载出错」当成同一种情况,两者都 exit 0。后者静默放过是个门禁缺口,但改它会改变现有语义,留给维护者定。

.gitcode/workflows/asc-devkit_action.yml

只有 4 行:

  • export run_url=... —— 新 pre_smoke.sh 靠它定位包
  • ARCH=dav-2201 —— slog 按 arch 命名要用
  • upload step 补 if: ${{ always() }}
  • object-prefix 改成会展开的写法

always() 不是新写法,本仓 staticcheck_action.yml 里同一个 obs-upload 插件就是这么用的。没有它,smoke executor 一失败 upload 就被跳过 —— 实测在一个失败轮次里,这个 step 的 OBS key 是 404。

.devcontainer/requirements.txt

torch_npu 升到 v26.2.0-pytorch2.7.1 / post11(原 v26.0.0 / post4),四个 wheel 一起。

examples/.../fixpipe_params_switch/README{,_en}.md

切场景的步骤照着做会对不上 golden:SCENARIO_NUM 是编译期宏(add_definitions),而 verify_result.py 又从环境变量读同一个值来决定 golden 排布,原文只在一处传。改成两处都传,并说明原因。

删掉 /home/aa/check_npu.py 那段

原先 npu-smi 之后有一段:grep "dcmi module initialize failed" 命中就调 python3 /home/aa/check_npu.py 并 exit 1。这段在 A2 和 A5 两种 runner 上都是死代码,实测两边都是:

ls: cannot access '/home/aa/': No such file or directory

(做法:临时加一行 ls -l /home/aa/ 把输出写进 ci_env_report.log,跑一轮从 slog 里读,确认后把诊断行一起删掉。)

就算 /home/aa/ 存在,那个 exit 1 也不改变任何结论:这段跑在 presmoke 之后,dcmi 真挂了的话用例早就全挂,下面 grep "execute samples success" 已经会 exit 1。

诊断能力没有减少,反而变强了:npu-smi 的输出现在进了 slog(原先只写 ./npu_log/,不在打包范围内),所以 dcmi module initialize failed 这行照样能从归档里看到,只是不再走一条调用不存在脚本的死分支。./npu_log/npu_info.log 唯一的读者就是那个 grep,一并清掉。

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for zhugexun_sjtu's contribution.)
zhugexun_sjtuzhugexun_sjtuCollaborators
13 days ago Created pull request, commit 19203773
atomgit-bot
atomgit-bot
13 days ago Comments:

变更摘要

本 PR 是拆分提交的第一步,聚焦 presmoke 流程的架构无关基础改动。pre_smoke.sh 由占位脚本改为从 job 传入的 run_url 获取 devkit 包并完整执行安装、环境准备与用例运行,同时修掉日志路径复用导致的误判、slog 文件同名覆盖、object-prefix 变量不展开等问题,并补上 mc2_server.tar.gz 的签名版保存/换回与 npu-smi 输出落盘。asc-devkit_action.yml 相应补充 run_url、ARCH 变量、上传步骤的 always() 与可展开的 object-prefix;另同步升级 torch_npu 依赖版本,并修正示例文档中 SCENARIO_NUM 的传递说明。

主要改动

  • presmoke 包获取与安装流程重写: 删除硬编码的 ops=("is_finite") 循环与固定包名 cann-asc-devkit_linux-aarch64.run,改为由 devkit_package=$(basename "${run_url}") 和 wget "${run_url}" 定位并下载包,随后执行 chmod、--full --install-path=/usr/local/Ascend 安装及 set_env.sh、requirements.txt 依赖准备,无包时仍保持原有 exit 0 语义。
  • 测试结果日志改为绝对路径并每轮清理: 新增 RUN_TEST_LOG="${WORKSPACE}/run_test.log" 并在启动时 rm -f,run_presmoke.sh 输出改为 tee 到该路径,结果判定也读取该文件,避免工作目录跨轮复用残留 execute samples success 导致失败轮次被判通过。
  • slog 按 arch 命名与上传配置修正: 打包名由固定 slog.tar.gz 改为 slog_${slog_arch:-unknown}.tar.gz,arch 来自 ARCH 或从 presmoke_reports 目录名推断;yml 中 object-prefix 由 ${obs_smoke_path}/plog/ 改为 ${{ env.obs_smoke_path }}/plog/,并在 upload step 增加 if: ${{ always() }} 以保证失败轮次也上传。
  • mc2_server.tar.gz 签名版保护与环境诊断日志: 安装前用 md5sum 记录并 cp 保存原 mc2_server.tar.gz,安装后比较并换回,三次 md5 与安装日志尾部、npu-smi info 输出统一 tee 进 /root/ascend/log/ci_env_report.log,使卡状态纳入 slog 打包范围。
  • 依赖与示例文档同步调整: .devcontainer/requirements.txt 将 torch_npu 升级到 v26.2.0-pytorch2.7.1 / post11(四个 wheel 一并更新);fixpipe_params_switch 的中英文 README 说明 SCENARIO_NUM 既是编译期宏又需作为环境变量传给 verify_result.py,两处都要设置。
likedislike
Incorrect?
atomgit-bot
atomgit-bot
13 days ago Comments:

代码审查

审查结论

已逐个文件完成审查:

  • .devcontainer/requirements.txt:no issues。四条 torch_npu wheel 同步升到 v26.2.0-pytorch2.7.1 / post11,与 torch 2.7.1+cpu 的四个分支(cp311/cp312 × x86_64/aarch64)一一对应,标记方式(<pkg> @ <url> ; <marker>)与原有一致;.devcontainer/Dockerfile 仅 pip install -r 引用该文件,仓库内无第二处旧版本 pin 需要同步,README 中 PyTorch 2.7.1 的描述仍成立。无 URL/Git 引用滥用、无未固定版本新引入。
  • .gitcode/scripts/pre_smoke.sh:3 个问题(P2×3)+ 1 个可选改进(P3)。
  • .gitcode/workflows/asc-devkit_action.yml:无独立问题。jobs.JOB_arm_compile.outputs.arm_run_url 与 compile_action.yml 的 workflow 级 outputs.arm_run_url 对得上(该 job 位于 stage2、产物为 cann-asc-devkit_linux-aarch64.run),env.obs_smoke_path 在 workflow env 中有定义所以 ${{ }} 能展开,step 级 if: ${{ always() }} 不会覆盖 job 级 if: env.TARGET_BRANCH == 'master';唯一风险(输出未解析 → 空 run_url)记在脚本侧的 P2 里。

发现汇总(P0/P1/P2/P3 = 0/0/3/1):

  1. P2 pre_smoke.sh:91 —— npu-smi 输出在 tar 打包(第 83 行)之后才写入 ENV_LOG,本次想修的「卡状态进 slog」实际不生效,且两条 exit 1 失败路径上 slog 恰恰缺这份信息。
  2. P2 pre_smoke.sh:60-63 —— mc2_server.tar.gz 恢复使用安装前解析的旧路径且不检查 cp 返回码/不做 md5 比对,set +e 下失败被静默吞掉,可能退化成「一张卡都打不开」的原始故障。
  3. P2 pre_smoke.sh:34-43 —— 包地址改由 job 输出传入,但 run_url 为空时与「确实无包」走同一分支 exit 0,门禁可在未跑任何用例的情况下变绿。
  4. P3(可选)pre_smoke.sh:24 —— 只清理了 run_test.log,未清理上一轮遗留的 slog_*.tar.gz,通配上传可能把旧日志冒充成本轮日志。

总体风险判断:方向正确、改动收益实在(门禁完整性、slog 命名与上传条件、mc2 签名恢复),但存在一处「修复未真正生效」的时序缺陷(第 1 条)和一处关键恢复步骤的静默失败(第 2 条),建议合并前至少修掉这两条;第 3 条属于门禁可信度问题,按维护者口径决定是否在本 PR 内处理。

类型 数量
🔴 阻塞 0
🟡 建议 3

💬 仅评论

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
13 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
13 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
.gitcode/** ✅ 宋常霞, hujiawen_kaven, YANXI_ZHAO (3/2) ✅ 宋常霞 (1/1)
examples ✅ YANXI_ZHAO, hujiawen_kaven (2/2) ✅ YANXI_ZHAO (1/1)
repo-cann/asc-devkit ✅ hujiawen_kaven, YANXI_ZHAO (2/2) ✅ hujiawen_kaven, YANXI_ZHAO (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

xun_zhuge, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
84 messages are collapsed here。 See more
YANXI_ZHAO
YANXI_ZHAOCollaborators
13 days ago Comments:

/lgtm
/approve

likedislike
CANN-robotCANN-robotCollaborators
13 days ago Added label: lgtmapproved
CANN-robotCANN-robotCollaborators
13 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
13 days ago Added label: ci-pipeline-passed
CANN-robotCANN-robotCollaborators
13 days ago Merged pull request