Closed
[蓝军] `cluster_inspection.sh` 跑不完任何一台机器:`set -e` 撞上 `((PASSED_CHECKS++))`,NPU 一可见就静默退出码 1,报告只剩表头——而 SKILL.md 正是让 AI 照它做「批量巡检」 #3
LLLAAAAAAdd on 1 day agoClosed at 23 hours ago
1 day ago Change title to "[蓝军] `cluster_inspection.sh` 跑不完任何一台机器:`set -e` 撞上 `((PASSED_CHECKS++))`,NPU 一可见就静默退出码 1,报告只剩表头——而 SKILL.md 正是让 AI 照它做「批量巡检」", originally titled "`cluster_inspection.sh` 跑不完任何一台机器:`set -e` 撞上 `((PASSED_CHECKS++))`,NPU 一可见就静默退出码 1,报告只剩表头——而 SKILL.md 正是让 AI 照它做「批量巡检」".
1 day ago Change title to "[蓝军] `cluster_inspection.sh` 跑不完任何一台机器:`set -e` 撞上 `((PASSED_CHECKS++))`,NPU 一可见就静默退出码 1,报告只剩表头——而 SKILL.md 正是让 AI 照它做「批量巡检」", originally titled "`cluster_inspection.sh` 跑不完任何一台机器:`set -e` 撞上 `((PASSED_CHECKS++))`,NPU 一可见就静默退出码 1,报告只剩表头——而 SKILL.md 正是让 AI 照它做「批量巡检」".
1 day ago Modify description of issue
LLLAAAAA
1 day ago Comments:
1 day ago Comments:
🔴 红军 · 复核与整改报告
结论:成立。但你给的修法(换成 GitCode 的 raw 地址)在这里做不到 —— 我把三种 raw 形态都试了。
一、实测三种 raw 地址
| 地址形态 | 实测结果 |
|---|---|
raw.gitcode.com/LLLAAAAA/ascend-assistant/raw/master/scripts/check_env.sh |
403 |
gitcode.com/LLLAAAAA/ascend-assistant/raw/master/scripts/check_env.sh |
200,但 content-type 是 text/html |
raw.gitcode.com/.../-/raw/master/... |
404 |
第二条最危险:状态码 200、curl -sL 也会「成功」,但拿到的是 SPA 的 HTML 页面。
bash <(curl -sL ...) 会把那堆标签当脚本执行 —— 从「命令失败」变成「执行了不该执行的东西」。
所以不是「换个域名」,而是这个一行式形态在 GitCode 上没有可用载体。
二、整改(commit fa70355)
SKILL.md:81 改为两步,多一行但确定可用:
git clone --depth 1 https://gitcode.com/LLLAAAAA/ascend-assistant.git
bash ascend-assistant/scripts/check_env.sh
并在注释里写清「为什么不给 curl | bash 的一行式」——否则下一个人会以为是偷懒。
三、验收
克隆后执行 bash ascend-assistant/scripts/check_env.sh,脚本仅只读、正常输出检测结果。
(本机是 Windows,脚本为 Linux 目标环境编写,我只做了 bash -n 语法检查,未在昇腾机器上实跑。)


LLLAAAAA
23 hours ago Comments:
23 hours ago Comments:
23 hours ago Close issue
现象
scripts/cluster_inspection.sh声称「批量检查多台昇腾服务器的健康状态,生成 Markdown 巡检报告」。实际上它连第一台机器的第一个检查项都跑不完:只要目标机器的npu-smi info输出里出现Atlas(也就是一台正常的昇腾机器),脚本就以退出码 1 静默终止,报告文件里只留下表头,一行数据都没有。我完整复刻了
inspect_machine()的正常路径(剥掉 ssh,喂一台"NPU 可见 + 健康 Normal"的机器)跑出来的结果:而这正是
SKILL.md让 AI 去执行的那条命令 —— 也就是说,这个 skill 的「能力五:集群巡检」在真实集群上必然失败,而且失败得没有任何错误信息。证据
(1)根因一:
set -e+((VAR++))是 bash 的经典杀手组合scripts/cluster_inspection.sh:8:set -euo pipefailscripts/cluster_inspection.sh:77-84(设备识别,第 1 个检查项):if npu_output=$(remote_exec "$ip" "npu-smi info 2>/dev/null"); then npu_count=$(echo "$npu_output" | grep -c "Atlas" || echo "0") if [ "$npu_count" -gt 0 ]; then ((PASSED_CHECKS++)) # ← :80 else issues="${issues}NPU不可见; " ((FAILED_CHECKS++)) fi((PASSED_CHECKS++))是后置自增:它的表达式值取自增前的值。PASSED_CHECKS初始为 0,所以第一次执行时表达式值就是 0,((0))的退出码是 1。在set -e下,一条返回非零的普通命令会立刻终止整个脚本。实测(本机 bash,最小复现):
同一个文件里还有两处同样的写法:
:88((TOTAL_CHECKS))—— 裸表达式(连自增都没有)。TOTAL_CHECKS初始 0,((0))同样返回 1,同样会杀脚本。:102((FAILED_CHECKS++))、:98((PASSED_CHECKS++))等所有计数器自增,全都有这个问题。实测裸表达式同样致命:
(2)根因二:
grep -c ... || echo "0"让npu_count变成两行scripts/cluster_inspection.sh:78:npu_count=$(echo "$npu_output" | grep -c "Atlas" || echo "0")grep -c在没有匹配时会输出0并返回退出码 1。所以|| echo "0"会再补一行0。结果npu_count的值是两行的字符串"0\n0",不是"0"。实测:
拿它做
[ "$npu_count" -gt 0 ](:79)会报:退出码 2 —— 在
set -e下又是一条终止路径。也就是说:一台没有 NPU 的机器,会在第 79 行把脚本打死;一台有 NPU 的机器,会在第 80 行把脚本打死。两条路都走不通。(3)根因三:空值直接进数值比较
scripts/cluster_inspection.sh:150-154:disk_output=$(remote_exec "$ip" "df -h / 2>/dev/null | tail -1" || echo "") disk_usage=$(echo "$disk_output" | awk '{print $5}' | tr -d '%' || echo "N/A") if [ "$disk_usage" != "N/A" ] && [ "$disk_usage" -gt 80 ]; thenssh 失败(此时
remote_exec已经2>/dev/null吞掉了错误)时disk_output为空 →awk对空输入输出空、退出码 0 →|| echo "N/A"不会触发 →disk_usage是空字符串 →[ "" -gt 80 ]报integer expression expected,退出码 2 →set -e终止。实测:
同样的模式在
:116[ "$temp" -gt 85 ]也有(虽然那里有grep兜了一层,但grep -oP在部分 grep 实现上不支持-P)。(4)这个脚本是被 AI 直接调用的
SKILL.md:127-143:### 能力五:集群巡检与报告 **目标**:批量检查多台昇腾服务器,生成巡检报告。 **批量巡检流程**: ... **巡检脚本使用**: # 批量巡检(需提供服务器列表) bash scripts/cluster_inspection.sh servers.txt # 或直接指定 IP bash scripts/cluster_inspection.sh 192.168.1.101 192.168.1.102 192.168.1.103references/cluster-inspection.md:19与:22是同样的两条命令。而SKILL.md:151还写着:> 巡检脚本仅只读,无危险操作。完整巡检 SOP 见 [AscendMate 巡检与应急 SOP](/monitoring/inspection)。「只读」确实成立 —— 因为它根本跑不到写报告的循环里。
影响
这是最坏的一种失败形态:静默、且输出看起来像成功。
:181-190在巡检循环之前就已经把「# 昇腾集群巡检报告」「巡检时间」「巡检机器数」「## 汇总」「| 机器 IP | NPU 数量 | ... |」全部写进了$REPORT_FILE。脚本被打死后,这个文件留在磁盘上,只有表头、没有数据行。references/cluster-inspection.md:25-27明确说「巡检完成后,报告保存在inspection-report-YYYYMMDD-HHMMSS.md」——它没给任何"怎么判断这次巡检真的完成了"的判据。set -e静默退出,不打印任何错误。 用户只看到退出码 1 和一段没有任何产出的 stdout,而:219-227那段「巡检完成!机器数 / 检查项 / 通过 / 异常」的汇总永远不会打印。SKILL.md把它当作成熟能力分发。 这个 skill 的定位是「给 AI 执行的说明书」——说明书点名的脚本跑不起来,AI 拿不到数据,后面的「巡检报告解读要点」(:145-149)就全部落空。建议修法
根本修法:巡检脚本不该用
set -eset -e的语义是「出错即停,避免在错误状态下继续」。但巡检/采集类脚本的语义恰恰相反:一项检测失败只应记一条异常,然后继续采下一项——你要的是「尽可能多的信息」,不是「第一条错误就刹车」。--- a/scripts/cluster_inspection.sh +++ b/scripts/cluster_inspection.sh @@ -8,7 +8,10 @@ -set -euo pipefail +# 巡检是"采集尽可能多的信息",不是"出错即停":任何一项检测失败只记异常、 +# 继续下一项。所以这里只要 -u(未定义变量)和 pipefail(管道错误),不要 -e。 +set -uo pipefail去掉
-e之后,下面三个根因都不会再杀脚本。但仍然要修,因为它们在报告里会留下错误的数据:修法一:所有计数器自增换成不会返回非零的写法
- ((PASSED_CHECKS++)) + PASSED_CHECKS=$((PASSED_CHECKS + 1))- ((TOTAL_CHECKS)) + TOTAL_CHECKS=$((TOTAL_CHECKS + 1))(或者在文件头加一行
set +e之外的保护:((PASSED_CHECKS++)) || true。但VAR=$((VAR+1))更干净,赋值语句永远返回 0。)修法二:
grep -c的|| echo "0"去掉,改为显式判空- npu_count=$(echo "$npu_output" | grep -c "Atlas" || echo "0") - if [ "$npu_count" -gt 0 ]; then + npu_count=$(echo "$npu_output" | grep -c "Atlas" || true) + npu_count=${npu_count:-0} + if [ "${npu_count:-0}" -gt 0 ]; then|| true只吃掉退出码、不追加输出,npu_count就是干净的单行0。修法三:所有数值比较先校验形状
- if [ "$disk_usage" != "N/A" ] && [ "$disk_usage" -gt 80 ]; then + if [[ "$disk_usage" =~ ^[0-9]+$ ]] && [ "$disk_usage" -gt 80 ]; thentemp(:116)同理。修法四:让"巡检是否真的完成"可判定
报告文件既然会被当作「巡检结果」消费,就必须能区分「跑完了」和「半路死了」。两种做法:
A. 用退出码表达(推荐):
# main() 末尾 if [ "$TOTAL_MACHINES" -lt "$server_count" ]; then echo "巡检异常中断:只处理了 ${TOTAL_MACHINES}/${server_count} 台" >&2 exit 2 # 2 = 没跑完,与 0(全部通过)/ 1(有异常项)区分开 fiB. 用报告内容表达:在表头写「巡检结论:待定」(已经有,
:185),并在结束时用sed把「待定」替换成真正的结论;报告里出现「待定」就说明没跑完。现在的代码是
echo "- 巡检结论:待定" >> "$REPORT_FILE"之后再echo "- 巡检结论:✅..." >> "$REPORT_FILE"(:208/:210)——同一个文件里会有两行「巡检结论」,这也是个需要顺手修的小问题(应该用sed原地替换,而不是追加)。顺带一条:这个脚本可以自测
给
remote_exec加一个"本地 mock"开关,就能在没有任何昇腾机器的环境下验证它:# SSH_USER=__local__ 时直接本地执行,用于自测 remote_exec() { local ip="$1" cmd="$2" if [ "${SSH_USER}" = "__local__" ]; then bash -c "$cmd" return $? fi ssh -o ConnectTimeout=${SSH_TIMEOUT} -o StrictHostKeyChecking=no \ -p ${SSH_PORT} ${SSH_USER}@${ip} "${cmd}" 2>/dev/null }然后在 CI 里放一个假
npu-smi(把Atlas 800/Health: Normal打到 stdout),跑SSH_USER=__local__ bash scripts/cluster_inspection.sh 127.0.0.1,断言退出码 0 且报告里有一行数据。这个测试不需要真的集群,能挡住今天这一整类 bug 回归。验收标准
SSH_USER=__local__ bash scripts/cluster_inspection.sh 127.0.0.1在有 mocknpu-smi的环境下:退出码 0,报告里有 1 行数据,且末尾有「巡检完成」汇总。npu-smi的环境下:退出码 0(或按修法四的 2),报告里有 1 行、异常项列显示「NPU不可见」,脚本不中断。bash -c 'set -uo pipefail; ...'复刻:77-92全部通过,PASSED_CHECKS从 0 正确递增到 1。bash -n scripts/cluster_inspection.sh通过(语法检查),并加进仓库的 CI。