• 失败类型: 环境问题 / Runner机器异常
• 根因: ST_test 自 15:03 进入排队，至 18:28 仍未获调度，平台延迟调度重试耗尽，报 任务排队超时(Queued timeout)；该 Job 未真正开始执行。
• 处置建议: 直接重新触发流水线即可（执行机资源/调度瞬时不足，可重试恢复）。
• 排除项: 非代码问题——其余 11 个 Job（Test_get-pr / Test_pre_pipeline / Antipoison / CodeCheck* / SCA / Test_finish 等）全部 COMPLETED；ST_test 的 Checkout、download、run_st_test、后处理步骤日志均为空，说明失败发生在调度阶段而非用例执行或编译阶段。

• 判据: queued state timeout | 任务排队超时 → 平台调度问题，可重试
• 定位步骤: ST_test / 0_初始化步骤.log
• 影响 Job: ST_test
• 根因证据(日志原文):

[2026-11-03 18:28:20.346+08:00] [ERROR] [server] - Exceed maximum retry after delay schedule.
[2026-11-03 18:28:20.497+08:00] [ERROR] [server] - [CP.COMP1105][Description] 任务排队超时
[Description_en] Queued timeout.(addition_en) Exceed maximum retry after delay schedule.
[RootCause] 可能是执行机配置或者网络问题。[Solution] 请检查执行机配置或者网络。

• 补充证据: ST_test 的 1_Checkout.log / 2_download.log / 3_run_st_test.log / 4_后处理步骤.log 均为空文件，印证任务自 15:03 起一直处于排队态、始终未落到执行机上运行。失败与 PR 代码变更无关。

[{"repo": "ops-tilelang", "run_number": 42, "Failed_Type": "环境问题", "Failed_Sub_Type": "Runner机器异常", "Failed_Reason": "ST_test 任务排队超时(CP.COMP1105), 延迟调度重试耗尽, 任务未进入执行阶段, 与 PR 代码变更无关", "evidence": "[CP.COMP1105][Description] 任务排队超时 Queued timeout. Exceed maximum retry after delay schedule.", "suggestion": "直接重新触发流水线重试", "jobs": "ST_test"}]

• 失败类型: 环境问题（非 PR 代码问题）
• 根因: ST_test 运行时 torch_npu 在 LazySetDevice 阶段报 error code 507033，底层 Failed to start the device：TSDaemon process initialization is abnormal (E39005)，TsdOpen failed. devId=2/3，rtSetDevice execution failed, reason=device retain error。分配到的 2、3 号卡均无法打开，NPU 用例全部在设备初始化阶段失败。
• 处置建议: ① 直接重试流水线（设备/驱动侧瞬时异常，重试大概率恢复）；② 重试仍复现 → 转运维检查该 runner 的 NPU 卡 2/3（设备状态/驱动/TSD 进程），按日志提示获取 host/device 日志并联系技术支持。
• 排除项: 排除 PR 代码问题——失败点在各用例的 generate_big_fuse_test_data 首个 torch.randn(..., device=device) 设备初始化，而非断言/精度/算子执行；本次 run 其余 Job（编译、CodeCheck、SCA、PreSmoke 等）均通过；同一轮 8 个不依赖 NPU 的用例通过。

• 判据: RuntimeError: LazySetDevice ... error code is 507033 + Failed to start the device. + TSDaemon 初始化异常(E39005) + TsdOpen failed. devId=2/3
• 定位步骤: ST_test / 3_run_st_test.log
• 影响 Job: ST_test
• 影响范围: 跑在 NPU 2、3 上的 38 个用例（target=auto 全失败；target=pto 30 failed / 8 passed），失败均发生在首次设备访问处
• 根因证据(日志原文):

E       RuntimeError: LazySetDevice:../torch_npu/csrc/core/npu/NPUFunctions.cpp:342 NPU function error: err, error code is 507033
E       [Error]: Failed to start the device.
E       [PID: 18835] ... Inner_Error_TSDaemon_Process_Abnormal(E39005): The TSDaemon process initialization is abnormal.
E               TsdOpen failed. devId=3, tdt error=1.[FUNC:PrintfTsdError][FILE:runtime.cc][LINE:2194]
E               rtSetDevice execution failed, reason=device retain error[FUNC:FuncErrorReason][FILE:error_message_manage.cc][LINE:76]
E               Context validation failed. Reason: No valid context is bound to the current thread.

第二轮 target=pto 同样失败，TsdOpen failed. devId=2，说明是设备侧问题而非单个用例偶发：

============ 30 failed, 8 passed, 104 warnings in 109.77s (0:01:49) ============
>>> UT FAILED for target: pto

[{"repo": "ops-tilelang", "run_number": 52, "Failed_Type": "环境问题", "Failed_Sub_Type": "设备/NPU异常", "Failed_Reason": "ST_test 全部 NPU 用例在 torch_npu LazySetDevice 阶段失败: error code 507033, Failed to start the device, TSDaemon 初始化异常(E39005), TsdOpen failed devId=2/3, rtSetDevice device retain error", "evidence": "RuntimeError: LazySetDevice:../torch_npu/csrc/core/npu/NPUFunctions.cpp:342 NPU function error: err, error code is 507033 / [Error]: Failed to start the device. / Inner_Error_TSDaemon_Process_Abnormal(E39005) / TsdOpen failed. devId=3, tdt error=1", "suggestion": "重试流水线; 若复现转运维检查 runner NPU 2/3 设备状态/驱动/TSD 进程, 获取 host/device 日志联系技术支持; 非 PR 代码问题", "jobs": "ST_test"}]