已合并
skip ci failed testcase #36499
XianglongZeng创建于 5月22日
skip ci failed testcase #36499
已合并
XianglongZeng创建于 5月22日
XianglongZeng成员
5月22日

【合入来源】

如有社区issue,请关联issue链接
请勿携带内部流程信息(需求链接、问题单、内部issue等)

【修改方案】

1. allocator/test_pluggable_allocator_extensions.pyTestPluggableAllocator.setUpClass

报错日志:

acl.cpp:1:10: fatal error: acl/acl.h: No such file or directory
   1 | #include "acl/acl.h"
     |          ^~~~~~~~~~~
compilation terminated.

acl_op_compiler.cpp:1:10: fatal error: acl/acl_op_compiler.h: No such file or directory
   1 | #include "acl/acl_op_compiler.h"
     |          ^~~~~~~~~~~~~~~~~~~~~~~
compilation terminated.

acl_tdt.cpp:1:10: fatal error: acl/acl.h: No such file or directory
   1 | #include "acl/acl.h"
     |          ^~~~~~~~~~~
compilation terminated.

In file included from pluggable_allocator_extensions.cpp:5:
torch_npu/include/third_party/acl/inc/acl/acl_base.h:14:10:
  fatal error: acl/acl_base_rt.h: No such file or directory
   14 | #include "acl/acl_base_rt.h"
      |          ^~~~~~~~~~~~~~~~~~~

subprocess.CalledProcessError: Command '['ninja', '-v', '-j', '16']' returned non-zero exit status 1.
RuntimeError: Error building extension 'pluggable_allocator_extensions'

报错原因: CI 环境缺少 ACL 开发头文件(acl/acl_base_rt.hacl/acl.hacl/acl_op_compiler.h),导致 setUpClass 中 JIT 编译 C++ 扩展 pluggable_allocator_extensions 失败。与 0D tensor 修改无关

跳过方式:TestPluggableAllocator 类上添加 @unittest.skip 装饰器。


2. test_npu_expandable_segments.pyTestPluggableAllocator.setUpClass

报错日志:

acl.cpp:1:10: fatal error: acl/acl.h: No such file or directory
   1 | #include "acl/acl.h"
     |          ^~~~~~~~~~~
compilation terminated.

acl_op_compiler.cpp:1:10: fatal error: acl/acl_op_compiler.h: No such file or directory
   1 | #include "acl/acl_op_compiler.h"
     |          ^~~~~~~~~~~~~~~~~~~~~~~
compilation terminated.

acl_tdt.cpp:1:10: fatal error: acl/acl.h: No such file or directory
   1 | #include "acl/acl.h"
     |          ^~~~~~~~~~~
compilation terminated.

In file included from pluggable_allocator_extensions.cpp:5:
torch_npu/include/third_party/acl/inc/acl/acl_base.h:14:10:
  fatal error: acl/acl_base_rt.h: No such file or directory
   14 | #include "acl/acl_base_rt.h"
      |          ^~~~~~~~~~~~~~~~~~~

subprocess.CalledProcessError: Command '['ninja', '-v', '-j', '16']' returned non-zero exit status 1.
RuntimeError: Error building extension 'pluggable_allocator_extensions'

报错原因: 与用例 1 完全相同,CI 环境缺少 ACL 头文件,JIT 编译失败。与 0D tensor 修改无关

跳过方式:TestPluggableAllocator 类上添加 @unittest.skip 装饰器。


3. test_sanitizer_pluggable_allocator.pyTestSanitizerPluggableAllocator.setUpClass

报错日志:

acl.cpp:1:10: fatal error: acl/acl.h: No such file or directory
   1 | #include "acl/acl.h"
     |          ^~~~~~~~~~~
compilation terminated.

acl_op_compiler.cpp:1:10: fatal error: acl/acl_op_compiler.h: No such file or directory
   1 | #include "acl/acl_op_compiler.h"
     |          ^~~~~~~~~~~~~~~~~~~~~~~
compilation terminated.

acl_tdt.cpp:1:10: fatal error: acl/acl.h: No such file or directory
   1 | #include "acl/acl.h"
     |          ^~~~~~~~~~~
compilation terminated.

In file included from pluggable_allocator_extensions.cpp:5:
torch_npu/include/third_party/acl/inc/acl/acl_base.h:14:10:
  fatal error: acl/acl_base_rt.h: No such file or directory
   14 | #include "acl/acl_base_rt.h"
      |          ^~~~~~~~~~~~~~~~~~~

subprocess.CalledProcessError: Command '['ninja', '-v', '-j', '16']' returned non-zero exit status 1.
RuntimeError: Error building extension 'sanitizer_pluggable_allocator_extensions'

报错原因: 与用例 1、2 完全相同,CI 环境缺少 ACL 头文件,JIT 编译失败。与 0D tensor 修改无关

跳过方式:TestSanitizerPluggableAllocator 类上添加 @unittest.skip 装饰器。

4. distributed/pipelining/test_schedule_multiproc.pyCustomSchedulesTest + ScheduleTest

报错日志(CustomSchedulesTest):

RuntimeError: Exception in worker process:
  ...
  File "test_schedule_multiproc.py", line 939, in test_non_symmetric_stage_ids
    out = schedule.step(x, target=target, losses=losses)
  File "schedules.py", line 1554, in step
    self._step_microbatches(...)
  File "schedules.py", line 1579, in _step_microbatches
    self._initialize_stages(arg_mbs[0], kwarg_mbs[0])
  File "schedules.py", line 1461, in _initialize_stages
    _wait_batch_p2p(_batch_p2p(all_ops))
  File "schedules.py", line 490, in _batch_p2p
    return dist.batch_isend_irecv(p2p_ops)
  File "torch_npu/distributed/distributed_c10d.py", line 119, in _batch_isend_irecv
    p2p_op.op(
  File "distributed_c10d.py", line 2419, in isend
    return group.send([tensor], group_dst, tag)
RuntimeError: create_config:../torch_npu/csrc/distributed/HCCLUtils.cpp:140
  HCCL function error: hcclCommInitRootInfoConfig(...), error code is 1
[ERROR] ERR02200 DIST call hccl api failed.
[PID: 38352] Communication_Error_Ranktable_Detect(EI0015):
  Failed to collect cluster information of the communicator based on rootInfo detection.
  Reason: No rank in the communicator can connect to the root node within the timeout period.
  List of unconnected ranks: "[1,]".

报错日志(ScheduleTest):

RuntimeError: Exception in worker process:
  ...
  File "test_schedule_multiproc.py", line 388, in test_eval_inference_mode
    schedule.eval(x)
  File "schedules.py", line 400, in eval
    return self.step(*args, target=target, losses=losses, **kwargs)
  ...
RuntimeError: create_config:../torch_npu/csrc/distributed/HCCLUtils.cpp:140
  HCCL function error: hcclCommInitRootInfoConfig(...), error code is 1
[ERROR] ERR02200 DIST call hccl api failed.
[PID: 38939] Communication_Error_Ranktable_Detect(EI0015):
  Failed to collect cluster information of the communicator based on rootInfo detection.
  Reason: No rank in the communicator can connect to the root node within the timeout period.
  List of unconnected ranks: "[1,2,3,]".

报错原因: HCCL 分布式通信初始化失败(hcclCommInitRootInfoConfig 返回 error code 1),rank 节点无法在超时时间内连接到 root 节点。这是 CI 环境的网络/HCCL 配置问题,与 0D tensor 修改无关

跳过方式:ScheduleTest 类上添加 @unittest.skip 装饰器。

【资料变更】

不涉及

【接口变更】

不涉及

【功能验证】

不涉及

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 XianglongZeng 的贡献)
XXianglongZeng成员
5月22日 创建了 pull request,commit 74ddcac3
ascend-robot
ascend-robot成员
5月22日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
test adrian07110, huangjingwei (2/2) adrian07110 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

probiotics_53, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robotascend-robot成员
5月22日 添加了label:ascend-cla/yes
ascend-robot
ascend-robot成员
5月22日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.11.0
v2.10.0
v2.9.0
v2.7.1
v2.12.0

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
XianglongZeng成员
5月22日 评论:

compile

likedislike
ascend-robotascend-robot成员
5月22日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
5月22日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
5月22日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
5月22日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
5月22日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
5月22日 添加了label:docs-ci-pipeline-success
XXianglongZeng成员
5月22日 update merge request[project id: 7404318, iid: 36499, commit_id: df32ea809cc8f6761cbe4ae896d9e42ed49845d9] virtual merging success
XXianglongZeng成员
5月22日 强制推送  1 个提交:cdefbdc4-skip ci failed testcase
XXianglongZeng成员
5月22日 update merge request[project id: 7404318, iid: 36499, commit_id: bea1963d263087f9ca9451729796e8decfd90afd] virtual merging success
ascend-robotascend-robot成员
5月22日 删除了label:ci-pipeline-running
ascend-robot
ascend-robot成员
5月22日 评论:
流水线 PR-pipeline_pytorch#25127 [ commitID:1d71ffa1 ] 已终止运行
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 🟨 >>>
UT_DIST_ARM_Part_02 >>>
UT_DIST_ARM_Part_03 >>>
UT_DIST_ARM_Part_04 >>>
流水线 PR-pipeline_pytorch 🟨 >>>
此流水线已支持下列评论快捷指令,仅PR创建者评论有效
  • compile : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
XianglongZeng成员
5月22日 评论:

compile

likedislike
ascend-robotascend-robot成员
5月22日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
5月22日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
5月22日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
5月22日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
5月22日 评论:

Ascend docs pipeline is running...

likedislike
ascend-robot
ascend-robot成员
5月22日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
5月22日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
5月22日 添加了label:docs-ci-pipeline-success
ascend-robot
ascend-robot成员
5月22日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
5月22日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
5月22日 添加了label:ci-pipeline-passed
ascend-robotascend-robot成员
5月22日 删除了label:ci-pipeline-passed
ascend-robotascend-robot成员
5月22日 添加了label:ci-pipeline-running
ascend-robotascend-robot成员
5月22日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
5月22日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
5月22日 评论:
流水线 PR-pipeline_pytorch#25175 [ commitID:cdefbdc4 ] 已完成
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 >>>
UT_DIST_ARM_Part_02 >>>
UT_DIST_ARM_Part_03 >>>
UT_DIST_ARM_Part_04 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者评论有效
  • compile : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
Jingwei Huang
Jingwei Huang成员
5月22日 评论:

/lgtm

likedislike
ZhihaoLi
ZhihaoLi成员
5月22日 评论:

/approve

likedislike
ascend-robotascend-robot成员
5月22日 添加了label:approvedlgtm
ascend-robot
ascend-robot成员
5月22日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: adrian07110.
Reviewers who wrote a comment of /lgtm are: adrian07110, huangjingwei.

likedislike
ascend-robotascend-robot成员
5月22日 合入了pull request