已合并

feat(libtorch_npu): add HCCL test case for libtorch_npu #31741

kuhn7创建于 3月12日从kuhn7/pytorch： v2.8.0_libtorch_ut_for_hccl 合入到 Ascend/pytorch： v2.8.0

feat(libtorch_npu): add HCCL test case for libtorch_npu #31741

已合并

kuhn7创建于 3月12日

从kuhn7/pytorch v2.8.0_libtorch_ut_for_hccl合入到Ascend/pytorch v2.8.0

kuhn7成员

3月12日

【合入来源】

如有社区issue，请关联issue链接
请勿携带内部流程信息（需求链接、问题单、内部issue等）

需求
问题单
issue/工单
重构优化
资料更新

【修改方案】

请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列
如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）

【资料变更】

请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”

【功能验证】

说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]

代码注释完备，正确记录错误日志
代码实现进行了返回值、空指针等校验
PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等
PR持续集成流水线（CI）执行通过，代码检查无异常

Pull Request已成功合入, 合并人@ascend-robot

（感谢 kuhn7 的贡献）

K kuhn7成员

3月12日创建了 pull request，commit 6fc2f996

AtlasAccount成员

3月12日评论：

openLiBing可接管PR, PR详情链接:
https://www.openlibing.com/apps/transitionPrDetail?owner=Ascend&repo=pytorch&number=31741&platform=gitcode&codeHostingPlatformFlag=gitcode

ascend-robot成员

3月12日评论：

Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here

PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module	lgtm status	approve status
repo-Ascend/pytorch	✅ liwei386, huangyunlong2022 (2/2)	✅ liwei386 (1/1)
torch_npu/csrc/distributed	✅ liwei386, huangyunlong2022 (2/2)	✅ liwei386 (1/1)

💡 Tip:

Committer can comment /approve or /lgtm

Commenting /approve implies both code review (lgtm) and intent to merge (approve)

ascend-robot成员

3月12日添加了label：ascend-cla/yes

ascend-robot成员

3月12日评论：

CLA Signature Pass

kuhn7, thanks for your pull request. All authors of the commits have signed the CLA. 👍

AtlasAccount成员3月12日进行代码检视1

torch_npu/csrc/distributed/ProcessGroupHCCL.hpp

66#include <variant>

77#include <future>

88#include <atomic>

9+#include <sys/stat.h>

10+#include <unistd.h>

11+

912#include <c10d/ProcessGroup.hpp>

1013#include <c10d/Store.hpp>

1114#include <c10d/Utils.hpp>

1417#include "third_party/hccl/inc/hccl/hccl.h"

1518#include "torch_npu/csrc/core/npu/interface/HcclInterface.h"

1619#include "torch_npu/csrc/distributed/HCCLUtils.hpp"

17-#include "torch_npu/csrc/npu/Event.h"

AtlasAccount3月12日评论：

代码结构与可维护性: 将头文件"torch_npu/csrc/npu/Event.h"更改为"torch_npu/csrc/core/npu/NPUEvent.h"。虽然这是路径修正，但需要确保新路径下的头文件内容与原有头文件兼容，特别是NPUEvent类的接口是否一致。如果接口有变化，可能影响代码中多处使用NPUEvent的地方，例如hcclStartEvents_和hcclEndEvents_成员的类型定义。

问题类型: 代码结构与可维护性

文件路径: torch_npu/csrc/distributed/ProcessGroupHCCL.hpp

行号: 20

问题代码:

#include "torch_npu/csrc/core/npu/NPUEvent.h"

修改建议:

1. 确认新头文件中的NPUEvent类与原有头文件中的Event类接口一致。2. 如果接口有差异，需要同步修改所有使用NPUEvent的代码，例如WorkHCCL类中的hcclStartEvents_和hcclEndEvents_成员类型。3. 建议在修改后运行完整的编译和测试，确保没有因头文件变更引入的编译错误或行为变化。

---
此评论由代码审查工具自动生成

AtlasAccount成员

3月12日评论：

问题/功能描述

本次PR主要包含四项修改：一是调整构建脚本，优化头文件复制规则并新增对第三方库（ACL/HCCL）头文件的支持；二是新增一个独立的HCCL AllReduce功能测试示例，用于验证NPU设备上的分布式通信功能；三是进行代码清理，移除一处冗余的条件编译宏，简化代码结构；四是对分布式通信组件进行条件编译优化和头文件路径调整，以精简libtorch库体积并提升构建灵活性；五是修复了分布式跟踪工具（Flight Recorder）中一个潜在的竞态条件问题，提升了并发安全性。

修改方案描述

构建脚本与测试用例：修改 build_libtorch_npu.py 中的 copy_hpp 函数，调整分布式目录头文件的复制规则，并新增对 third_party/acl 和 third_party/hccl 目录头文件的复制。同时，在 examples/libtorch_hccl/ 目录下新增了完整的C++测试项目，包含源码、构建配置和运行脚本。
代码清理与优化：移除 ProcessGroupHCCL.cpp 中 getMstxHcclMsg 函数内冗余的 #ifndef BUILD_LIBTORCH 宏。为 DumpPipe 调试结构体添加 #ifndef BUILD_LIBTORCH 条件编译，并更新事件管理头文件引用路径至 torch_npu/csrc/core/npu/NPUEvent.h。
并发安全修复：调整 HCCLTraceBuffer::record 函数中锁的获取时机，将堆栈跟踪收集操作移至锁保护范围之外，消除潜在的竞态条件，确保数据一致性。

kuhn7成员

3月12日评论：

compile

ascend-robot成员

3月12日添加了label：ci-pipeline-running

ascend-robot成员

3月12日删除了label：ci-pipeline-running

ascend-robot成员

3月12日添加了label：ci-pipeline-failed

ascend-robot成员

3月12日评论：

流水线 PR-pipeline_pytorch#10335 运行失败

阶段	任务名	状态	详情
编译构建	Build_X86	✅	>>>
	Build_LibTorch	✅	>>>
	Build_ARM	✅	>>>
	Build_ARM_inductor	🛑	>>>
	Build_X86_torchair	🛑	>>>
	Build_ARM_torchair	🛑	>>>
恶意代码检查	Antipoison	✅	>>>
编码安全与规范检查	CodeCheck	✅	>>>
编码安全与规范检查	check_error	✅	>>>
开源片段检查	SCA	✅	>>>
开发者测试	UT_X86_Part_01	🛑	>>>
	UT_X86_Part_02	🛑	>>>
	UT_ARM_A3_Part_01	🛑	>>>
	UT_ARM_A3_Part_02	🛑	>>>
	UT_DIST_X86_Part_01	❌	>>>
	UT_DIST_X86_Part_02	❌	>>>
	UT_DIST_X86_Part_03	❌	>>>
	UT_DIST_X86_Part_04	❌	>>>
	UT_inductor_Part_01	🛑	>>>
	UT_inductor_Part_02	🛑	>>>
	UT_inductor_Part_03	🛑	>>>
	UT_inductor_Part_04	🛑	>>>
	UT_ARM_A2_Part_01	✅	>>>
	UT_ARM_A2_Part_02	❌	>>>
流水线	PR-pipeline_pytorch	❌	>>>

kuhn7成员

3月13日评论：

compile

ascend-robot成员

3月13日删除了label：ci-pipeline-failed

ascend-robot成员

3月13日添加了label：ci-pipeline-running

ascend-robot成员

3月13日删除了label：ci-pipeline-running

ascend-robot成员

3月13日添加了label：ci-pipeline-failed

ascend-robot成员

3月13日评论：

流水线 PR-pipeline_pytorch#10364 运行失败

阶段	任务名	状态	详情
编译构建	Build_X86	✅	>>>
	Build_LibTorch	✅	>>>
	Build_ARM	✅	>>>
	Build_ARM_inductor	🛑	>>>
	Build_X86_torchair	🛑	>>>
	Build_ARM_torchair	🛑	>>>
恶意代码检查	Antipoison	✅	>>>
编码安全与规范检查	CodeCheck	✅	>>>
编码安全与规范检查	check_error	✅	>>>
开源片段检查	SCA	✅	>>>
开发者测试	UT_X86_Part_01	🛑	>>>
	UT_X86_Part_02	🛑	>>>
	UT_ARM_A3_Part_01	🛑	>>>
	UT_ARM_A3_Part_02	🛑	>>>
	UT_DIST_X86_Part_01	❌	>>>
	UT_DIST_X86_Part_02	✅	>>>
	UT_DIST_X86_Part_03	❌	>>>
	UT_DIST_X86_Part_04	✅	>>>
	UT_inductor_Part_01	🛑	>>>
	UT_inductor_Part_02	🛑	>>>
	UT_inductor_Part_03	🛑	>>>
	UT_inductor_Part_04	🛑	>>>
	UT_ARM_A2_Part_01	✅	>>>
	UT_ARM_A2_Part_02	❌	>>>
流水线	PR-pipeline_pytorch	❌	>>>

kuhn7成员

3月13日评论：

compile

ascend-robot成员

3月13日删除了label：ci-pipeline-failed

此处折叠了6条事件消息查看更多

ascend-robot成员

3月13日添加了label：ci-pipeline-passed

ascend-robot成员

3月13日评论：

流水线 PR-pipeline_pytorch#10431 （重试第1次）已完成

阶段	任务名	状态	详情
编译构建	Build_X86	✅	>>>
	Build_LibTorch	✅	>>>
	Build_ARM	✅	>>>
	Build_ARM_inductor	🛑	>>>
	Build_X86_torchair	🛑	>>>
	Build_ARM_torchair	🛑	>>>
恶意代码检查	Antipoison	✅	>>>
编码安全与规范检查	CodeCheck	✅	>>>
编码安全与规范检查	check_error	✅	>>>
开源片段检查	SCA	✅	>>>
开发者测试	UT_X86_Part_01	🛑	>>>
	UT_X86_Part_02	🛑	>>>
	UT_ARM_A3_Part_01	🛑	>>>
	UT_ARM_A3_Part_02	🛑	>>>
	UT_DIST_X86_Part_01	✅	>>>
	UT_DIST_X86_Part_02	✅	>>>
	UT_DIST_X86_Part_03	✅	>>>
	UT_DIST_X86_Part_04	✅	>>>
	UT_inductor_Part_01	🛑	>>>
	UT_inductor_Part_02	🛑	>>>
	UT_inductor_Part_03	🛑	>>>
	UT_inductor_Part_04	🛑	>>>
	UT_ARM_A2_Part_01	✅	>>>
	UT_ARM_A2_Part_02	✅	>>>
流水线	PR-pipeline_pytorch	✅	>>>

huangyunlong成员

3月14日评论：

/lgtm

liwei386成员

3月14日评论：

/approve

ascend-robot成员

3月14日添加了label：approvedlgtm

ascend-robot成员

3月14日评论：

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: liwei386.
Reviewers who wrote a comment of /lgtm are: huangyunlong2022, liwei386.

ascend-robot成员

3月14日合入了pull request