已合并

feat(libtorch_npu): add HCCL test case for libtorch_npu #31743

kuhn7创建于 3月12日从kuhn7/pytorch： v2.10.0_libtorch_ut_for_hccl 合入到 Ascend/pytorch： v2.10.0

feat(libtorch_npu): add HCCL test case for libtorch_npu #31743

已合并

kuhn7创建于 3月12日

从kuhn7/pytorch v2.10.0_libtorch_ut_for_hccl合入到Ascend/pytorch v2.10.0

kuhn7成员

3月12日

【合入来源】

如有社区issue，请关联issue链接
请勿携带内部流程信息（需求链接、问题单、内部issue等）

需求
问题单
issue/工单
重构优化
资料更新

【修改方案】

请描述修改内容的具体实现，涉及哪些组件之间进行交互，可以用1、2、3、...进行罗列
如果是需求或者重构类的PR，需要补充详细设计文档（说明上下游组件关系、时序图、类图、DFX能力等内容）

【资料变更】

请确认是否涉及资料变更。如涉及，需要在PR中体现，并简要说明修改内容。如不涉及，需填写“不涉及”

【接口变更】

请确认是否涉及跨代码仓或者客户面可见的接口变更。如涉及，需要详细说明接口以及对应的变更内容，同时需要在资料中体现。如不涉及，需填写“不涉及”

【功能验证】

说明测试场景，测试方法。如果本次测试方式与常规单元测试不同，请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护，并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检，自检通过或不涉及，均修改 [ ] 为 [x]

代码注释完备，正确记录错误日志
代码实现进行了返回值、空指针等校验
PR标题正确使用类型标签，如：feat、fix、refactor、docs、test等
PR持续集成流水线（CI）执行通过，代码检查无异常

Pull Request已成功合入, 合并人@ascend-robot

（感谢 kuhn7 的贡献）

K kuhn7成员

3月12日创建了 pull request，commit 0f0d2aee

AtlasAccount成员

3月12日评论：

openLiBing可接管PR, PR详情链接:
https://www.openlibing.com/apps/transitionPrDetail?owner=Ascend&repo=pytorch&number=31743&platform=gitcode&codeHostingPlatformFlag=gitcode

ascend-robot成员

3月12日评论：

Thanks for your pull-request.
The full list of commands accepted by me can be found at here。
You can get sig-info at here

PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module	lgtm status	approve status
repo-Ascend/pytorch	✅ liwei386, huangyunlong2022 (2/2)	✅ liwei386 (1/1)
torch_npu/csrc/distributed	✅ liwei386, huangyunlong2022 (2/2)	✅ liwei386 (1/1)

💡 Tip:

Committer can comment /approve or /lgtm

Commenting /approve implies both code review (lgtm) and intent to merge (approve)

ascend-robot成员

3月12日添加了label：ascend-cla/yes

ascend-robot成员

3月12日评论：

CLA Signature Pass

kuhn7, thanks for your pull request. All authors of the commits have signed the CLA. 👍

AtlasAccount成员

3月12日评论：

问题/功能描述

本次PR主要包含三个方面的修改：一是优化构建脚本，调整头文件复制规则以支持第三方库并移除冗余递归；二是新增一个独立的HCCL集合通信示例，用于验证NPU设备上的ProcessGroupHCCL功能；三是对现有代码进行了一系列优化和修复，包括移除冗余的条件编译宏、通过条件编译优化调试功能以提升libtorch的纯净度、以及修复分布式跟踪记录功能中潜在的线程安全问题。

修改方案描述

构建脚本与示例代码：修改了build_libtorch_npu.py中的copy_hpp函数，将递归复制模式替换为精确的第三方库头文件路径。同时，新增了examples/libtorch_hccl目录，包含完整的HCCL AllReduce测试用例（C++代码、CMakeLists、运行脚本和文档）。
代码优化与清理：移除了getMstxHcclMsg函数中重复的#ifndef BUILD_LIBTORCH条件编译宏，简化了代码结构。
条件编译优化：通过#ifndef BUILD_LIBTORCH宏将调试功能DumpPipe结构体的定义包裹起来，确保在构建libtorch库时不编译此调试依赖，并更新了相关事件头文件的引用路径。
线程安全修复：调整了HCCLTraceBuffer::record方法中互斥锁的获取时机，将其提前至收集堆栈跟踪信息之前，从而消除了多线程并发访问时的数据竞争风险。

kuhn7成员

3月12日评论：

compile

ascend-robot成员

3月12日添加了label：ci-pipeline-running

ascend-robot成员

3月12日删除了label：ci-pipeline-running

ascend-robot成员

3月12日添加了label：ci-pipeline-failed

ascend-robot成员

3月12日评论：

流水线 PR-pipeline_pytorch#10337 运行失败

阶段	任务名	状态	详情
编译构建	Build_X86	✅	>>>
	Build_LibTorch	✅	>>>
	Build_ARM	✅	>>>
	Build_ARM_inductor	🛑	>>>
	Build_X86_torchair	🛑	>>>
	Build_ARM_torchair	🛑	>>>
恶意代码检查	Antipoison	✅	>>>
编码安全与规范检查	CodeCheck	✅	>>>
编码安全与规范检查	check_error	✅	>>>
开源片段检查	SCA	✅	>>>
开发者测试	UT_X86_Part_01	🛑	>>>
	UT_X86_Part_02	🛑	>>>
	UT_ARM_A3_Part_01	🛑	>>>
	UT_ARM_A3_Part_02	🛑	>>>
	UT_DIST_X86_Part_01	✅	>>>
	UT_DIST_X86_Part_02	✅	>>>
	UT_DIST_X86_Part_03	❌	>>>
	UT_DIST_X86_Part_04	❌	>>>
	UT_inductor_Part_01	🛑	>>>
	UT_inductor_Part_02	🛑	>>>
	UT_inductor_Part_03	🛑	>>>
	UT_inductor_Part_04	🛑	>>>
	UT_ARM_A2_Part_01	❌	>>>
	UT_ARM_A2_Part_02	❌	>>>
流水线	PR-pipeline_pytorch	❌	>>>

kuhn7成员

3月13日评论：

compile

ascend-robot成员

3月13日删除了label：ci-pipeline-failed

ascend-robot成员

3月13日添加了label：ci-pipeline-running

ascend-robot成员

3月13日删除了label：ci-pipeline-running

ascend-robot成员

3月13日添加了label：ci-pipeline-failed

ascend-robot成员

3月13日评论：

流水线 PR-pipeline_pytorch#10366 运行失败

阶段	任务名	状态	详情
编译构建	Build_X86	✅	>>>
	Build_LibTorch	✅	>>>
	Build_ARM	✅	>>>
	Build_ARM_inductor	🛑	>>>
	Build_X86_torchair	🛑	>>>
	Build_ARM_torchair	🛑	>>>
恶意代码检查	Antipoison	✅	>>>
编码安全与规范检查	CodeCheck	✅	>>>
编码安全与规范检查	check_error	✅	>>>
开源片段检查	SCA	✅	>>>
开发者测试	UT_X86_Part_01	🛑	>>>
	UT_X86_Part_02	🛑	>>>
	UT_ARM_A3_Part_01	🛑	>>>
	UT_ARM_A3_Part_02	🛑	>>>
	UT_DIST_X86_Part_01	❌	>>>
	UT_DIST_X86_Part_02	✅	>>>
	UT_DIST_X86_Part_03	❌	>>>
	UT_DIST_X86_Part_04	✅	>>>
	UT_inductor_Part_01	🛑	>>>
	UT_inductor_Part_02	🛑	>>>
	UT_inductor_Part_03	🛑	>>>
	UT_inductor_Part_04	🛑	>>>
	UT_ARM_A2_Part_01	✅	>>>
	UT_ARM_A2_Part_02	❌	>>>
流水线	PR-pipeline_pytorch	❌	>>>

kuhn7成员

3月13日评论：

compile

ascend-robot成员

3月13日删除了label：ci-pipeline-failed

ascend-robot成员

3月13日添加了label：ci-pipeline-running

ascend-robot成员

3月13日删除了label：ci-pipeline-running

ascend-robot成员

3月13日添加了label：ci-pipeline-failed

ascend-robot成员

3月13日评论：

流水线 PR-pipeline_pytorch#10428 运行失败

阶段	任务名	状态	详情
编译构建	Build_X86	✅	>>>
	Build_LibTorch	✅	>>>
	Build_ARM	✅	>>>
	Build_ARM_inductor	🛑	>>>
	Build_X86_torchair	🛑	>>>
	Build_ARM_torchair	🛑	>>>
恶意代码检查	Antipoison	✅	>>>
编码安全与规范检查	CodeCheck	✅	>>>
编码安全与规范检查	check_error	✅	>>>
开源片段检查	SCA	✅	>>>
开发者测试	UT_X86_Part_01	🛑	>>>
	UT_X86_Part_02	🛑	>>>
	UT_ARM_A3_Part_01	🛑	>>>
	UT_ARM_A3_Part_02	🛑	>>>
	UT_DIST_X86_Part_01	✅	>>>
	UT_DIST_X86_Part_02	✅	>>>
	UT_DIST_X86_Part_03	✅	>>>
	UT_DIST_X86_Part_04	✅	>>>
	UT_inductor_Part_01	🛑	>>>
	UT_inductor_Part_02	🛑	>>>
	UT_inductor_Part_03	🛑	>>>
	UT_inductor_Part_04	🛑	>>>
	UT_ARM_A2_Part_01	✅	>>>
	UT_ARM_A2_Part_02	✅	>>>
流水线	PR-pipeline_pytorch	❌	>>>

kuhn7成员

3月13日评论：

get-log

ascend-robot成员

3月13日删除了label：ci-pipeline-failed

ascend-robot成员

3月13日添加了label：ci-pipeline-passed

huangyunlong成员

3月14日评论：

/lgtm

liwei386成员

3月14日评论：

/approve

ascend-robot成员

3月14日添加了label：approvedlgtm

ascend-robot成员

3月14日评论：

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: liwei386.
Reviewers who wrote a comment of /lgtm are: liwei386, huangyunlong2022.

ascend-robot成员

3月14日合入了pull request