已合并
在A5环境上输入数据类型是int类型时调用tensor.div_加rounding_mode=trunc;在A5环境跳过ND->NC1HWC0格式的转换。 #41495
在A5环境上输入数据类型是int类型时调用tensor.div_加rounding_mode=trunc;在A5环境跳过ND->NC1HWC0格式的转换。 #41495
已合并
xiaoqi-zhou创建于 7月13日
xiaoqi-zhou成员
7月13日

【合入来源】

issue:https://gitcode.com/Ascend/pytorch/issues/2827

【修改方案】

  1. aclnnNpuFormatCastCalculateSizeAndFormat不支持在A5环境上数据从ND->NC1HWC0格式的转换,需要在A5环境跳过执行这样格式转换的用例。
  2. aclnnInplaceDivs在A5环境上不支持输入为int类型的数据除以一个scalar类型的数据,需要在调用tensor.div的位置加上rounding_mode='trunc'

【资料变更】

不涉及

【接口变更】

不涉及

【功能验证】

说明测试场景,测试方法。如果本次测试方式与常规单元测试不同,请详细说明您的测试步骤
新增/变更内容是否已新增/适配UT测试用例看护,并补充测试自验证截图

【CheckList】

PR提交人对以下CheckList自检项进行全量自检,自检通过或不涉及,均修改 [ ] 为 [x]

likedislike
Pull Request已成功合入, 合并人@ascend-robot
(感谢 xiaoqi-zhou 的贡献)
Xxiaoqi-zhou成员
7月13日 创建了 pull request,commit 7b46e014
atomgit-bot
atomgit-bot
7月13日 评论:

变更摘要

本PR主要包含两方面改动:一是在 Atlas A5(Ascend950)环境下,对 ProcessGroupHCCLallreducereducereduce_scatter 三个集合通信操作在 AVG 归约后的除法行为进行修正——当张量类型为整型时,调用 tensor.div_ 时显式传入 rounding_mode="trunc" 以执行截断除法,避免默认行为在整型场景下的语义差异;二是为 5 个分布式测试文件中的关键测试用例添加 @SupportedDevices 装饰器,限定其仅在 Ascend910AAscend910BAscend910_93 设备上执行,同时清理了未使用的导入。

主要改动

  • A5 环境整型张量的 AVG 除法行为修正: 在 ProcessGroupHCCL::allreduceProcessGroupHCCL::reduceProcessGroupHCCL::reduce_scatter 中,新增 is_atlas_a5 判断逻辑,当检测到当前为 A5 环境且张量为整型时,对 tensor.div_(getSize()) 追加 "trunc" 取整模式参数,其余类型保持原有除法行为不变。

  • 分布式测试用例设备限定: 在 test_allgather.pytest_allgather_base.pytest_reduce.pytest_reduce_scatter.pytest_reduce_scatter_base.py 中,为 test_all_gather_disttest_all_gather_base_disttest_reduce_disttest_reduce_scatter 等多个测试方法添加 @SupportedDevices(['Ascend910A', 'Ascend910B', 'Ascend910_93']) 装饰器,使这些集合通信测试仅在指定 NPU 设备上运行。

  • 测试文件导入清理: 上述 5 个测试文件中移除了未使用的 unittestosrandintmpTestCase 等导入,并统一引入 SupportedDevices 装饰器。

likedislike
atomgit-bot
atomgit-bot
7月13日 评论:

代码审查

审查总结

已逐一审查全部 6 个变更文件,结论如下:

文件 审查结果
test/distributed/test_allgather.py 无问题(import 清理 + @SupportedDevices 装饰器添加正确)
test/distributed/test_allgather_base.py 无问题(移除未使用的 import + 添加装饰器正确)
test/distributed/test_reduce.py 无问题(import 清理 + 装饰器正确)
test/distributed/test_reduce_scatter.py 无问题(import 清理 + 装饰器正确)
test/distributed/test_reduce_scatter_base.py 无问题(import 清理 + 装饰器正确)
torch_npu/csrc/distributed/ProcessGroupHCCL.cpp 1 个 P3 发现

发现统计:P0: 0, P1: 0, P2: 0, P3: 1

总体风险评估:低风险。C++ 变更对 allreducereducereduce_scatter 三个关键函数的 A5 整数除法修复逻辑正确 —— is_atlas_a5 标志被正确提升到循环外、at::isIntegralType 排除了 bool、div_rounding_mode="trunc" 参数语义匹配需求。Python 测试文件的 import 清理(移除未使用的 unittestosrandintmp 等)和 @SupportedDevices 装饰器添加均合理:SUM 类测试在 A5 上因格式转换差异被跳过,AVG 类测试保留在 A5 上运行以覆盖新的截断行为。唯一的 P3 发现是同文件中其他 5 个 AVG 后处理路径(allreduce_coalesced_reduce_oop 等)未获得相同的 A5 整数修复,属于一致性改进建议,不影响本次变更引入的三个路径的正确性。

⚠️ 已识别出整体风险,但无法提取行内评论,请参考整体评估。

likedislike
ascend-robotascend-robot成员
7月13日 添加了label:ascend-cla/yes
ascend-robotascend-robot成员
7月13日 添加了label:needs-issue
ascend-robot
ascend-robot成员
7月13日 评论:

CLA Signature Pass

xiaoqi-zhou, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
7月13日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
test wjlflyer, renyujin (2/2) wjlflyer (1/1)
torch_npu/csrc/distributed wjlflyer, renyujin (2/2) wjlflyer (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

xiaoqi-zhou, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
ascend-robot
ascend-robot成员
7月13日 评论:

Linking Issue Notice

@xiaoqi-zhou , the pull request must be linked to at least one issue.
If an issue has already been linked, but the needs-issue label remains, you can remove the label by commenting /check-issue .

likedislike
ascend-robot
ascend-robot成员
7月13日 评论:

当前仓库存在以下 保护分支

Protected Branch Version Release
master
v2.7.1
v2.9.0
v2.10.0
v2.11.0
v2.12.0
v2.9.0-26.1.0
v2.10.0-26.1.0
v2.7.1-26.1.0
v2.12.0-26.1.0
v2.11.0-26.1.0
ci-test

评论 /sync <branch1> <branch2> ... 可将当前 PR 修改同步到其它分支(创建同步 PR):
a) 如果当前 PR 是 Open 状态,同步操作将延迟到 PR 被合并时执行
b) 如果当前 PR 已经 Merged,将立即执行同步操作

注意:

  1. /sync 命令可以指定同步到多个分支,仅最后一个 /sync 命令生效
  2. 如果创建的同步 PR 不正确,可通过向同步 PR 的源分支提交轻量级 PR 完善,或使用 /close 命令关闭
likedislike
ascend-robot
ascend-robot成员
7月13日 评论:

通过PR创建命令启动流水线PR-pipeline_pytorch失败:获取流水线webHook失败!

likedislike
Xxiaoqi-zhou成员
7月13日 修改了pull request 的描述
此处折叠了5条事件消息 查看更多
Xxiaoqi-zhou成员
7月13日 update merge request[project id: 7404318, iid: 41495, commit_id: 229ffb5be8db34db27e69a02b30d65cc1240cd70] virtual merging success
ascend-robot
ascend-robot成员
7月13日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
7月13日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
7月13日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月13日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
7月13日 添加了label:docs-ci-pipeline-success
xiaoqi-zhou成员
7月13日 评论:

compile

likedislike
ascend-robotascend-robot成员
7月13日 添加了label:ci-pipeline-running
ascend-robot
ascend-robot成员
7月13日 评论:

ascend docs pipeline is running...

likedislike
ascend-robotascend-robot成员
7月13日 删除了label:docs-ci-pipeline-success
ascend-robotascend-robot成员
7月13日 添加了label:docs-ci-pipeline-running
ascend-robot
ascend-robot成员
7月13日 评论:

✅ 跳过 docs ci 检查,没有需要检查的文档文件

likedislike
ascend-robotascend-robot成员
7月13日 删除了label:docs-ci-pipeline-running
ascend-robotascend-robot成员
7月13日 添加了label:docs-ci-pipeline-success
xiaoqi-zhou成员
7月14日 评论:

retry

likedislike
ascend-robotascend-robot成员
7月14日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
7月14日 添加了label:ci-pipeline-failed
ascend-robotascend-robot成员
7月14日 删除了label:ci-pipeline-failed
ascend-robotascend-robot成员
7月14日 添加了label:ci-pipeline-running
xiaoqi-zhou成员
7月14日 评论:

retry

likedislike
xiaoqi-zhou成员
7月14日 评论:

retry

likedislike
ascend-robotascend-robot成员
7月14日 删除了label:ci-pipeline-running
ascend-robotascend-robot成员
7月14日 添加了label:ci-pipeline-passed
ascend-robot
ascend-robot成员
7月14日 评论:
流水线 PR-pipeline_pytorch#44996 (重试第1次) [ commitID:53818e3c ] 已完成
>>>代码风格自动修复执行成功(无修复内容)
阶段 任务名 状态 详情
编译构建 Build_X86 >>>
Build_ARM >>>
Build_LibTorch_x86 >>>
Build_LibTorch_ARM >>>
Build_X86_torchair 🛑 >>>
Build_ARM_torchair 🛑 >>>
patch_test 🛑 >>>
恶意代码检查 Antipoison >>>
编码安全与规范检查 CodeCheck >>>
check_error >>>
CodeCheck_lintrunner >>>
开源片段检查 SCA >>>
开发者测试 UT_X86_Part_01 🛑 >>>
UT_X86_Part_02 🛑 >>>
UT_ARM_A3_Part_01 🛑 >>>
UT_ARM_A3_Part_02 🛑 >>>
UT_ARM_A2_Part_01 >>>
UT_ARM_A2_Part_02 >>>
UT_ARM_A2_Part_03 >>>
UT_inductor_Part_01 🛑 >>>
UT_inductor_Part_02 🛑 >>>
UT_inductor_Part_03 🛑 >>>
UT_inductor_Part_04 🛑 >>>
UT_DIST_ARM_Part_01 >>>
UT_DIST_ARM_Part_02 >>>
UT_DIST_ARM_Part_03 >>>
UT_DIST_ARM_Part_04 >>>
UT_ARM_A2_Select_Part_01 >>>
UT_ARM_A2_Select_Part_02 >>>
流水线 PR-pipeline_pytorch >>>
此流水线已支持下列评论快捷指令,仅PR创建者和白名单成员[wujinyuan1, huangjingwei, liangsongwei, yashi999, culechan, Dring, wuyouqi1, L1919_snow, qq_52711437, WhiteNight12, nomiz, xiu_21, ffmh, wanglijun55, hss-shuai, husichao, smallsilly, lanshaozuishuai, jimmyisme1, lzy0920232, alpha-junh, Sunshine_Youngster, wei_zhuoyi, zhangyihuiben, zyw-hw, zzzkeke, rmch, yangch0324, LucciC, AACAES, renyujin, wjlflyer, senzhen-town, pengjingyou, qsc97, limuan, yule100, xiaoqi-zhou, kuhn7, chenxingying, hanye02, zichun_ye, anyrenwei, kkjocker, wangzili121, Lu_G, yvjc, puddingfjz, HandsoemLemon, bigprestigee1, huawuyi, zhenyu10, dairenjie, du-jin-hang, zou-jieyu, adelaideliu, TrHan, wanlinan, Windwindzzz, pengqihw, kisnwang, yuheng_wang, honghao_wang, jizewei, zhangguoguang, sunyu-xuan, chenrayray, hbhu_bin, liujunzhu, c_34, LiNuoh, maoyuanpeng1, zzhongmin, zhaoyu65, bellatan, jiabaolin, zhuofanshen, wencaiwen, lu_zhuge, caoshuyang, molly12, lyx324521, LQ1206, gitcode-chenjiao, cai-weiwei1989, CHDong, ogqin, yuanlipingGit, xuqinglin1, lqz2, zouwei1, chaoluoa, paradox325, jackzhang1116, yaoyao, akh, yujiacheng, dengjie0116, Hubert11111, Shine_Ws, wslhj555, longqiand, OYtao666, JiaqingQiang, luyyyy, Kingbelial, zhanghaiyu0101, wenxp1018, yanliu-luoluo, ksun_sekiro, liyong328, wgzheng, tangky, vivi_is_coding, aoiaoisola, weixin_44494597, wangmengmengwang65667, hid57809721, qq_35468730, comeonup, C547032, gcw_m5OQChA4, yao_yao_ling_xian, cnnbwcy, szqfes_12, cora_19, cann_lilin, can, shawnylee233, fanglanyue0916, hhz0, LiNuohang, taohuoquan]评论有效
  • compile、compile_inductor、compile_torchair : 运行流水线
  • retry : 重试流水线所有失败子任务
  • retry <任务名> : 仅重试指定失败子任务
  • stop : 停止流水线
likedislike
wjlflyer成员
7月15日 评论:

/lgtm
/approve

likedislike
ascend-robotascend-robot成员
7月15日 添加了label:approved
renyujin成员
7月15日 评论:

/lgtm

likedislike
ascend-robotascend-robot成员
7月15日 添加了label:lgtm
ascend-robotascend-robot成员
7月15日 关闭了关联的issue
ascend-robotascend-robot成员
7月15日 合入了pull request
ascend-robot
ascend-robot成员
7月15日 评论:
流水线 pytorch_gitcode_PR_multiVersion#12560 [ commitID:53818e3c ] 已完成
likedislike