已合并
【PR】: hcce support call hccl op #1620
Archerls创建于 3月30日
【PR】: hcce support call hccl op #1620
已合并
Archerls创建于 3月30日
Archerls
Archerls
3月30日

Pull Request

描述

GE图模式调用开源HCCL AICPU\CCU\AIV算子。支持算子类型:除Scatter及BatchSendRecv。 配置HCCL_INDEPENDENT_OP = 1 后走新流程。
【修改点1】新增走开源流程的判断函数 IsUsingOpenSource。
【修改点2】通过dlopen加载hccl中提供的函数(参考单算子加载实现) dlhccl_function和adapter_dlhcclfunc
【修改点3】新增调用HCCL提供的资源计算函数,及配套结构操作、赋值函数,并在开源使能时,图优化、图编译阶段调用。
【修改点4】info_store中新增各个算子的调用,并在开源使能时调用。

【测试1】 所有涉及算子的TF(OneTrack脚本)\Pytorch流程(CCLTest) 在配置HCCL_INDEPENDENT_OP = 1时, 跑通并通过打印验证跑进新流程
【测试2】所有涉及算子的TF(OneTrack脚本)\Pytorch流程(CCLTest) 不配置HCCL_INDEPENDENT_OP = 1时, 跑通并通过打印验证跑原流程

【补充UT1】补充图优化过程中,资源计算调用使能开源流程
【补充UT2】补充图编译过程中,资源计算调用使能开源流程
【补充UT3】各算子调用处,使能开源流程

【拦截用例】待开源切换统一补充

变更类型

请选择本次引入的变更类型:

  • 🐛 Bug 修复
  • [x ] ✨ 新功能
  • 💄 代码风格更新(格式化,局部变量)
  • ♻️ 重构(既不修复错误也不增加功能的代码变动)
  • 📦 构建过程或辅助工具的变动
  • 📝 文档内容更新

关联的Issue

如何测试

描述测试此变更的步骤和前提条件:

  1. AICPU新流程: 配置HCCL_INDEPENDENT_OP = 1 (启动图模式新流程)
  2. CCU新流程: 配置HCCL_INDEPENDENT_OP= 1 && HCCL_ENABLE_OPEN_CCU=1 (HCCL走开源流程)
  3. AIV新流程: 配置HCCL_INDEPENDENT_OP= 1 && HCCL_ENABLE_OPEN_AIV=1 (HCCL走开源流程)

核对清单

  • 我的代码遵循了项目的代码风格
  • 我已对代码进行了自测
  • 我已更新了相关的文档
  • 我在标题中使用了合适的类型标签(如:feat:, fix:
  • 我已经详细阅读了贡献指南(CONTRIBUTING.md),并遵守了其中的所有规定,包括但不限于commit message的格式、无效commit的合并等

其他信息

在此添加任何其他关于本次 PR 的说明。

likedislike
Pull Request已成功合入, 合并人@CANN-robot
(感谢 Archerls 的贡献)
ArcherlsArcherls
3月30日 创建了 pull request,commit 008c3e71
ArcherlsArcherls
3月30日 添加了label:enhancement
CANN-robotCANN-robot成员
3月30日 添加了label:stat/needs-squash
CANN-robot
CANN-robot成员
3月30日 评论:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here
You can get sig-info at here


PR Approval Progress

Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
compiler/engines/hccl_engine dingweiqin_57, laodazhao1 (2/2) dingweiqin_57 (1/1)
tests/engines/hccl_engine dingweiqin_57, laodazhao1 (2/2) dingweiqin_57 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

Archerls, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robot成员
3月30日 将medivh-x,kobemini,tangqunzhang,xchu42,hugo111,lining23666,fu-jun2,depeng1994,wqtshg_wt,peiyang,shengnan666,zhangfan_hanq,dingweiqin_57,zhanj,zhujingjing,laodazhao1,wangxiaotian995,stevenaw0,yuht9设为评审人
此处折叠了298条消息 查看更多
ArcherlsArcherls
4月17日 修改了pull request 的描述
57_Viking
57_Viking成员
4月17日 评论:

/approve

likedislike
CANN-robotCANN-robot成员
4月17日 添加了label:lgtmapproved
CANN-robot
CANN-robot成员
4月17日 评论:

Review Guide

This pull-request passes review.
Committers who wrote a comment of /approve are: dingweiqin_57.
Reviewers who wrote a comment of /lgtm are: dingweiqin_57, laodazhao1.

likedislike
CANN-robotCANN-robot成员
4月17日 合入了pull request