master

cann-robot【feat】集合通信域管理层和基础通信层二进制拆分 第二阶段反向依赖解耦

1f7e0221创建于 1 天前历史提交

文件	最后提交记录	最后更新时间
cluster_maintenance	[build] License Header Co-authored-by: ouyangcaike<ouyangcaike@h-partners.com> # message auto-generated for no-merge-commit merge: !4556 merge build/oat into master [build] License Header Created-by: ouyangcaike Commit-by: ouyangcaike Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 全仓C/C++、CMake、Python、Shell文件规范头部License的使用 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [x] 📋 其他，请描述：工程 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR不涉及Issue，可填写"NA"。--> NA ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 编译成功 2. 全量拦截项通过 补充的UT用例： NA ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> NA ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [x] 🔍 邀请 committer评论/lgtm前的必要检查 - [x] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [x] 📄 代码修改内容已简要描述，相关文档已更新 - [x] 📝 代码注释已更新，代码遵循项目整体代码风格 - [x] 🧪 代码UT测试已更新，覆盖率已达标 - [x] 🔬 验证方法已更新到"测试"部分 - [x] 🛠️ 代码已通过静态分析工具检查，无错误 - [x] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [x] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [x] 🚀 预约 前冒烟 用例前的必要检查 - [x] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [x] 🔧 代码已通过compile，编译无错误，无告警 - [x] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [x] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [x] 📊 前冒烟 用例已全量通过 - [x] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!4556	1 个月前
communicator	[feat] support A5 UB Memory symmetric memory Co-authored-by: hblnb<huangbolin3@huawei.com> Co-authored-by: z00940303<zhangzhuopan@huawei.com> # message auto-generated for no-merge-commit merge: !5128 merge master into master [feat] support A5 UB Memory symmetric memory Created-by: zhangzhuopan Commit-by: hblnb;z00940303 Merged-by: cann-robot Description: ## 描述 本 PR 新增 A5 UB Memory 对称内存能力，主要改动如下： - 通信域初始化阶段按 COMM_PROTOCOL_UB_MEM 和 NetLayer 预制 LSA WorldTeam。 - 实现 UB Memory 对称窗口注册、查询和解注册： - 建立 LSA WorldTeam Socket Ring； - 预留 lsaTeamSize × stride 对称 VA 空间； - 获取并导出本地 allocation 物理内存描述； - 通过 Ring AllGather 交换各 LSA 成员的 Shareable Handle、大小和窗口偏移； - 完成远端内存 Grant、Import 和固定 VA 槽位映射； - 将 UB Memory 信息发布到统一 HcommWindow.lsaWin。 - 支持同一 allocation 的重复、包含及交叉重叠注册，通过 PA Handle 复用底层映射并维护引用计数。 - 支持 UB Memory 与 URMA 共用同一个 HcommWindow，分别维护 lsaWin 和 URMA 相关字段。 - 新增 LSA Team 查询及 Rank/Member 转换接口： - HcclTeamGetLsaTeam - HcclTeamMemberToRank - HcclTeamRankToMember - 适配 HcclSymWinGetPeerPointer： - A5 UB Memory 场景输入 LSA memberId； - A3 Legacy 场景继续保持 Rank ID 语义。 - 完善异常及资源管理： - 在集合操作阶段同步各成员本地执行结果，避免单 Rank 失败导致其他 Rank持续等待； - 配对释放 Retain 和 Import 得到的物理内存 Handle； - Import/Map 部分失败时即时回滚已建立的映射； - 调整组合窗口注销顺序，在全部资源注销成功前保留 Host 索引； - Socket 建链和 Ring 数据交换统一使用通信配置中的 LinkTimeout。 - 补充 UB Memory 对称内存接口资料及使用约束。 ## 变更类型 请选择本次引入的变更类型： - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] 🚀 性能优化 - [x] 📝 文档更新 - [ ] 📋 其他，请描述： ## 关联的Issue - A5 UB Memory 对称内存需求：请填写实际 Issue 链接 ## 测试 已完成的测试用例和场景： 1. A5 双 Rank 数据面验证： - 对称窗口注册及查询； - 非零 Window offset 查询； - LSA Team 获取； - Rank ID 与 LSA memberId 双向转换； - GetPeerPointer 获取远端对称 VA； - Device 侧远端地址写入及数据校验； - 对称窗口集合解注册。 2. 重叠注册验证： - 完全相同区间重复注册； - 同一 allocation 子区间注册； - 同一 allocation 不同区间交叉注册； - 包含及被包含区间注册； - 相邻区间注册； - 不同 allocation 独立注册； - 多个外层 Window 按不同顺序解注册。 补充的 UT 用例： - 注册参数、地址溢出及映射范围校验。 - Window offset 分配、释放及空洞复用。 - Window 查询成功、越界和非 ACTIVE 状态。 - 本地 Handle 借用和远端 Handle Import。 - 多成员 Map 部分失败后的即时资源清理。 - 单成员及双成员 Ring AllGather 数据聚合。 - Register → Get → Deregister 完整生命周期。 - 重叠注册时 PA Mapping 及引用计数复用。 - Finalize 时 Window、VA 和 Handle 资源清理。 - UB Memory与URMA共存时 PeerPointer 分发。 - A3 Legacy PeerPointer Rank ID兼容。 - LSA memberId 越界及地址计算异常校验。 - Device Window注销失败时保留Host索引以支持重试。 - URMA重复及子区间窗口在最后一个别名注销后释放底层资源。 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [ ] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [ ] 🔍 邀请 committer评论/lgtm前的必要检查 - [ ] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [ ] 📄 代码修改内容已简要描述，相关文档已更新 - [ ] 📝 代码注释已更新，代码遵循项目整体代码风格 - [ ] 🧪 代码UT测试已更新，覆盖率已达标 - [ ] 🔬 验证方法已更新到"测试"部分 - [ ] 🛠️ 代码已通过静态分析工具检查，无错误 - [ ] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [ ] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [ ] 🚀 预约 前冒烟 用例前的必要检查 - [ ] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [ ] 🔧 代码已通过compile，编译无错误，无告警 - [ ] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [ ] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [ ] 📊 前冒烟 用例已全量通过 - [ ] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!5128	8 天前
dpu_npu_sync	[fix] timeout issue Co-authored-by: lhdlhdlhd1234569<lihaodong19@h-partners.com> # message auto-generated for no-merge-commit merge: !3765 merge master into master [fix] timeout issue Created-by: lhdlhdlhd1234569 Commit-by: lhdlhdlhd1234569 Merged-by: cann-robot Description: ## 描述 ### 简要描述 HcommWaitResponse 轮询等待的超时阈值改为复用 HCCL_EXEC_TIMEOUT 环境变量配置，并支持配置为 0 时无限等待。 ### 问题描述 HcommWaitResponse 轮询 flag 时，超时阈值被硬编码为常量 SYNC_WAIT_TIMEOUT_SECONDS=205s，既未读取用户通过环境变量 HCCL_EXEC_TIMEOUT 配置的算子级执行超时（GetExternalInputHcclExecTimeOut），也未与上层 notify 默认等待时长 NOTIFY_DEFAULT_WAIT_TIME=1836s 对齐。在大模型长耗时通信场景下，flag 尚未被对端置位即触发 205s 超时误报 HCCL_E_TIMEOUT，导致通信异常中断。此外旧实现从共享内存 timeout 字段读取超时值，而该字段在多数链路上并未真正下发有效值，可靠性不足。 ### 解决方案 1. 新增 GetSyncWaitTimeoutSeconds()，复用 GetExternalInputHcclExecTimeOut()（即 HCCL_EXEC_TIMEOUT 配置，默认 NOTIFY_DEFAULT_WAIT_TIME=1836s），并用 std::ceil 向上取整为秒，保证与上层算子级超时一致；新增 #include <cmath> 与 #include "externalinput_pub.h"。 2. WaitFlagReady 去掉 srcTimeoutPtr 参数，不再从共享内存读取 timeout，改由 GetSyncWaitTimeoutSeconds() 统一取值。 3. 当 timeoutVal == 0 时不做超时判断，表示无限等待，避免在合法配置下误超时。 4. HcommWaitResponse 调用处同步去掉 srcTimeoutPtr 参数。 ### 影响范围 - 修复：HcommWaitResponse/WaitFlagReady 超时由写死 205s 改为跟随 HCCL_EXEC_TIMEOUT（默认 1836s），解决长耗时通信场景下的误超时问题。 - 行为变更：HCCL_EXEC_TIMEOUT 配置为 0 时表示无限等待（<=0 视为不超时）。 - 兼容性：对调用方透明，WaitFlagReady 仅为内部 static 函数，签名变更不影响对外 API；移除对共享内存 timeout 字段的依赖，减少不可靠读取。 ### 新增用例 - UT：HcommWaitResponse 当 handle 为 nullptr 时返回 HCCL_E_PTR - UT：HcommWaitResponse 当 sizeByte>0 但 dst 为 nullptr 时返回 HCCL_E_PTR - UT：HcommWaitResponse 当 msgId 为 nullptr 时返回 HCCL_E_PTR - UT：HcommWaitResponse 当 flag 已置位时立即返回 HCCL_SUCCESS 并读出 msgId - UT：HcommWaitResponse 当 flag 由另一线程稍后置位时在超时窗口内返回 HCCL_SUCCESS ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [ ] 📋 其他，请描述： ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR不涉及Issue，可填写"NA"。--> NA ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 上板验证通过 2. rdv pass ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> NA ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [ ] 🔍 邀请 committer评论/lgtm前的必要检查 - [ ] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [ ] 📄 代码修改内容已简要描述，相关文档已更新 - [ ] 📝 代码注释已更新，代码遵循项目整体代码风格 - [ ] 🧪 代码UT测试已更新，覆盖率已达标 - [ ] 🔬 验证方法已更新到"测试"部分 - [ ] 🛠️ 代码已通过静态分析工具检查，无错误 - [ ] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [ ] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [ ] 🚀 预约 前冒烟 用例前的必要检查 - [ ] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [ ] 🔧 代码已通过compile，编译无错误，无告警 - [ ] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [ ] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [ ] 📊 前冒烟 用例已全量通过 - [ ] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!3765	28 天前
group	[build] License Header Co-authored-by: ouyangcaike<ouyangcaike@h-partners.com> # message auto-generated for no-merge-commit merge: !4556 merge build/oat into master [build] License Header Created-by: ouyangcaike Commit-by: ouyangcaike Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 全仓C/C++、CMake、Python、Shell文件规范头部License的使用 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [x] 📋 其他，请描述：工程 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR不涉及Issue，可填写"NA"。--> NA ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 编译成功 2. 全量拦截项通过 补充的UT用例： NA ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> NA ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [x] 🔍 邀请 committer评论/lgtm前的必要检查 - [x] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [x] 📄 代码修改内容已简要描述，相关文档已更新 - [x] 📝 代码注释已更新，代码遵循项目整体代码风格 - [x] 🧪 代码UT测试已更新，覆盖率已达标 - [x] 🔬 验证方法已更新到"测试"部分 - [x] 🛠️ 代码已通过静态分析工具检查，无错误 - [x] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [x] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [x] 🚀 预约 前冒烟 用例前的必要检查 - [x] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [x] 🔧 代码已通过compile，编译无错误，无告警 - [x] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [x] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [x] 📊 前冒烟 用例已全量通过 - [x] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!4556	1 个月前
hcom	[build] License Header Co-authored-by: ouyangcaike<ouyangcaike@h-partners.com> # message auto-generated for no-merge-commit merge: !4556 merge build/oat into master [build] License Header Created-by: ouyangcaike Commit-by: ouyangcaike Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1. 全仓C/C++、CMake、Python、Shell文件规范头部License的使用 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [x] 📋 其他，请描述：工程 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR不涉及Issue，可填写"NA"。--> NA ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 编译成功 2. 全量拦截项通过 补充的UT用例： NA ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> NA ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [x] 🔍 邀请 committer评论/lgtm前的必要检查 - [x] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [x] 📄 代码修改内容已简要描述，相关文档已更新 - [x] 📝 代码注释已更新，代码遵循项目整体代码风格 - [x] 🧪 代码UT测试已更新，覆盖率已达标 - [x] 🔬 验证方法已更新到"测试"部分 - [x] 🛠️ 代码已通过静态分析工具检查，无错误 - [x] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [x] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [x] 🚀 预约 前冒烟 用例前的必要检查 - [x] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [x] 🔧 代码已通过compile，编译无错误，无告警 - [x] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [x] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [x] 📊 前冒烟 用例已全量通过 - [x] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!4556	1 个月前
next	【feat】集合通信域管理层和基础通信层二进制拆分 第二阶段反向依赖解耦 Co-authored-by: zjw22<zhujiawei29@huawei.com> # message auto-generated for no-merge-commit merge: !4916 merge 930 into master 【feat】集合通信域管理层和基础通信层二进制拆分 第二阶段反向依赖解耦 Created-by: zjw22 Commit-by: zjw22 Merged-by: cann-robot Description: ## 描述 本 PR 完成 base_comm(L3)对 coll_communicator_mgr(L2)的编译期反向依赖消减 主要改动: 1. **头文件下沉**:将 base_comm 引用的上层头文件逐个消减/下沉至 base_comm 或 pkg_inc,包括 hccl_comm_pub.h、hcom_common.h、hcclCommDfx.h、dfx_profiling_handler(_lite).h、coll_comm_aicpu_kernel_adpt.h、aicpu_init_param.h、comm_mems.h、notify_manager.h、hccl_independent_common.h、hcclCommOp.h 等; 2. **dfx 代码归位**:将 profiling/taskException 相关实现迁入 src/base_comm/dfx/(dfx_profiling_handler.cc、dfx_profiling_handler_lite.cc、dfx_dlprof_function.cc、hcclCommOp.cc、channel_profiling_adpt.cc 等),device 侧代码归入 device 编译目标;通过 std::function 回调注册 + DfxDlProfFunction(dlopen)桥接替代对上层头文件的直接依赖; 3. **构建收口**:删除 hcomm_base_obj.cmake 中全部 16 个 coll_communicator_mgr include 目录,base_comm 编译期不再可见上层头文件; 4. **配套修复**:修复消减过程中暴露的编译问题、UT/ST 失败及 pre-commit 问题;新增 opbase_adpt 收敛 hcom_common.h 中的线程设备 ID 声明。 变更后经全仓检查,src/base_comm 下无任何对 coll_communicator_mgr 的 #include 与符号引用,分层依赖方向(L2→L3)成立。 ## 变更类型 - [ ] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [x] 📋 其他，请描述：分层架构整改（base_comm 反向依赖消减，代码迁移与构建收口） ## 关联的Issue NA <!-- 若有拆解的消减任务 Issue 请替换 --> ## 测试 已完成的测试用例和场景： 1. bash build.sh --pkg --full 全量编译通过（host + device），无编译错误/告警； 2. bash build.sh -u UT 全量通过（含修复的 ut/st 用例）； 3. bash build.sh -s ST 二级冒烟通过； 4. HCCL_TEST用例样子通过 5. HIXL Benchmark 单机双机用例通过 6. HCCL 图模式用例通过 7. checker用例 7.1 CCU_SCHED  7.2 AI_CPU  7.3 AIV  补充的UT用例： - opbase_adpt 适配层（新增 test/ut/base_comm/common/，target hccl_ut_base_comm_common）：HcclGetThreadDeviceId 覆盖缓存命中、首次调用成功、hrtGetDevice 失败、GetMaxDevNum 失败、设备数超限返回 INVALID_INT 共 5 条路径；HcclDeviceRefresh 覆盖成功（出参刷新+thread_local 缓存更新）/失败透传错误码 2 条路径；依赖 hrtGetDevice/hccl::GetMaxDevNum/hrtGetDeviceRefresh 均走 mockcpp 打桩； - channel_profiling_adpt 注册/回调机制（test/ut/dfx/ut_channel_profiling_adpt.cc，并入 target hccl_utest_dfx）：未注册时 GetChannelRemoteRankIdFuncImpl 返回 nullptr、注册后返回注册函数指针、注册后回调可正常调用（覆盖检视意见要求的注册前/注册后场景）、双线程并发注册+读取冒烟（验证 g_getChannelRemoteRankIdFunc 原子化改造无数据竞争）； ## 文档更新 无 <!-- 若 dfx 目录迁移影响架构文档，同步更新 docs/zh/architecture/architecture-brief.md --> ## 合入检查 - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [x] 🔍 邀请 committer评论/lgtm前的必要检查 - [x] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） <!-- 建议标题：[refactor] base_comm 依赖 coll_communicator_mgr 消减 --> - [x] 📄 代码修改内容已简要描述，相关文档已更新 - [x] 📝 代码注释已更新，代码遵循项目整体代码风格 - [x] 🧪 代码UT测试已更新，覆盖率已达标 - [x] 🔬 验证方法已更新到"测试"部分 - [x] 🛠️ 代码已通过静态分析工具检查，无错误 - [x] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [x] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [ ] 🚀 预约 前冒烟 用例前的必要检查 - [ ] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [x] 🔧 代码已通过compile，编译无错误，无告警 - [x] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [ ] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [ ] 📊 前冒烟 用例已全量通过 - [x] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!4916	1 天前
nslbdp	dp通信域去重 Co-authored-by: Shenwenkai<shenwenkai@huawei.com> # message auto-generated for no-merge-commit merge: !5238 merge master into master dp通信域去重 Created-by: Shenwenkai Commit-by: Shenwenkai Merged-by: cann-robot Description: ## 描述 针对MSLBDP场景进行优化。 涉及问题单信息： 涉及方案问题对齐修改流程： 针对无算子算法表的通信域导致还原失败问题的修改方案对齐： 计算侧HCCL的修改方案 表一的处理流程： 1）通信域描述信息判重 2）通信域描述信息不同，MD5值一样： 3）所有节点都会存储通信域描述信息不同，MD5值一样的数据，只有描述信息的字符串最小的上报 表二处理 1）接收到通信域描述信息字段，先基于描述信息查表一，获取到MD5值 2）基于MD5值获取到所有的通信域描述信息 3）排序所有查出来的描述信息字段，取最小的字符串存入表2 表三处理 1.接收到通信域描述信息字段，先基于描述信息查表一，获取到MD5值 2.基于MD5值获取到所有的通信域描述信息 3.排序所有查出来的描述信息字段，取最小的字符串存入表2 针对DP场景下SEND/RESV算子处理逻辑对齐修改方案对齐： 1） 将SEND与RESV算子进行归一，统一使用BATCH_SEND_RESV算子 2） 处理，表2与表3的赋值逻辑，做算子映射 3） 针对BATCH_SEND_RESV使用双ring的方式进行模拟 3.1）如果卡数等于2 只有正向ring 3.2）卡数大于2时phase1是正向ring的邻接关系， phase2是反向ring的邻接关系， 步长恒等于2 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [x] 🚀 性能优化 - [ ] 📝 文档更新 - [ ] 📋 其他，请描述： ## 关联的Issue DTS2026082431052 DTS2026090805931 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 2. 补充的UT用例： ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [ ] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [ ] 🔍 邀请 committer评论/lgtm前的必要检查 - [ ] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [ ] 📄 代码修改内容已简要描述，相关文档已更新 - [ ] 📝 代码注释已更新，代码遵循项目整体代码风格 - [ ] 🧪 代码UT测试已更新，覆盖率已达标 - [ ] 🔬 验证方法已更新到"测试"部分 - [ ] 🛠️ 代码已通过静态分析工具检查，无错误 - [ ] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [ ] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [ ] 🚀 预约 前冒烟 用例前的必要检查 - [ ] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [ ] 🔧 代码已通过compile，编译无错误，无告警 - [ ] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [ ] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [ ] 📊 前冒烟 用例已全量通过 - [ ] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!5238	6 天前
op_base_api	多jetty：hcomm支持环境变量HCCL_UB_MULTI_CHANNEL_NUM的解析 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !4732 merge multi_jetty into master 多jetty：hcomm支持环境变量HCCL_UB_MULTI_CHANNEL_NUM的解析 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 在 CLOS 拓扑 + UB 协议（CTP/RTP）场景下，通过环境变量配置每个 eid 对之间建多个 channel（每个 channel 底层对应一个独立 jetty），类比 ROCE 多 QP 提升通信带宽。 **核心思路**：同一个 eid 对之间建多个 channel → 每个 channel 一个独立 jetty → 多 jetty 并行搬运。 hcomm需要获取解析环境变量HCCL_CONFIG_TYPE_UB_MULTI_CHANNEL_NUM并暴露给hccl 另外关于ut的main.cc的修改： 本 PR 新增的 UT Ut_HcclConfigGetInfo_When_CfgTypeIs，HCCL_UB_MULTI_CHANNEL_NUM 是该二进制里第一个触发 EnvConfig 全量解析的用例（新分支要读 EnvConfig::GetInstance().GetRdmaConfig().GetUbMultiChannelNum()）。 解析时会校验 HCCL_DFS_CONFIG，而 main.cc 原有的值 connection_fault_detction_time:0 用的 key 已被解析器移除（CastDfsConfig 白名单只剩 task_exception / cluster_heartbeat / inconsistent_check），必然抛 InvalidParamsException。 现象实锤过：线上 UT 因此挂 3 个用例（新的 2 个 + 级联无辜的 SymWinGet），改成 task_exception:on 后全量 UT 57/57 通过。 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [ ] 🐛 Bug修复 - [x] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [ ] 📋 其他，请描述： ## 关联的Issue 后续需要修改：https://gitcode.com/cann/hcomm/issues/851 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 正常用例：设置环境变量为1到16，可以被hccl的算子获取到正确的值 2. 异常用例：测试了-1，abc，0，17等异常用例，可以正常拦截报错 3. RDV RATIO:98.64%，失败用例为已知问题 补充的UT用例： 1. 验证新特性（新枚举分支 + 全局读值） 2. 保护重构分支 ## 文档更新 更新了docs/zh/api_ref/comm_mgr_c/data_type_definition/HcclConfigType.md，关于HcclConfigType这个接口的变更 ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [ ] 🔍 邀请 committer评论/lgtm前的必要检查 - [ ] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [ ] 📄 代码修改内容已简要描述，相关文档已更新 - [ ] 📝 代码注释已更新，代码遵循项目整体代码风格 - [ ] 🧪 代码UT测试已更新，覆盖率已达标 - [ ] 🔬 验证方法已更新到"测试"部分 - [ ] 🛠️ 代码已通过静态分析工具检查，无错误 - [ ] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [ ] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [ ] 🚀 预约 前冒烟 用例前的必要检查 - [ ] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [ ] 🔧 代码已通过compile，编译无错误，无告警 - [ ] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [ ] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [ ] 📊 前冒烟 用例已全量通过 - [ ] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!4732	11 天前
resource	[fix]偶现core问题 Co-authored-by: littlemons<yaowenjie7@huawei.com> # message auto-generated for no-merge-commit merge: !4728 merge master into master [fix]偶现core问题 Created-by: littlemons Commit-by: littlemons Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、去掉SetCachedCclTag()，修复已知问题（开启profiling后hccl_test概率性coredump） 2、去掉多余头文件 ## 变更类型 请选择本次引入的变更类型： <!-- [x] 表示选中 --> - [x] 🐛 Bug修复 - [ ] ✨ 新特性 - [ ] 🚀 性能优化 - [ ] 📝 文档更新 - [ ] 📋 其他，请描述： ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR不涉及Issue，可填写"NA"。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于构造对应xx测试用例、二级冒烟、算子泛化等。--> 已完成的测试用例和场景： 1. 偶现core场景，修改后aiv模式hccl_test反复跑40次无问题 2. 补充的UT用例： ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 合入检查 <!-- 在正式合入前，请做好必要的代码测试，用例补充，软件代码风格检查等。提高合入效率。--> <!-- [x] 表示选中 --> - [x] 🧐 已经详细阅读了贡献指南（CONTRIBUTING.md），并遵守了其中的所有规定，包括但不限于commit message的格式、无效commit的合并等 - [x] 🔍 邀请 committer评论/lgtm前的必要检查 - [x] 🏷️ 标题中使用了合适的类型标签（如：[feat], [fix]） - [x] 📄 代码修改内容已简要描述，相关文档已更新 - [x] 📝 代码注释已更新，代码遵循项目整体代码风格 - [x] 🧪 代码UT测试已更新，覆盖率已达标 - [x] 🔬 验证方法已更新到"测试"部分 - [x] 🛠️ 代码已通过静态分析工具检查，无错误 - [x] 👥 代码检视/code review/同行评议和必要的代码串讲，确保代码质量 - [x] ✅ 代码检视意见已处理或答复，无未处理的检视意见 - [x] 🚀 预约 前冒烟 用例前的必要检查 - [x] ✔️ 代码已有committer的/lgtm 和 模块committer的/lgtm评论 - [x] 🔧 代码已通过compile，编译无错误，无告警 - [x] 🖥️ 代码已通过基本功能本地测试或者在线测试，确保基本功能正常 - [x] 🎯 预约 approver评论/approve，正式合入前的必要检查 - [x] 📊 前冒烟 用例已全量通过 - [x] 📦 新增功能已同步补充基本功能测试用例到前冒烟里 See merge request: cann/hcomm!4728	24 天前