master

cann-robot【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败问题 + 多实例问题

0084cdde创建于 4 小时前历史提交

文件	最后提交记录	最后更新时间
driver	fix: treat warnings as errors Co-authored-by: nino888<yinqiran1@huawei.com> # message auto-generated for no-merge-commit merge: !191 merge fix-compile-warnings-master into master fix: treat warnings as errors Created-by: nino888 Commit-by: nino888 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!191	2 个月前
hybm_acl_device_mem_segment.cpp	解决预留内存非连续导致空指针访问异常问题 Co-authored-by: suqwe<sujianjia@huawei.com> # message auto-generated for no-merge-commit merge: !258 merge shmem_ptr into master 解决预留内存非连续导致空指针访问异常问题 Created-by: suqwe Commit-by: suqwe Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 对称内存堆存在申请小于1G大小场景下出现预留虚拟地址非连续问题，导致Map内存映射错误，va没有映射到有效页表，出现内存访问异常问题 原因： 由于预留虚拟地址和后续map使用的地址gva不一致，gva按照对齐后的偏移进行计算其他pe的内存堆虚拟地址，但是驱动无法确保在多次连续申请的地址是连续地址。 解决方案： 1、首先需要确保两边的逻辑是一致的，这部分代码存在较多相似的逻辑，后续统一整改 2、为了保证两边逻辑一致，要求申请的va必须是连续一大段的，并且对齐规则要求一致 3、在D2H场景，存在必须按照每个pe单独预留，所以为了确保一定能够分配一大段连续空间，可以引入try reserve机制，try成功后保存预留的va地址，同时释放预留va 4、按照try成功的固定的va起始进行分配，之后按照对齐的大小进行偏移，继续预留其他pe对应的va 5、这些改进后，可以优化shmem ptr的判断host内存堆的逻辑，优化性能，达到host和device计算偏移逻辑完全归一，从而节省判断host堆的逻辑 shmem ptr优化思路：  ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/shmem/issues/203 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 构造出问题场景功能验证通过  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!258	1 个月前
hybm_def.h	支持AIV直驱UDMA功能，控制面主流程 Co-authored-by: YeZZzzz1<yezhenni1@huawei.com> # message auto-generated for no-merge-commit merge: !194 merge master into master 支持AIV直驱UDMA功能，控制面主流程 Created-by: YeZZzzz1 Commit-by: YeZZzzz1 Merged-by: cann-robot Description: ## 描述 支持AIV直驱UDMA功能，主流程部分修改 ## 关联的Issue https://gitcode.com/cann/shmem/issues/161 ## 测试 功能测试： - examples：  - ut：  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!194	2 个月前
hybm_device_mem_segment.h	解决预留内存非连续导致空指针访问异常问题 Co-authored-by: suqwe<sujianjia@huawei.com> # message auto-generated for no-merge-commit merge: !258 merge shmem_ptr into master 解决预留内存非连续导致空指针访问异常问题 Created-by: suqwe Commit-by: suqwe Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 对称内存堆存在申请小于1G大小场景下出现预留虚拟地址非连续问题，导致Map内存映射错误，va没有映射到有效页表，出现内存访问异常问题 原因： 由于预留虚拟地址和后续map使用的地址gva不一致，gva按照对齐后的偏移进行计算其他pe的内存堆虚拟地址，但是驱动无法确保在多次连续申请的地址是连续地址。 解决方案： 1、首先需要确保两边的逻辑是一致的，这部分代码存在较多相似的逻辑，后续统一整改 2、为了保证两边逻辑一致，要求申请的va必须是连续一大段的，并且对齐规则要求一致 3、在D2H场景，存在必须按照每个pe单独预留，所以为了确保一定能够分配一大段连续空间，可以引入try reserve机制，try成功后保存预留的va地址，同时释放预留va 4、按照try成功的固定的va起始进行分配，之后按照对齐的大小进行偏移，继续预留其他pe对应的va 5、这些改进后，可以优化shmem ptr的判断host内存堆的逻辑，优化性能，达到host和device计算偏移逻辑完全归一，从而节省判断host堆的逻辑 shmem ptr优化思路：  ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/shmem/issues/203 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 构造出问题场景功能验证通过  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!258	1 个月前
hybm_drv_device_mem_segment.cpp	解决预留内存非连续导致空指针访问异常问题 Co-authored-by: suqwe<sujianjia@huawei.com> # message auto-generated for no-merge-commit merge: !258 merge shmem_ptr into master 解决预留内存非连续导致空指针访问异常问题 Created-by: suqwe Commit-by: suqwe Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 对称内存堆存在申请小于1G大小场景下出现预留虚拟地址非连续问题，导致Map内存映射错误，va没有映射到有效页表，出现内存访问异常问题 原因： 由于预留虚拟地址和后续map使用的地址gva不一致，gva按照对齐后的偏移进行计算其他pe的内存堆虚拟地址，但是驱动无法确保在多次连续申请的地址是连续地址。 解决方案： 1、首先需要确保两边的逻辑是一致的，这部分代码存在较多相似的逻辑，后续统一整改 2、为了保证两边逻辑一致，要求申请的va必须是连续一大段的，并且对齐规则要求一致 3、在D2H场景，存在必须按照每个pe单独预留，所以为了确保一定能够分配一大段连续空间，可以引入try reserve机制，try成功后保存预留的va地址，同时释放预留va 4、按照try成功的固定的va起始进行分配，之后按照对齐的大小进行偏移，继续预留其他pe对应的va 5、这些改进后，可以优化shmem ptr的判断host内存堆的逻辑，优化性能，达到host和device计算偏移逻辑完全归一，从而节省判断host堆的逻辑 shmem ptr优化思路：  ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/shmem/issues/203 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 构造出问题场景功能验证通过  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!258	1 个月前
hybm_ex_info_transfer.h	fix build Co-authored-by: james88liu<liujianxing1@huawei.com> # message auto-generated for no-merge-commit merge: !201 merge br_fix_build into master fix build Created-by: james88liu Commit-by: james88liu Merged-by: cann-robot Description: ## 描述 fix build ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!201	2 个月前
hybm_mem_common.h	支持AIV直驱UDMA功能，控制面主流程 Co-authored-by: YeZZzzz1<yezhenni1@huawei.com> # message auto-generated for no-merge-commit merge: !194 merge master into master 支持AIV直驱UDMA功能，控制面主流程 Created-by: YeZZzzz1 Commit-by: YeZZzzz1 Merged-by: cann-robot Description: ## 描述 支持AIV直驱UDMA功能，主流程部分修改 ## 关联的Issue https://gitcode.com/cann/shmem/issues/161 ## 测试 功能测试： - examples：  - ut：  ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!194	2 个月前
hybm_mem_segment.cpp	【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败问题 + 多实例问题 Co-authored-by: james88liu<liujianxing1@huawei.com> Co-authored-by: zhu-wangyi<zhuwangyi@huawei.com> Co-authored-by: zhangyunqi<zhangyunqi5@huawei.com> # message auto-generated for no-merge-commit merge: !404 merge bug_fix/multi_instance_fix into master 【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败 + 多实例问题 Created-by: zhu-wangyi Commit-by: zhu-wangyi;zhangyunqi;james88liu Merged-by: cann-robot Description: ## 描述 引入v1.3.0对底层虚拟内存申请的修改，修复多实例冲突问题，修复AICPU算子加载失败问题。 ## 关联的Issue https://gitcode.com/cann/shmem/issues/207 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!404	4 小时前
hybm_mem_segment.h	fix spell problem Co-authored-by: Z_ZW2025<zhuozhenwei1@h-partners.com> # message auto-generated for no-merge-commit merge: !280 merge master into master fix spell problem Created-by: Z_ZW2025 Commit-by: Z_ZW2025 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 注释拼写错误修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/shmem/issues/210 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!280	1 个月前
hybm_mem_slice.cpp	目录更新 Co-authored-by: james88liu<liujianxing1@huawei.com> # message auto-generated for no-merge-commit merge: !87 merge br_dir_1 into master 目录更新 Created-by: james88liu Commit-by: james88liu Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue https://gitcode.com/cann/shmem/issues/63 ## 测试   ## 文档更新 ``` ├── bootstrap │   ├── config_store │   │   ├── CMakeLists.txt │   │   ├── acc_links │   │   │   ├── csrc │   │   │   │   ├── common │   │   │   │   ├── security │   │   │   │   └── under_api │   │   │   │   └── openssl │   │   │   └── include │   ├── shmemi_bootstrap_mpi.cpp │   ├── shmemi_bootstrap_uid.cpp │   └── socket │   ├── uid_socket.cpp │   ├── uid_socket.h │   └── uid_utils.h ├── data_plane │   ├── shmem_host_cc.cpp │   └── shmem_host_rma.cpp ├── entity │   ├── mem_entity_base.h │   ├── mem_entity_def.h ├── init │   ├── backends │   │   ├── shmem_init_backend.cpp │   │   └── shmemi_init_backend.h │   ├── bootstrap │   │   ├── shmemi_bootstrap.cpp │   │   └── shmemi_bootstrap.h │   ├── shmem_init.cpp │   └── shmemi_init.h ├── mem │   ├── heap │   │   ├── driver │   │   │   ├── devmm_cmd.h │   │   │   └── userspace │   │   │   ├── devmm_define.h │   │   ├── hybm_mem_slice.cpp │   │   └── hybm_mem_slice.h │   ├── shmem_mgr.cpp │   ├── shmem_mm.cpp │   ├── shmem_rma.cpp │   ├── shmemi_mgr.h │   └── shmemi_mm.h ├── python_wrapper │   ├── CMakeLists.txt │   └── pyshmem.cpp ├── shmemi_host_common.h ├── shmemi_host_def.h ├── sync │   ├── shmemi_sync.cpp │   └── shmemi_sync.h ├── team │   ├── shmem_team.cpp │   └── shmemi_team.h ├── transport │   ├── device_rdma │   ├── transport_def.h │   ├── transport_manager.cpp │   └── transport_manager.h └── utils ├── log │   ├── shmemi_log_defs.h │   └── shmemi_logger.cpp ├── shmemi_file_util.h ├── under_api │   ├── dl_acl_api.cpp │   ├── dl_acl_api.h └── utils.h ``` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!87	4 个月前
hybm_mem_slice.h	目录更新 Co-authored-by: james88liu<liujianxing1@huawei.com> # message auto-generated for no-merge-commit merge: !87 merge br_dir_1 into master 目录更新 Created-by: james88liu Commit-by: james88liu Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue https://gitcode.com/cann/shmem/issues/63 ## 测试   ## 文档更新 ``` ├── bootstrap │   ├── config_store │   │   ├── CMakeLists.txt │   │   ├── acc_links │   │   │   ├── csrc │   │   │   │   ├── common │   │   │   │   ├── security │   │   │   │   └── under_api │   │   │   │   └── openssl │   │   │   └── include │   ├── shmemi_bootstrap_mpi.cpp │   ├── shmemi_bootstrap_uid.cpp │   └── socket │   ├── uid_socket.cpp │   ├── uid_socket.h │   └── uid_utils.h ├── data_plane │   ├── shmem_host_cc.cpp │   └── shmem_host_rma.cpp ├── entity │   ├── mem_entity_base.h │   ├── mem_entity_def.h ├── init │   ├── backends │   │   ├── shmem_init_backend.cpp │   │   └── shmemi_init_backend.h │   ├── bootstrap │   │   ├── shmemi_bootstrap.cpp │   │   └── shmemi_bootstrap.h │   ├── shmem_init.cpp │   └── shmemi_init.h ├── mem │   ├── heap │   │   ├── driver │   │   │   ├── devmm_cmd.h │   │   │   └── userspace │   │   │   ├── devmm_define.h │   │   ├── hybm_mem_slice.cpp │   │   └── hybm_mem_slice.h │   ├── shmem_mgr.cpp │   ├── shmem_mm.cpp │   ├── shmem_rma.cpp │   ├── shmemi_mgr.h │   └── shmemi_mm.h ├── python_wrapper │   ├── CMakeLists.txt │   └── pyshmem.cpp ├── shmemi_host_common.h ├── shmemi_host_def.h ├── sync │   ├── shmemi_sync.cpp │   └── shmemi_sync.h ├── team │   ├── shmem_team.cpp │   └── shmemi_team.h ├── transport │   ├── device_rdma │   ├── transport_def.h │   ├── transport_manager.cpp │   └── transport_manager.h └── utils ├── log │   ├── shmemi_log_defs.h │   └── shmemi_logger.cpp ├── shmemi_file_util.h ├── under_api │   ├── dl_acl_api.cpp │   ├── dl_acl_api.h └── utils.h ``` ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!87	4 个月前
hybm_vmm_based_segment.cpp	【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败问题 + 多实例问题 Co-authored-by: james88liu<liujianxing1@huawei.com> Co-authored-by: zhu-wangyi<zhuwangyi@huawei.com> Co-authored-by: zhangyunqi<zhangyunqi5@huawei.com> # message auto-generated for no-merge-commit merge: !404 merge bug_fix/multi_instance_fix into master 【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败 + 多实例问题 Created-by: zhu-wangyi Commit-by: zhu-wangyi;zhangyunqi;james88liu Merged-by: cann-robot Description: ## 描述 引入v1.3.0对底层虚拟内存申请的修改，修复多实例冲突问题，修复AICPU算子加载失败问题。 ## 关联的Issue https://gitcode.com/cann/shmem/issues/207 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!404	4 小时前
hybm_vmm_based_segment.h	【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败问题 + 多实例问题 Co-authored-by: james88liu<liujianxing1@huawei.com> Co-authored-by: zhu-wangyi<zhuwangyi@huawei.com> Co-authored-by: zhangyunqi<zhangyunqi5@huawei.com> # message auto-generated for no-merge-commit merge: !404 merge bug_fix/multi_instance_fix into master 【fix】从v1.3.0分支引入vmmBasedSegment 虚拟内存分配机制，修复AICPU算子加载失败 + 多实例问题 Created-by: zhu-wangyi Commit-by: zhu-wangyi;zhangyunqi;james88liu Merged-by: cann-robot Description: ## 描述 引入v1.3.0对底层虚拟内存申请的修改，修复多实例冲突问题，修复AICPU算子加载失败问题。 ## 关联的Issue https://gitcode.com/cann/shmem/issues/207 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/shmem!404	4 小时前