0
代码
代码
Issues
Pull Requests
讨论
Wiki
分析
0
cann-robotcann-robot优化AllGatherMatmulV2算子量化场景workspace大小
4c759ba4创建于 20 天前历史提交
文件最后提交记录最后更新时间
config
AllGatherMatmulV2算子支持A4W4特性 Co-authored-by: zhumingzhe 00880305<zhumingzhe2@huawei.com> # message auto-generated for no-merge-commit merge: !1640 merge a4w4agmmv2_clean into master AllGatherMatmulV2算子支持A4W4特性 Created-by: zhu-mingzhe71 Commit-by: zhumingzhe 00880305 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> AllGatherMatmulV2算子支持A4W4特性，x1与x2支持int4输入 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!16403 个月前
op_tiling
优化AllGatherMatmulV2算子量化场景workspace大小 Co-authored-by: zhu-mingzhe71<zhumingzhe2@huawei.com> # message auto-generated for no-merge-commit merge: !4362 merge optimize_workspace into master 优化AllGatherMatmulV2算子量化场景workspace大小 Created-by: zhu-mingzhe71 Commit-by: zhu-mingzhe71 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> AllGatherMatmulV2算子在量化场景时，会申请M * N * ranksize * sizeof(int32)大小的workspace空间用于存放mmad的中间结果，占用显存过大，影响模型使用，希望能过切片pingpong的方式来减小workspace空间。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-transformer/issues/2283 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [x] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!436220 天前
CMakeLists.txt
[MC2] tiling代码芯片隔离 Co-authored-by: hblnb<huangbolin3@huawei.com> # message auto-generated for no-merge-commit merge: !2878 merge tiling_soc_iso into master [MC2] tiling代码芯片隔离 Created-by: hblnb Commit-by: hblnb Merged-by: cann-robot Description: ## 描述 对MC2的tiling编译进行芯片隔离，减少编译时间。在编包时先根据soc找到对应的arch，然后编译对应arch文件夹下面的cpp，其他arch文件夹不会编译 ## 关联的Issue https://gitcode.com/cann/ops-transformer/issues/1692 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [ ] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!28781 个月前
all_gather_matmul_v2_def.cpp
【A2】mc2算子添加非连续性校验 Co-authored-by: lyt_claire<luyitong1@huawei.com> # message auto-generated for no-merge-commit merge: !3676 merge mc2ContiguousFix into master 【A2】mc2算子添加非连续性校验 Created-by: lyt_claire Commit-by: lyt_claire Merged-by: cann-robot Description: ## 描述 all_gather_matmul、all_gather_matmul_v2、 matmul_all_reduce、matmul_reduce_scatter、 matmul_reduce_scatter_v2添加非连续性校验 修复内容： 1.mc2/matmul_all_reduce/op_api/aclnn_weight_quant_matmul_all_reduce.cpp文件中antiquantOffset的空指针校验 优化内容： 1.mc2/matmul_all_reduce/op_api/matmul_all_reduce_util.cpp文件中对于空tensor的放行，对于matmul all reduce来说，空tensor（m、k、n任意一轴为0）输入合法，直接跳过。 2.对MatmulReduceScatter、MatmulAllReduce算子的所有非连续校验从空指针校验后挪至输入shape的校验之后，不影响原先aclnn接口的校验顺序。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] 🐛 Bug 修复 - [ ] ✨ 新特性 - [ ] ⚡ 性能优化 - [ ] ♻️ 重构 - [ ] 🧪 测试 - [ ] 📦 构建/CI - [ ] 🔧 配置变更 - [ ] 📝 文档更新 - [ ] ⬆️ 依赖升级 - [x] 🔒 安全修复 - [ ] 🧹 代码清理 - [ ] ❓ 其他，请描述： See merge request: cann/ops-transformer!36761 个月前
all_gather_matmul_v2_infershape.cpp
调整common目录结构 Co-authored-by: hello_simida<wangyi206@huawei.com> # message auto-generated for no-merge-commit merge: !2465 merge master_v3 into master 调整common目录结构 Created-by: hello_simida Commit-by: hello_simida Merged-by: cann-robot Description: ## 描述 调整common目录调整 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-transformer!24652 个月前