9.1.0

文件	最后提交记录	最后更新时间
arch35	TopkV2算子性能优化 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> # message auto-generated for no-merge-commit merge: !3798 merge cy_9.1.0_br_07_04_sync into 9.1.0 TopkV2算子性能优化 Created-by: caoyan_huawei Commit-by: caoyan_huawei Merged-by: cann-robot Description: ## 描述 该pr同步性能优化问题到商分： 【问题背景】Topk算子当前在非尾轴处理时，aclnn接口会进行处理前的1次对值进行Transpose操作，在得到值和索引结果之后，分别对值和索引进行Transpose操作。前置后置操作一共3次Transpose。从采集数据来看， 6.94 前置Transpose 3.079 Topk算子处理时间 3.759 对输出值进行Transpose 3.856 对输出索引进行Transpose 当前算子执行时间和Transpose占比18%左右，绝大部分时间消耗在Transpose操作上，大大拉低了Topk算子的性能。 【修改方案】 对非尾轴处理，且非尾轴的数量在[2, 2048]范围内时，不在aclnn侧进行Transpose操作； 在Kernel侧新增NonTranspose模板，结合RegTensor和DataCopyGather对数据进行转置操作； 转置完成后调用Sort或者Topk的Api进行处理； 处理完成后，再次对最终结果进行转置输出到GM； ## 关联的Issue https://gitcode.com/cann/ops-math/issues/2085 ## 测试 ST，UT测试通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!3798	1 个月前
top_k_v2_apt.cpp	TopkV2算子性能优化 Co-authored-by: caoyan_huawei<caoyan11@huawei.com> # message auto-generated for no-merge-commit merge: !3798 merge cy_9.1.0_br_07_04_sync into 9.1.0 TopkV2算子性能优化 Created-by: caoyan_huawei Commit-by: caoyan_huawei Merged-by: cann-robot Description: ## 描述 该pr同步性能优化问题到商分： 【问题背景】Topk算子当前在非尾轴处理时，aclnn接口会进行处理前的1次对值进行Transpose操作，在得到值和索引结果之后，分别对值和索引进行Transpose操作。前置后置操作一共3次Transpose。从采集数据来看， 6.94 前置Transpose 3.079 Topk算子处理时间 3.759 对输出值进行Transpose 3.856 对输出索引进行Transpose 当前算子执行时间和Transpose占比18%左右，绝大部分时间消耗在Transpose操作上，大大拉低了Topk算子的性能。 【修改方案】 对非尾轴处理，且非尾轴的数量在[2, 2048]范围内时，不在aclnn侧进行Transpose操作； 在Kernel侧新增NonTranspose模板，结合RegTensor和DataCopyGather对数据进行转置操作； 转置完成后调用Sort或者Topk的Api进行处理； 处理完成后，再次对最终结果进行转置输出到GM； ## 关联的Issue https://gitcode.com/cann/ops-math/issues/2085 ## 测试 ST，UT测试通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!3798	1 个月前