| Files | Last commit | Last update |
|---|---|---|
perf(segsum): optimize short-sequence batching Co-authored-by: zsq_8888<zhushuqin1@huawei.com> # message auto-generated for no-merge-commit merge: !7354 merge perf/segsum-batch-two-a5 into master perf(segsum): optimize short-sequence batching Created-by: qq_57796320 Commit-by: zsq_8888 Merged-by: cann-robot Description: ## 描述 优化 Ascend 950 平台 Segsum 算子的大 batch、短序列场景性能。 原实现处理粒度较小,小块数据搬运、循环和同步开销较大,核内向量利用率不足。本次根据 UB 容量规划批处理大小,一次并行处理多条序列,减少重复搬运和同步;对序列长度为 1 的场景直接生成结果。同时改善 FP32 指数计算精度,保持每条序列原有的累加顺序。 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue 关联 Issue #4754:https://gitcode.com/cann/ops-math/issues/4754 <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 性能集:300 条精度全部 PASS。结合异常耗时用例的同包复测,298 条有效计时用例均达到单 case 性能要求,另外 2 条为空张量,无有效设备耗时。 - 按约定的带宽折算公式 0.4 × GPU耗时 / NPU耗时,性能比均值为 12.429×,最低为 0.133×,满足均值 > 0.5×、单 case ≥ 0.1× 的要求。 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-math!7354 | 5 days ago | |
refactor(segsum/exp_segsum_grad): 重命名op_kernel头文件区分arch22/arch35 Co-authored-by: songkai111<songkai16@huawei.com> # message auto-generated for no-merge-commit merge: !5615 merge master into master refactor(segsum/exp_segsum_grad): 重命名op_kernel头文件区分arch22/arch35 Created-by: songkai111 Commit-by: songkai111 Merged-by: cann-robot Description: ## 描述 将 segsum、exp_segsum_grad 两个算子的 op_kernel 头文件按架构重命名,明确区分 arch22 与 arch35,避免不同架构同名头文件在编译期产生歧义;并同步更新引用该头文件的 kernel 入口。 具体改动: - exp_segsum_grad/op_kernel/exp_segsum_grad.h → exp_segsum_grad_arch22.h,同步更新 exp_segsum_grad.cpp 的 include。 - exp_segsum_grad/op_kernel/arch35/exp_segsum_grad.h → exp_segsum_grad_arch35.h,同步更新 arch35/exp_segsum_grad.cpp 的 include。 - segsum/op_kernel/segsum.h → segsum_arch22.h,同步更新 segsum.cpp 的 include。 - 同步更新 include guard(SEGSUM → SEGSUM_ARCH22_H、EXP_SEGSUM_GRAD_H → EXP_SEGSUM_GRAD_ARCH22_H)及文件头注释。 - 顺带修正文件头 License 描述、代码格式与文件末尾缺失换行。 ## 关联的Issue - https://gitcode.com/cann/ops-math/issues/3152 ## 测试 本改动为头文件重命名与 include 调整,通过编译验证两个算子的 kernel 可正常构建。 ## 文档更新 无 ## 类型标签 - [x] 其他,请描述:重构(头文件重命名) See merge request: cann/ops-math!5615 | 2 months ago | |
fix(segsum): arch22末条带输入搬运长度改用行向钳位值,修复GM越界读 Co-authored-by: wanshilin<wanshilin@h-partners.com> # message auto-generated for no-merge-commit merge: !6936 merge fix_segsum into master fix(segsum): arch22末条带输入搬运长度改用行向钳位值,修复GM越界读 Created-by: wanshilin Commit-by: wanshilin Merged-by: cann-robot Description: ## 描述 MODE 0路径(tiling key 1000, tailDimSize > slideSize)中,SegsumND::Compute的CopyInBatch搬运长度误用列向钳位值calCount,而起点inOffset按行向(batchIdx * tailDimSize + rowIdx)计算,二者不同源。当T % slideSize != 0时末行条带读窗口越过x张量行末,造成GM越界读;多读数据不被消费,数值结果不受影响。 修复:输入搬运长度改为与inOffset同源的行向钳位值loopCount(即Min(slideSize, tailDimSize - rowIdx));calCount仍保留列条纹宽度语义供processY/CopyOutBatch消费,输出侧不受影响。 ## 关联的Issue fix #3845 ## 测试 1. 910B3 UT全通过:op_host 1、op_api 14、kernel 3 2. example通过:test_aclnn_segsum execute samples success 3. msSanitizer memcheck前后对比(fp32 T=13000, 2batch, ACL_MEM_MALLOC_NORMAL_ONLY):修复前illegal read of size 45952(与issue报告一致),修复后No error detected 4. 数值抽检(171点)修复前后一致,修复不引入数值变化 ## 类型标签 - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!6936 | 19 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 5 days ago | ||
| 2 months ago | ||
| 19 days ago |