| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
feat(mul): 稀疏广播非连续 Mul 回退转连续 + l0op::Mul Co-authored-by: qianzehong<qianzehong@huawei.com> # message auto-generated for no-merge-commit merge: !3316 merge feat/mul-noncontig-route-contiguous into master feat(mul): 稀疏广播非连续 Mul 回退转连续 + l0op::Mul Created-by: qianzehong Commit-by: qianzehong Merged-by: cann-robot Description: ## 描述 非连续 Mul kernel 在「外层广播 + 内层稀疏 gather」的输入上严重劣化(典型来自 RoPE cos/sin 表的 [1, N, 1] 视图,stride 含 +1 对齐 padding,最内连续块仅 1 个元素,且被外层广播重复读 K 次)。 基于 Ascend950 上板基准(lm eager 网络的 mul 非连续 case,npu.Event 设备侧计时,三轮稳定): | 输入 | 非连续 Mul | 转连续 + Mul | 倍数 | |---|---|---|---| | [1,4800,1] strides [312000,65,1] | 49.3 us | 11.1 us | **4.4x** | | [1,688,1] strides [22704,33,1] | 16.2 us | 9.5 us | **1.7x** | 而转置大张量([80,381,640] 等 0.36~0.52)、大张量带 padding 切片、纯 stride-0 广播等场景非连续 kernel 仍更优,因此**只在命中退化模式时**回退。 ### 改动 在 aclnnMulGetWorkspaceSize 中新增 MulPreferContiguous(self, other) 判定:任一输入同时满足 1. 广播倍数 MulBroadcastFactor >= 8(被重复读 K 次) 2. payload MulViewNumel >= 256 3. 最内连续块 MulInnerContiguousRun < 32(无可向量化连续块) 时,把两个非连续门(isSupportNonContiguous 与 normal 分支的 IsMulSupportNonContiguous 条件)置假,走原有的 l0op::Contiguous + l0op::Mul 路径。阈值均为具名 constexpr,便于回归微调。 ## 关联的Issue #1965 ## 测试 - 对日志中提取的 23 个非连续 Mul layout 在 Ascend950 上实跑:非连续 mul 与「转连续+mul」**数值零不一致**,该判据精确命中上述 2 个回退 case,其余 21 个保持非连续,**零误判**。 - 950 性能复测:89418 49.9us→11.1us(4.51x)、89424 16.3us→9.5us(1.70x)。 - CANN 9.0.0 aarch64 真工具链 -fsyntax-only -Wall -Wextra 编译零错误零告警。 ## 文档更新 无需更新文档 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!3316 | 2 个月前 | |
支持neg等单目运算算子下一代kernel实现 Co-authored-by: 张磊<zhanglei121@huawei.com> # message auto-generated for no-merge-commit merge: !494 merge master into master 支持neg等单目运算算子下一代kernel实现 Created-by: zl_hw Commit-by: 张磊 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!494 | 7 个月前 | |
stateless normal update Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !3219 merge master into master stateless normal update Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> statelessnomal 算子,对于std和mean进行标量处理,节省workspace内存 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 已通过冒烟测试和UT测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!3219 | 2 个月前 | |
stateless normal update Co-authored-by: biabu111<hebaojing1@huawei.com> # message auto-generated for no-merge-commit merge: !3219 merge master into master stateless normal update Created-by: biabu111 Commit-by: biabu111 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> statelessnomal 算子,对于std和mean进行标量处理,节省workspace内存 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 已通过冒烟测试和UT测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!3219 | 2 个月前 |
| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 2 个月前 | ||
| 7 个月前 | ||
| 2 个月前 | ||
| 2 个月前 |