9.1.0

cann-robot优化StatelessNormal算子内存及修复超32位切分精度问题

a6d87664创建于 27 天前历史提交

文件	最后提交记录	最后更新时间
aclnn_mul.cpp	feat(mul): 稀疏广播非连续 Mul 回退转连续 + l0op::Mul (backport to 9.1.0) Co-authored-by: qianzehong<qianzehong@huawei.com> # message auto-generated for no-merge-commit merge: !3581 merge feat/mul-noncontig-route-contiguous-9.1.0 into 9.1.0 feat(mul): 稀疏广播非连续 Mul 回退转连续 + l0op::Mul (backport to 9.1.0) Created-by: qianzehong Commit-by: qianzehong Merged-by: cann-robot Description: ## 描述 将已合入 master 的 cann/ops-math!3316 回合到 9.1.0 分支。 非连续 Mul kernel 在「外层广播 + 内层稀疏 gather」的输入上严重劣化（典型来自 RoPE cos/sin 表的 [1, N, 1] 视图，stride 含 +1 对齐 padding，最内连续块仅 1 个元素，且被外层广播重复读 K 次）。 基于 Ascend950 上板基准（lm eager 网络的 mul 非连续 case，npu.Event 设备侧计时，三轮稳定）： | 输入 | 非连续 Mul | 转连续 + Mul | 倍数 | |---|---|---|---| | [1,4800,1] strides [312000,65,1] | 49.3 us | 11.1 us | **4.4x** | | [1,688,1] strides [22704,33,1] | 16.2 us | 9.5 us | **1.7x** | 而转置大张量、大张量带 padding 切片、纯 stride-0 广播等场景非连续 kernel 仍更优，因此**只在命中退化模式时**回退。 ### 改动 在 aclnnMulGetWorkspaceSize 中新增 MulPreferContiguous(self, other) 判定：任一输入同时满足 1. 广播倍数 MulBroadcastFactor >= 8 2. payload MulViewNumel >= 256 3. 最内连续块 MulInnerContiguousRun < 32 时，把两个非连续门置假，走原有的 l0op::Contiguous + l0op::Mul 路径。阈值均为具名 constexpr。 ## 关联的Issue #1965 ## 测试 - 23 个非连续 Mul layout 在 Ascend950 实跑：数值零不一致，精确命中 2 个回退 case，其余 21 个保持非连续，零误判。 - 950 性能复测：49.9us→11.1us（4.51x）、16.3us→9.5us（1.70x）。 - CANN 9.0.0 aarch64 真工具链 -fsyntax-only -Wall -Wextra 编译零错误零告警。 ## 文档更新 无需更新文档 ## 类型标签 - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!3581	1 个月前
aclnn_mul.h	支持neg等单目运算算子下一代kernel实现 Co-authored-by: 张磊<zhanglei121@huawei.com> # message auto-generated for no-merge-commit merge: !494 merge master into master 支持neg等单目运算算子下一代kernel实现 Created-by: zl_hw Commit-by: 张磊 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!494	7 个月前
mul.cpp	优化StatelessNormal算子内存及修复超32位切分精度问题 Co-authored-by: gh_M<meiguohan@huawei.com> # message auto-generated for no-merge-commit merge: !4005 merge 9.1.0 into 9.1.0 优化StatelessNormal算子内存及修复超32位切分精度问题 Created-by: gh_M Commit-by: gh_M Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 解决了算子额外内存占用与超大shape场景下的精度问题。修复了算子导致host重启与训练掉卡的情况。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2162 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 各泛化测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!4005	27 天前
mul.h	优化StatelessNormal算子内存及修复超32位切分精度问题 Co-authored-by: gh_M<meiguohan@huawei.com> # message auto-generated for no-merge-commit merge: !4005 merge 9.1.0 into 9.1.0 优化StatelessNormal算子内存及修复超32位切分精度问题 Created-by: gh_M Commit-by: gh_M Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 解决了算子额外内存占用与超大shape场景下的精度问题。修复了算子导致host重启与训练掉卡的情况。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2162 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 各泛化测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!4005	27 天前