| 文档里产品名统一化+规范化修改 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7136 merge master into master 文档里产品名统一化+规范化修改 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 文档里产品名统一化+规范化修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> *.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!7136 | 15 天前 |
| add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Co-authored-by: gavinhhr<2803677117@qq.com> # message auto-generated for no-merge-commit merge: !5136 merge reduce_std_with_mean_v2 into master add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Created-by: gavinhhr Commit-by: gavinhhr Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增算子 **reduce_std_with_mean_v2**(含 L0 单算子接口与两个 L2 API:aclnnStdMeanCorrectionV2 / aclnnBatchNormStatsV2)。 **改动原因**:现有 reduce_std_with_mean(Two-Pass 方案)在 L2 层需先调用 l0op::ReduceMean 预计算均值,再经 Expand/BroadcastTo 广播后送入 ReduceStdWithMean kernel 计算方差——全程 2~3 次 kernel 启动,mean 张量需完整写/读/广播,引入大量额外 GM 流量;小数据量场景 kernel 启动开销占比高。 **所采取的方法**: 1. **单遍分块 Welford 融合计算**:kernel 内用分块 Welford(块内两遍 + Chan 并行合并公式)单遍扫描输入,同时产出均值与标准差/标准差倒数,消除中间 kernel 链与 mean 张量搬运;Chan 合并对任意分块数学精确,避免 E[x²]-E[x]² 灾难性相消 2. **三路径自适应调度**(tiling 阶段按输入形态选择): - 串行路径(兜底):逐行 tile 循环 + 标量 Chan 合并 - M 向量化路径(ProcessVectorized):R≤1920 且 32B 对齐且 M≥8 时启用,BlockReduceSum 多段归约 + 向量化 Chan 合并,摊薄每行固定开销 - two-stage 跨核路径(ReduceStdWithMeanV2Partial + ReduceStdWithMeanV2Merge):M≤64 且 R>2048 且 32B 对齐时启用,R 拆 K 段跨核归约 + Chan 跨段合并,解决"M 小核闲置 + 行内串行" 3. **数值与精度**:fp16/bf16 中间计算统一升 fp32 精度域;输出 CAST_RINT(RNE 舍入,与 PyTorch 一致);UB 偏移 32B 对齐 4. **host 侧**:参数校验、空 tensor 处理、correction 边界(N≤correction 时 NaN/INF 语义)、非最内层归约自动 Transpose 预处理与 keepdim 逆转置输出、多核切分与 UB 预算 tiling ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2908 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> **单元测试(UT)**: - op_host:26/26 通过(tiling 路径选择、infershape 双输出) - op_api:接口参数校验用例通过 - op_kernel:27/27 通过(串行 + M 向量化 + two-stage 两阶段数值用例,含短尾段/尾批/多 dtype) **精度测试(ATK)**: - aclnnStdMeanCorrectionV2:226/226 通过(fp16/fp32/bf16,ND) - aclnnBatchNormStatsV2:128/128 通过 **性能验证**(16 例典型 shape,torch_npu profiler 采集 kernel 级耗时): | case | dtype | shape | v2 (us) | Two-Pass (us) | TBE (us) | vs Two-Pass | vs TBE | |---|---|---|---|---|---|---|---| | fp32_1k_sq | fp32 | [1024,1024] | 23.0 | 31.6 | 36.6 | 1.38x | 1.59x | | fp16_64x65536 | fp16 | [64,65536] | 51.5 | 265.3 | 273.6 | 5.15x | 5.31x | | fp32_4k_sq | fp32 | [4096,4096] | 136.3 | 156.2 | 189.0 | 1.15x | 1.39x | | fp16_16k_512 | fp16 | [16384,512] | 161.6 | 236.5 | 252.3 | 1.46x | 1.56x | | bf16_8k_2048 | bf16 | [8192,2048] | 170.9 | 194.8 | 214.9 | 1.14x | 1.26x | | fp32_32k_2048 | fp32 | [32768,2048] | 825.8 | 1010.8 | 1139.9 | 1.22x | 1.38x | | fp32_16k_4096 | fp32 | [16384,4096] | 515.8 | 812.3 | 926.3 | 1.57x | 1.80x | | fp16_32k_2048 | fp16 | [32768,2048] | 623.6 | 773.6 | 820.7 | 1.24x | 1.32x | | bf16_32k_2048 | bf16 | [32768,2048] | 623.5 | 762.4 | 819.6 | 1.22x | 1.31x | | fp32_16k_8192 | fp32 | [16384,8192] | 667.3 | 1464.7 | 1760.6 | 2.19x | 2.64x | | fp16_16k_4096 | fp16 | [16384,4096] | 396.7 | 517.6 | 582.4 | 1.30x | 1.47x | | fp32_512_1024_1024 | fp32 | [512,1024,1024] | 8173.6 | 11144.0 | 12519.2 | 1.36x | 1.53x | | fp16_1024_1024_256 | fp16 | [1024,1024,256] | 9249.6 | 16477.3 | 16774.5 | 1.78x | 1.81x | | fp32_64k_2048 | fp32 | [65536,2048] | 1656.2 | 1927.2 | 2224.4 | 1.16x | 1.34x | | fp32_32k_3072 | fp32 | [32768,3072] | 942.4 | 1280.1 | 1482.9 | 1.36x | 1.57x | | fp16_32k_4096 | fp16 | [32768,4096] | 929.5 | 1189.1 | 1311.7 | 1.28x | 1.41x | | **汇总(geomean)** | | | | | | **1.48x** | **1.66x** | - 16 例全部加速(无变慢 case):vs Two-Pass geomean **1.48x**、vs CANN 内置 TBE geomean **1.66x** ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 experimental/math/reduce_std_with_mean_v2/README.md。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5136 | 22 天前 |
| add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Co-authored-by: gavinhhr<2803677117@qq.com> # message auto-generated for no-merge-commit merge: !5136 merge reduce_std_with_mean_v2 into master add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Created-by: gavinhhr Commit-by: gavinhhr Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增算子 **reduce_std_with_mean_v2**(含 L0 单算子接口与两个 L2 API:aclnnStdMeanCorrectionV2 / aclnnBatchNormStatsV2)。 **改动原因**:现有 reduce_std_with_mean(Two-Pass 方案)在 L2 层需先调用 l0op::ReduceMean 预计算均值,再经 Expand/BroadcastTo 广播后送入 ReduceStdWithMean kernel 计算方差——全程 2~3 次 kernel 启动,mean 张量需完整写/读/广播,引入大量额外 GM 流量;小数据量场景 kernel 启动开销占比高。 **所采取的方法**: 1. **单遍分块 Welford 融合计算**:kernel 内用分块 Welford(块内两遍 + Chan 并行合并公式)单遍扫描输入,同时产出均值与标准差/标准差倒数,消除中间 kernel 链与 mean 张量搬运;Chan 合并对任意分块数学精确,避免 E[x²]-E[x]² 灾难性相消 2. **三路径自适应调度**(tiling 阶段按输入形态选择): - 串行路径(兜底):逐行 tile 循环 + 标量 Chan 合并 - M 向量化路径(ProcessVectorized):R≤1920 且 32B 对齐且 M≥8 时启用,BlockReduceSum 多段归约 + 向量化 Chan 合并,摊薄每行固定开销 - two-stage 跨核路径(ReduceStdWithMeanV2Partial + ReduceStdWithMeanV2Merge):M≤64 且 R>2048 且 32B 对齐时启用,R 拆 K 段跨核归约 + Chan 跨段合并,解决"M 小核闲置 + 行内串行" 3. **数值与精度**:fp16/bf16 中间计算统一升 fp32 精度域;输出 CAST_RINT(RNE 舍入,与 PyTorch 一致);UB 偏移 32B 对齐 4. **host 侧**:参数校验、空 tensor 处理、correction 边界(N≤correction 时 NaN/INF 语义)、非最内层归约自动 Transpose 预处理与 keepdim 逆转置输出、多核切分与 UB 预算 tiling ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2908 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> **单元测试(UT)**: - op_host:26/26 通过(tiling 路径选择、infershape 双输出) - op_api:接口参数校验用例通过 - op_kernel:27/27 通过(串行 + M 向量化 + two-stage 两阶段数值用例,含短尾段/尾批/多 dtype) **精度测试(ATK)**: - aclnnStdMeanCorrectionV2:226/226 通过(fp16/fp32/bf16,ND) - aclnnBatchNormStatsV2:128/128 通过 **性能验证**(16 例典型 shape,torch_npu profiler 采集 kernel 级耗时): | case | dtype | shape | v2 (us) | Two-Pass (us) | TBE (us) | vs Two-Pass | vs TBE | |---|---|---|---|---|---|---|---| | fp32_1k_sq | fp32 | [1024,1024] | 23.0 | 31.6 | 36.6 | 1.38x | 1.59x | | fp16_64x65536 | fp16 | [64,65536] | 51.5 | 265.3 | 273.6 | 5.15x | 5.31x | | fp32_4k_sq | fp32 | [4096,4096] | 136.3 | 156.2 | 189.0 | 1.15x | 1.39x | | fp16_16k_512 | fp16 | [16384,512] | 161.6 | 236.5 | 252.3 | 1.46x | 1.56x | | bf16_8k_2048 | bf16 | [8192,2048] | 170.9 | 194.8 | 214.9 | 1.14x | 1.26x | | fp32_32k_2048 | fp32 | [32768,2048] | 825.8 | 1010.8 | 1139.9 | 1.22x | 1.38x | | fp32_16k_4096 | fp32 | [16384,4096] | 515.8 | 812.3 | 926.3 | 1.57x | 1.80x | | fp16_32k_2048 | fp16 | [32768,2048] | 623.6 | 773.6 | 820.7 | 1.24x | 1.32x | | bf16_32k_2048 | bf16 | [32768,2048] | 623.5 | 762.4 | 819.6 | 1.22x | 1.31x | | fp32_16k_8192 | fp32 | [16384,8192] | 667.3 | 1464.7 | 1760.6 | 2.19x | 2.64x | | fp16_16k_4096 | fp16 | [16384,4096] | 396.7 | 517.6 | 582.4 | 1.30x | 1.47x | | fp32_512_1024_1024 | fp32 | [512,1024,1024] | 8173.6 | 11144.0 | 12519.2 | 1.36x | 1.53x | | fp16_1024_1024_256 | fp16 | [1024,1024,256] | 9249.6 | 16477.3 | 16774.5 | 1.78x | 1.81x | | fp32_64k_2048 | fp32 | [65536,2048] | 1656.2 | 1927.2 | 2224.4 | 1.16x | 1.34x | | fp32_32k_3072 | fp32 | [32768,3072] | 942.4 | 1280.1 | 1482.9 | 1.36x | 1.57x | | fp16_32k_4096 | fp16 | [32768,4096] | 929.5 | 1189.1 | 1311.7 | 1.28x | 1.41x | | **汇总(geomean)** | | | | | | **1.48x** | **1.66x** | - 16 例全部加速(无变慢 case):vs Two-Pass geomean **1.48x**、vs CANN 内置 TBE geomean **1.66x** ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 experimental/math/reduce_std_with_mean_v2/README.md。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5136 | 22 天前 |
| add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Co-authored-by: gavinhhr<2803677117@qq.com> # message auto-generated for no-merge-commit merge: !5136 merge reduce_std_with_mean_v2 into master add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Created-by: gavinhhr Commit-by: gavinhhr Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增算子 **reduce_std_with_mean_v2**(含 L0 单算子接口与两个 L2 API:aclnnStdMeanCorrectionV2 / aclnnBatchNormStatsV2)。 **改动原因**:现有 reduce_std_with_mean(Two-Pass 方案)在 L2 层需先调用 l0op::ReduceMean 预计算均值,再经 Expand/BroadcastTo 广播后送入 ReduceStdWithMean kernel 计算方差——全程 2~3 次 kernel 启动,mean 张量需完整写/读/广播,引入大量额外 GM 流量;小数据量场景 kernel 启动开销占比高。 **所采取的方法**: 1. **单遍分块 Welford 融合计算**:kernel 内用分块 Welford(块内两遍 + Chan 并行合并公式)单遍扫描输入,同时产出均值与标准差/标准差倒数,消除中间 kernel 链与 mean 张量搬运;Chan 合并对任意分块数学精确,避免 E[x²]-E[x]² 灾难性相消 2. **三路径自适应调度**(tiling 阶段按输入形态选择): - 串行路径(兜底):逐行 tile 循环 + 标量 Chan 合并 - M 向量化路径(ProcessVectorized):R≤1920 且 32B 对齐且 M≥8 时启用,BlockReduceSum 多段归约 + 向量化 Chan 合并,摊薄每行固定开销 - two-stage 跨核路径(ReduceStdWithMeanV2Partial + ReduceStdWithMeanV2Merge):M≤64 且 R>2048 且 32B 对齐时启用,R 拆 K 段跨核归约 + Chan 跨段合并,解决"M 小核闲置 + 行内串行" 3. **数值与精度**:fp16/bf16 中间计算统一升 fp32 精度域;输出 CAST_RINT(RNE 舍入,与 PyTorch 一致);UB 偏移 32B 对齐 4. **host 侧**:参数校验、空 tensor 处理、correction 边界(N≤correction 时 NaN/INF 语义)、非最内层归约自动 Transpose 预处理与 keepdim 逆转置输出、多核切分与 UB 预算 tiling ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2908 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> **单元测试(UT)**: - op_host:26/26 通过(tiling 路径选择、infershape 双输出) - op_api:接口参数校验用例通过 - op_kernel:27/27 通过(串行 + M 向量化 + two-stage 两阶段数值用例,含短尾段/尾批/多 dtype) **精度测试(ATK)**: - aclnnStdMeanCorrectionV2:226/226 通过(fp16/fp32/bf16,ND) - aclnnBatchNormStatsV2:128/128 通过 **性能验证**(16 例典型 shape,torch_npu profiler 采集 kernel 级耗时): | case | dtype | shape | v2 (us) | Two-Pass (us) | TBE (us) | vs Two-Pass | vs TBE | |---|---|---|---|---|---|---|---| | fp32_1k_sq | fp32 | [1024,1024] | 23.0 | 31.6 | 36.6 | 1.38x | 1.59x | | fp16_64x65536 | fp16 | [64,65536] | 51.5 | 265.3 | 273.6 | 5.15x | 5.31x | | fp32_4k_sq | fp32 | [4096,4096] | 136.3 | 156.2 | 189.0 | 1.15x | 1.39x | | fp16_16k_512 | fp16 | [16384,512] | 161.6 | 236.5 | 252.3 | 1.46x | 1.56x | | bf16_8k_2048 | bf16 | [8192,2048] | 170.9 | 194.8 | 214.9 | 1.14x | 1.26x | | fp32_32k_2048 | fp32 | [32768,2048] | 825.8 | 1010.8 | 1139.9 | 1.22x | 1.38x | | fp32_16k_4096 | fp32 | [16384,4096] | 515.8 | 812.3 | 926.3 | 1.57x | 1.80x | | fp16_32k_2048 | fp16 | [32768,2048] | 623.6 | 773.6 | 820.7 | 1.24x | 1.32x | | bf16_32k_2048 | bf16 | [32768,2048] | 623.5 | 762.4 | 819.6 | 1.22x | 1.31x | | fp32_16k_8192 | fp32 | [16384,8192] | 667.3 | 1464.7 | 1760.6 | 2.19x | 2.64x | | fp16_16k_4096 | fp16 | [16384,4096] | 396.7 | 517.6 | 582.4 | 1.30x | 1.47x | | fp32_512_1024_1024 | fp32 | [512,1024,1024] | 8173.6 | 11144.0 | 12519.2 | 1.36x | 1.53x | | fp16_1024_1024_256 | fp16 | [1024,1024,256] | 9249.6 | 16477.3 | 16774.5 | 1.78x | 1.81x | | fp32_64k_2048 | fp32 | [65536,2048] | 1656.2 | 1927.2 | 2224.4 | 1.16x | 1.34x | | fp32_32k_3072 | fp32 | [32768,3072] | 942.4 | 1280.1 | 1482.9 | 1.36x | 1.57x | | fp16_32k_4096 | fp16 | [32768,4096] | 929.5 | 1189.1 | 1311.7 | 1.28x | 1.41x | | **汇总(geomean)** | | | | | | **1.48x** | **1.66x** | - 16 例全部加速(无变慢 case):vs Two-Pass geomean **1.48x**、vs CANN 内置 TBE geomean **1.66x** ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 experimental/math/reduce_std_with_mean_v2/README.md。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5136 | 22 天前 |
| add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Co-authored-by: gavinhhr<2803677117@qq.com> # message auto-generated for no-merge-commit merge: !5136 merge reduce_std_with_mean_v2 into master add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Created-by: gavinhhr Commit-by: gavinhhr Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增算子 **reduce_std_with_mean_v2**(含 L0 单算子接口与两个 L2 API:aclnnStdMeanCorrectionV2 / aclnnBatchNormStatsV2)。 **改动原因**:现有 reduce_std_with_mean(Two-Pass 方案)在 L2 层需先调用 l0op::ReduceMean 预计算均值,再经 Expand/BroadcastTo 广播后送入 ReduceStdWithMean kernel 计算方差——全程 2~3 次 kernel 启动,mean 张量需完整写/读/广播,引入大量额外 GM 流量;小数据量场景 kernel 启动开销占比高。 **所采取的方法**: 1. **单遍分块 Welford 融合计算**:kernel 内用分块 Welford(块内两遍 + Chan 并行合并公式)单遍扫描输入,同时产出均值与标准差/标准差倒数,消除中间 kernel 链与 mean 张量搬运;Chan 合并对任意分块数学精确,避免 E[x²]-E[x]² 灾难性相消 2. **三路径自适应调度**(tiling 阶段按输入形态选择): - 串行路径(兜底):逐行 tile 循环 + 标量 Chan 合并 - M 向量化路径(ProcessVectorized):R≤1920 且 32B 对齐且 M≥8 时启用,BlockReduceSum 多段归约 + 向量化 Chan 合并,摊薄每行固定开销 - two-stage 跨核路径(ReduceStdWithMeanV2Partial + ReduceStdWithMeanV2Merge):M≤64 且 R>2048 且 32B 对齐时启用,R 拆 K 段跨核归约 + Chan 跨段合并,解决"M 小核闲置 + 行内串行" 3. **数值与精度**:fp16/bf16 中间计算统一升 fp32 精度域;输出 CAST_RINT(RNE 舍入,与 PyTorch 一致);UB 偏移 32B 对齐 4. **host 侧**:参数校验、空 tensor 处理、correction 边界(N≤correction 时 NaN/INF 语义)、非最内层归约自动 Transpose 预处理与 keepdim 逆转置输出、多核切分与 UB 预算 tiling ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2908 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> **单元测试(UT)**: - op_host:26/26 通过(tiling 路径选择、infershape 双输出) - op_api:接口参数校验用例通过 - op_kernel:27/27 通过(串行 + M 向量化 + two-stage 两阶段数值用例,含短尾段/尾批/多 dtype) **精度测试(ATK)**: - aclnnStdMeanCorrectionV2:226/226 通过(fp16/fp32/bf16,ND) - aclnnBatchNormStatsV2:128/128 通过 **性能验证**(16 例典型 shape,torch_npu profiler 采集 kernel 级耗时): | case | dtype | shape | v2 (us) | Two-Pass (us) | TBE (us) | vs Two-Pass | vs TBE | |---|---|---|---|---|---|---|---| | fp32_1k_sq | fp32 | [1024,1024] | 23.0 | 31.6 | 36.6 | 1.38x | 1.59x | | fp16_64x65536 | fp16 | [64,65536] | 51.5 | 265.3 | 273.6 | 5.15x | 5.31x | | fp32_4k_sq | fp32 | [4096,4096] | 136.3 | 156.2 | 189.0 | 1.15x | 1.39x | | fp16_16k_512 | fp16 | [16384,512] | 161.6 | 236.5 | 252.3 | 1.46x | 1.56x | | bf16_8k_2048 | bf16 | [8192,2048] | 170.9 | 194.8 | 214.9 | 1.14x | 1.26x | | fp32_32k_2048 | fp32 | [32768,2048] | 825.8 | 1010.8 | 1139.9 | 1.22x | 1.38x | | fp32_16k_4096 | fp32 | [16384,4096] | 515.8 | 812.3 | 926.3 | 1.57x | 1.80x | | fp16_32k_2048 | fp16 | [32768,2048] | 623.6 | 773.6 | 820.7 | 1.24x | 1.32x | | bf16_32k_2048 | bf16 | [32768,2048] | 623.5 | 762.4 | 819.6 | 1.22x | 1.31x | | fp32_16k_8192 | fp32 | [16384,8192] | 667.3 | 1464.7 | 1760.6 | 2.19x | 2.64x | | fp16_16k_4096 | fp16 | [16384,4096] | 396.7 | 517.6 | 582.4 | 1.30x | 1.47x | | fp32_512_1024_1024 | fp32 | [512,1024,1024] | 8173.6 | 11144.0 | 12519.2 | 1.36x | 1.53x | | fp16_1024_1024_256 | fp16 | [1024,1024,256] | 9249.6 | 16477.3 | 16774.5 | 1.78x | 1.81x | | fp32_64k_2048 | fp32 | [65536,2048] | 1656.2 | 1927.2 | 2224.4 | 1.16x | 1.34x | | fp32_32k_3072 | fp32 | [32768,3072] | 942.4 | 1280.1 | 1482.9 | 1.36x | 1.57x | | fp16_32k_4096 | fp16 | [32768,4096] | 929.5 | 1189.1 | 1311.7 | 1.28x | 1.41x | | **汇总(geomean)** | | | | | | **1.48x** | **1.66x** | - 16 例全部加速(无变慢 case):vs Two-Pass geomean **1.48x**、vs CANN 内置 TBE geomean **1.66x** ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 experimental/math/reduce_std_with_mean_v2/README.md。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5136 | 22 天前 |
| add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Co-authored-by: gavinhhr<2803677117@qq.com> # message auto-generated for no-merge-commit merge: !5136 merge reduce_std_with_mean_v2 into master add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Created-by: gavinhhr Commit-by: gavinhhr Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增算子 **reduce_std_with_mean_v2**(含 L0 单算子接口与两个 L2 API:aclnnStdMeanCorrectionV2 / aclnnBatchNormStatsV2)。 **改动原因**:现有 reduce_std_with_mean(Two-Pass 方案)在 L2 层需先调用 l0op::ReduceMean 预计算均值,再经 Expand/BroadcastTo 广播后送入 ReduceStdWithMean kernel 计算方差——全程 2~3 次 kernel 启动,mean 张量需完整写/读/广播,引入大量额外 GM 流量;小数据量场景 kernel 启动开销占比高。 **所采取的方法**: 1. **单遍分块 Welford 融合计算**:kernel 内用分块 Welford(块内两遍 + Chan 并行合并公式)单遍扫描输入,同时产出均值与标准差/标准差倒数,消除中间 kernel 链与 mean 张量搬运;Chan 合并对任意分块数学精确,避免 E[x²]-E[x]² 灾难性相消 2. **三路径自适应调度**(tiling 阶段按输入形态选择): - 串行路径(兜底):逐行 tile 循环 + 标量 Chan 合并 - M 向量化路径(ProcessVectorized):R≤1920 且 32B 对齐且 M≥8 时启用,BlockReduceSum 多段归约 + 向量化 Chan 合并,摊薄每行固定开销 - two-stage 跨核路径(ReduceStdWithMeanV2Partial + ReduceStdWithMeanV2Merge):M≤64 且 R>2048 且 32B 对齐时启用,R 拆 K 段跨核归约 + Chan 跨段合并,解决"M 小核闲置 + 行内串行" 3. **数值与精度**:fp16/bf16 中间计算统一升 fp32 精度域;输出 CAST_RINT(RNE 舍入,与 PyTorch 一致);UB 偏移 32B 对齐 4. **host 侧**:参数校验、空 tensor 处理、correction 边界(N≤correction 时 NaN/INF 语义)、非最内层归约自动 Transpose 预处理与 keepdim 逆转置输出、多核切分与 UB 预算 tiling ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2908 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> **单元测试(UT)**: - op_host:26/26 通过(tiling 路径选择、infershape 双输出) - op_api:接口参数校验用例通过 - op_kernel:27/27 通过(串行 + M 向量化 + two-stage 两阶段数值用例,含短尾段/尾批/多 dtype) **精度测试(ATK)**: - aclnnStdMeanCorrectionV2:226/226 通过(fp16/fp32/bf16,ND) - aclnnBatchNormStatsV2:128/128 通过 **性能验证**(16 例典型 shape,torch_npu profiler 采集 kernel 级耗时): | case | dtype | shape | v2 (us) | Two-Pass (us) | TBE (us) | vs Two-Pass | vs TBE | |---|---|---|---|---|---|---|---| | fp32_1k_sq | fp32 | [1024,1024] | 23.0 | 31.6 | 36.6 | 1.38x | 1.59x | | fp16_64x65536 | fp16 | [64,65536] | 51.5 | 265.3 | 273.6 | 5.15x | 5.31x | | fp32_4k_sq | fp32 | [4096,4096] | 136.3 | 156.2 | 189.0 | 1.15x | 1.39x | | fp16_16k_512 | fp16 | [16384,512] | 161.6 | 236.5 | 252.3 | 1.46x | 1.56x | | bf16_8k_2048 | bf16 | [8192,2048] | 170.9 | 194.8 | 214.9 | 1.14x | 1.26x | | fp32_32k_2048 | fp32 | [32768,2048] | 825.8 | 1010.8 | 1139.9 | 1.22x | 1.38x | | fp32_16k_4096 | fp32 | [16384,4096] | 515.8 | 812.3 | 926.3 | 1.57x | 1.80x | | fp16_32k_2048 | fp16 | [32768,2048] | 623.6 | 773.6 | 820.7 | 1.24x | 1.32x | | bf16_32k_2048 | bf16 | [32768,2048] | 623.5 | 762.4 | 819.6 | 1.22x | 1.31x | | fp32_16k_8192 | fp32 | [16384,8192] | 667.3 | 1464.7 | 1760.6 | 2.19x | 2.64x | | fp16_16k_4096 | fp16 | [16384,4096] | 396.7 | 517.6 | 582.4 | 1.30x | 1.47x | | fp32_512_1024_1024 | fp32 | [512,1024,1024] | 8173.6 | 11144.0 | 12519.2 | 1.36x | 1.53x | | fp16_1024_1024_256 | fp16 | [1024,1024,256] | 9249.6 | 16477.3 | 16774.5 | 1.78x | 1.81x | | fp32_64k_2048 | fp32 | [65536,2048] | 1656.2 | 1927.2 | 2224.4 | 1.16x | 1.34x | | fp32_32k_3072 | fp32 | [32768,3072] | 942.4 | 1280.1 | 1482.9 | 1.36x | 1.57x | | fp16_32k_4096 | fp16 | [32768,4096] | 929.5 | 1189.1 | 1311.7 | 1.28x | 1.41x | | **汇总(geomean)** | | | | | | **1.48x** | **1.66x** | - 16 例全部加速(无变慢 case):vs Two-Pass geomean **1.48x**、vs CANN 内置 TBE geomean **1.66x** ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 experimental/math/reduce_std_with_mean_v2/README.md。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5136 | 22 天前 |
| add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Co-authored-by: gavinhhr<2803677117@qq.com> # message auto-generated for no-merge-commit merge: !5136 merge reduce_std_with_mean_v2 into master add: 新增 reduce_std_with_mean_v2 算子 A2 实现 Created-by: gavinhhr Commit-by: gavinhhr Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 新增算子 **reduce_std_with_mean_v2**(含 L0 单算子接口与两个 L2 API:aclnnStdMeanCorrectionV2 / aclnnBatchNormStatsV2)。 **改动原因**:现有 reduce_std_with_mean(Two-Pass 方案)在 L2 层需先调用 l0op::ReduceMean 预计算均值,再经 Expand/BroadcastTo 广播后送入 ReduceStdWithMean kernel 计算方差——全程 2~3 次 kernel 启动,mean 张量需完整写/读/广播,引入大量额外 GM 流量;小数据量场景 kernel 启动开销占比高。 **所采取的方法**: 1. **单遍分块 Welford 融合计算**:kernel 内用分块 Welford(块内两遍 + Chan 并行合并公式)单遍扫描输入,同时产出均值与标准差/标准差倒数,消除中间 kernel 链与 mean 张量搬运;Chan 合并对任意分块数学精确,避免 E[x²]-E[x]² 灾难性相消 2. **三路径自适应调度**(tiling 阶段按输入形态选择): - 串行路径(兜底):逐行 tile 循环 + 标量 Chan 合并 - M 向量化路径(ProcessVectorized):R≤1920 且 32B 对齐且 M≥8 时启用,BlockReduceSum 多段归约 + 向量化 Chan 合并,摊薄每行固定开销 - two-stage 跨核路径(ReduceStdWithMeanV2Partial + ReduceStdWithMeanV2Merge):M≤64 且 R>2048 且 32B 对齐时启用,R 拆 K 段跨核归约 + Chan 跨段合并,解决"M 小核闲置 + 行内串行" 3. **数值与精度**:fp16/bf16 中间计算统一升 fp32 精度域;输出 CAST_RINT(RNE 舍入,与 PyTorch 一致);UB 偏移 32B 对齐 4. **host 侧**:参数校验、空 tensor 处理、correction 边界(N≤correction 时 NaN/INF 语义)、非最内层归约自动 Transpose 预处理与 keepdim 逆转置输出、多核切分与 UB 预算 tiling ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/2908 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> **单元测试(UT)**: - op_host:26/26 通过(tiling 路径选择、infershape 双输出) - op_api:接口参数校验用例通过 - op_kernel:27/27 通过(串行 + M 向量化 + two-stage 两阶段数值用例,含短尾段/尾批/多 dtype) **精度测试(ATK)**: - aclnnStdMeanCorrectionV2:226/226 通过(fp16/fp32/bf16,ND) - aclnnBatchNormStatsV2:128/128 通过 **性能验证**(16 例典型 shape,torch_npu profiler 采集 kernel 级耗时): | case | dtype | shape | v2 (us) | Two-Pass (us) | TBE (us) | vs Two-Pass | vs TBE | |---|---|---|---|---|---|---|---| | fp32_1k_sq | fp32 | [1024,1024] | 23.0 | 31.6 | 36.6 | 1.38x | 1.59x | | fp16_64x65536 | fp16 | [64,65536] | 51.5 | 265.3 | 273.6 | 5.15x | 5.31x | | fp32_4k_sq | fp32 | [4096,4096] | 136.3 | 156.2 | 189.0 | 1.15x | 1.39x | | fp16_16k_512 | fp16 | [16384,512] | 161.6 | 236.5 | 252.3 | 1.46x | 1.56x | | bf16_8k_2048 | bf16 | [8192,2048] | 170.9 | 194.8 | 214.9 | 1.14x | 1.26x | | fp32_32k_2048 | fp32 | [32768,2048] | 825.8 | 1010.8 | 1139.9 | 1.22x | 1.38x | | fp32_16k_4096 | fp32 | [16384,4096] | 515.8 | 812.3 | 926.3 | 1.57x | 1.80x | | fp16_32k_2048 | fp16 | [32768,2048] | 623.6 | 773.6 | 820.7 | 1.24x | 1.32x | | bf16_32k_2048 | bf16 | [32768,2048] | 623.5 | 762.4 | 819.6 | 1.22x | 1.31x | | fp32_16k_8192 | fp32 | [16384,8192] | 667.3 | 1464.7 | 1760.6 | 2.19x | 2.64x | | fp16_16k_4096 | fp16 | [16384,4096] | 396.7 | 517.6 | 582.4 | 1.30x | 1.47x | | fp32_512_1024_1024 | fp32 | [512,1024,1024] | 8173.6 | 11144.0 | 12519.2 | 1.36x | 1.53x | | fp16_1024_1024_256 | fp16 | [1024,1024,256] | 9249.6 | 16477.3 | 16774.5 | 1.78x | 1.81x | | fp32_64k_2048 | fp32 | [65536,2048] | 1656.2 | 1927.2 | 2224.4 | 1.16x | 1.34x | | fp32_32k_3072 | fp32 | [32768,3072] | 942.4 | 1280.1 | 1482.9 | 1.36x | 1.57x | | fp16_32k_4096 | fp16 | [32768,4096] | 929.5 | 1189.1 | 1311.7 | 1.28x | 1.41x | | **汇总(geomean)** | | | | | | **1.48x** | **1.66x** | - 16 例全部加速(无变慢 case):vs Two-Pass geomean **1.48x**、vs CANN 内置 TBE geomean **1.66x** ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 experimental/math/reduce_std_with_mean_v2/README.md。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5136 | 22 天前 |
| 文档里产品名统一化+规范化修改 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7136 merge master into master 文档里产品名统一化+规范化修改 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 文档里产品名统一化+规范化修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> *.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!7136 | 15 天前 |