Star0

Star0

cann-robotim2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持

a9a29898创建于 23 小时前历史提交

文件	最后提交记录	最后更新时间
docs	根据markdownlint规范修正md写作问题和link失效 Co-authored-by: gitcode-chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !6398 merge master into master 根据markdownlint规范修正md写作问题和link失效 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 根据markdownlint规范修正md写作问题和link失效 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> [#2272](https://gitcode.com/cann/ops-math/issues/2272) ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 所有md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!6398	1 天前
examples	Math目录下整改test_example规范命名 Co-authored-by: cjz_<chenjunzhuo@huawei.com> # message auto-generated for no-merge-commit merge: !5769 merge fix_example_0917 into master Math目录下整改test_example规范命名 Created-by: jiangjiawei Commit-by: cjz_ Merged-by: cann-robot Description: ## 描述 math目录下部分"缺失 example"的接口中已有测试文件，仅因命名与接口名对不上被误判缺失 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/3212 ## 测试修改test_example命名，无需测试 ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5769	24 天前
op_api	refactor: 为公共op_api头文件增加math后缀 Co-authored-by: clinglai0517<laichangling@huawei.com> # message auto-generated for no-merge-commit merge: !5839 merge refactor/math-prefix-common-headers into master refactor: 为公共op_api头文件增加math后缀 Created-by: clinglai0517 Commit-by: clinglai0517 Merged-by: cann-robot Description: ## 描述 `ops-math/common/inc/op_api` 中的 `level2_base.h`、`level2_base_caculation.h`、`op_api_def.h` 名称缺少仓库标识。在软件包合并交付或公共 include 目录集成时，存在被其他仓库同名文件覆盖，或因 include 路径顺序产生误引用的风险。本 MR 参考同目录已有的 `op_resource_math.h` 命名，为三个公共头文件增加 `_math` 后缀，并通过兼容转发头分阶段迁移现有引用。 ## 修改内容 - 新增 `level2_base_math.h`、`level2_base_caculation_math.h`、`op_api_def_math.h`，作为带仓库标识的正式实现； - 原 `level2_base.h`、`level2_base_caculation.h`、`op_api_def.h` 保留为轻量兼容转发头，避免未迁移代码立即失效； - 新头文件之间的内部依赖统一使用 `_math` 后缀路径； - 更新 `classify_rule.yaml`，让 `level2_base_math.h` 继承原组件及 UT 覆盖率分类； - 将 89 处旧头文件引用迁移到新名称： - `level2_base.h`：20 处； - `level2_base_caculation.h`：9 处； - `op_api_def.h`：60 处； - 当前 MR 共修改 81 个文件，新增 434 行、删除 384 行。为减少无关格式变化和后续合并冲突，本次未迁移会触发额外 `clang-format`、尾部空白或 EOF 修复，或组合触发既有 UT 隔离问题的文件。这些文件将拆分到后续 MR 逐步处理。 ## 剩余迁移当前仓内仍有 67 处旧引用，分布在 65 个唯一文件中，继续通过兼容转发头工作： - `level2_base.h`：24 个文件； - `level2_base_caculation.h`：2 个文件； - `op_api_def.h`：41 个文件。待旧引用分批迁移完成后，再结合实际打包和安装规则移除兼容转发头。本 MR 不移除旧头文件，也不声明已完成最终软件包去重。 ## 关联的 Issue 关联并在合入后关闭 #3243： https://gitcode.com/cann/ops-math/issues/3243 ## 测试已完成： - 对本轮新增的 69 个纯引用替换文件逐行检查，80 组增删均仅修改目标 `include`，无其他代码或格式变化； - 额外纳入 `aclnn_log10.cpp` 和 `aclnn_logdet.cpp`，每个文件最终均为 3 行新增、3 行删除，低于 10 行修改阈值；`math/sin/op_api/aclnn_sin.cpp` 因聚合 UT 存在平台状态泄漏暂缓迁移； - 在 CANN 9.0.0 容器执行完整 `pre-commit`，尾部空白、EOF、`clang-format`、`codespell` 和 OAT 等检查全部通过； - 在 CANN 9.0.0 容器执行 `bash build.sh --opapi -j32`，全量构建通过； - 成功生成 `build/libopapi_math.so`，SHA-256：`abaa8f8408979d931a8dad09f8e06875722fc42bbdddc72aaf9f14944bc163ea`； - `classify_rule.yaml` 可正常解析，三个旧文件继续作为兼容转发头使用。 ## 文档更新不涉及用户文档变更。 ## 类型标签 - [ ] Bug 修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他：代码重构 See merge request: cann/ops-math!5839	9 天前
op_graph	reduce all Co-authored-by: lu-yukun<luyukun4@h-partners.com> # message auto-generated for no-merge-commit merge: !888 merge reduce_final into master reduce all Created-by: lu-yukun Commit-by: lu-yukun Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!888	8 个月前
op_host	im2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持 Co-authored-by: liaohuming<liaohuming@huawei.com> # message auto-generated for no-merge-commit merge: !5844 merge master into master im2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持 Created-by: liaohuming Commit-by: liaohuming Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为 im2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持，使其可在 ascend960dt（Ascend960DT_968B7）芯片上完成编译与调用。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/3614 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5844	23 小时前
op_kernel	perf(reduce_var): AR 两趟 VF 分档优化，group 计数改为 kernel 侧计算 Co-authored-by: andong_hw<andong2@huawei.com> # message auto-generated for no-merge-commit merge: !6210 merge perf-reduce-var-twopass-v3 into master perf(reduce_var): AR 两趟 VF 分档优化，group 计数改为 kernel 侧计算 Created-by: andong_hw Commit-by: andong_hw Merged-by: cann-robot Description: ## 描述本次改动包含四部分： 1. 精简 tilingdata 并将 group 计数计算下移到 kernel - 删除 `ReduceVarTilingData::reduceCntEachGroupR[MAX_CORE_COUNT]` 与 `MAX_CORE_COUNT`（结构体 1376B → 352B）； - tiling 侧删除 `SetReduceCntEachGroupR`/`ComputeInnerUbRCnt` 及相关成员； - kernel 侧新增 `CalcInnerUbRCnt()`/`CalcGroupReduceCnt()` 闭式公式：`Init()` 中计算当前核所在 group 的 `groupReduceCnt_`，phase2 按需计算每个 group 的真实规约 R 元素数，不再依赖 tilingdata 中的逐 group 数组。 2. 优化 AR 两趟 VF 实现 - `VFMeanVarTwoPassAR` 改为三段分档：`RNum <= VL` 保持原 `LessVL`；`VL < RNum <= 2VL` 新增 `LessTwoVL`（纯寄存器、无 `LocalMemBar`）；`RNum > 2VL` 新增 `Common`（quotient 对半生成 partial，每个 scope 仅一次 `LocalMemBar` 后折半，var 用 `DIST_BRC_B32` 广播 mean）； - 修复新增分支中 var 项多乘一次 `varScale` 的问题。 3. 代码规整与 VF 规则对齐 - `Common` 尾块循环（`tailFloor` + `tailCeil-tailFloor`）合并为单循环，用 `UpdateMask` 自更新计数，末次自动收窄为余数掩码； - VF 内所有 for 循环统一从 0 开始，满足 regbase VF 编程硬约束。 4. scratch 独立化 - `VFMeanVarTwoPassAR`/`Common` 增加 `partBufLocal` 参数：`partBuf` 独占 AR 两趟路径下空闲的 welford 缓存 `tMeanTensor_`，`meanBuf` 独占 `dichotomyAddLocal`，消除共享缓冲容量叠加的顾虑，并补充前置条件与容量上界注释。 ## 关联的Issue Closes #3468 https://gitcode.com/cann/ops-math/issues/3468 ## 测试 - ascend950 编译通过：`bash build.sh --pkg --ops=reduce_var --soc=ascend950 -j32`； - op_host UT：`bash build.sh -u --ophost --soc=ascend950 --ops=reduce_var --gtest_filter='ReduceVar*'`，2 用例 PASS； - ttk kernel 精度验证（`-c=true -b=release -d=false --plugin .../tests/assets`，运行加载 `vendors/custom_math` 安装包）： - 新增/变更用例共 39 条，覆盖 twopass 三个分支（R=32/64/65/100/128/129/200/3000，fp16/bf16/fp32）与 group 场景（AR/ARA/ARAR，groupR=4/5/9/10/11/55/56，innerUbRCnt=1/8）； - 分组复跑全部通过：边界小 shape 13/13、大 shape 批次 10/10、fp16 批次 14/14、group 专项 7/7、Common 专项 13/13； - Common 尾块循环合并版本较拆分版本实测（seed 42、run=5、两次）：bf16 (8192,256) 约 -19%、fp16 (362,512) 约 -6%~-8%，其余在 ±2% 内，无回退；scratch 独立化后性能持平。 ## 文档更新无。 ## 类型标签 - [x] 性能优化 See merge request: cann/ops-math!6210	4 天前
tests	perf(reduce_var): AR 两趟 VF 分档优化，group 计数改为 kernel 侧计算 Co-authored-by: andong_hw<andong2@huawei.com> # message auto-generated for no-merge-commit merge: !6210 merge perf-reduce-var-twopass-v3 into master perf(reduce_var): AR 两趟 VF 分档优化，group 计数改为 kernel 侧计算 Created-by: andong_hw Commit-by: andong_hw Merged-by: cann-robot Description: ## 描述本次改动包含四部分： 1. 精简 tilingdata 并将 group 计数计算下移到 kernel - 删除 `ReduceVarTilingData::reduceCntEachGroupR[MAX_CORE_COUNT]` 与 `MAX_CORE_COUNT`（结构体 1376B → 352B）； - tiling 侧删除 `SetReduceCntEachGroupR`/`ComputeInnerUbRCnt` 及相关成员； - kernel 侧新增 `CalcInnerUbRCnt()`/`CalcGroupReduceCnt()` 闭式公式：`Init()` 中计算当前核所在 group 的 `groupReduceCnt_`，phase2 按需计算每个 group 的真实规约 R 元素数，不再依赖 tilingdata 中的逐 group 数组。 2. 优化 AR 两趟 VF 实现 - `VFMeanVarTwoPassAR` 改为三段分档：`RNum <= VL` 保持原 `LessVL`；`VL < RNum <= 2VL` 新增 `LessTwoVL`（纯寄存器、无 `LocalMemBar`）；`RNum > 2VL` 新增 `Common`（quotient 对半生成 partial，每个 scope 仅一次 `LocalMemBar` 后折半，var 用 `DIST_BRC_B32` 广播 mean）； - 修复新增分支中 var 项多乘一次 `varScale` 的问题。 3. 代码规整与 VF 规则对齐 - `Common` 尾块循环（`tailFloor` + `tailCeil-tailFloor`）合并为单循环，用 `UpdateMask` 自更新计数，末次自动收窄为余数掩码； - VF 内所有 for 循环统一从 0 开始，满足 regbase VF 编程硬约束。 4. scratch 独立化 - `VFMeanVarTwoPassAR`/`Common` 增加 `partBufLocal` 参数：`partBuf` 独占 AR 两趟路径下空闲的 welford 缓存 `tMeanTensor_`，`meanBuf` 独占 `dichotomyAddLocal`，消除共享缓冲容量叠加的顾虑，并补充前置条件与容量上界注释。 ## 关联的Issue Closes #3468 https://gitcode.com/cann/ops-math/issues/3468 ## 测试 - ascend950 编译通过：`bash build.sh --pkg --ops=reduce_var --soc=ascend950 -j32`； - op_host UT：`bash build.sh -u --ophost --soc=ascend950 --ops=reduce_var --gtest_filter='ReduceVar*'`，2 用例 PASS； - ttk kernel 精度验证（`-c=true -b=release -d=false --plugin .../tests/assets`，运行加载 `vendors/custom_math` 安装包）： - 新增/变更用例共 39 条，覆盖 twopass 三个分支（R=32/64/65/100/128/129/200/3000，fp16/bf16/fp32）与 group 场景（AR/ARA/ARAR，groupR=4/5/9/10/11/55/56，innerUbRCnt=1/8）； - 分组复跑全部通过：边界小 shape 13/13、大 shape 批次 10/10、fp16 批次 14/14、group 专项 7/7、Common 专项 13/13； - Common 尾块循环合并版本较拆分版本实测（seed 42、run=5、两次）：bf16 (8192,256) 约 -19%、fp16 (362,512) 约 -6%~-8%，其余在 ±2% 内，无回退；scratch 独立化后性能持平。 ## 文档更新无。 ## 类型标签 - [x] 性能优化 See merge request: cann/ops-math!6210	4 天前
CMakeLists.txt	im2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持 Co-authored-by: liaohuming<liaohuming@huawei.com> # message auto-generated for no-merge-commit merge: !5844 merge master into master im2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持 Created-by: liaohuming Commit-by: liaohuming Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 为 im2col、matrix_diag、roll、grouped_bias_add_grad、reduce_var、reduce_std_v2 六个算子新增 ascend960dt 平台支持，使其可在 ascend960dt（Ascend960DT_968B7）芯片上完成编译与调用。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-math/issues/3614 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5844	23 小时前
README.md	Math目录下整改test_example规范命名 Co-authored-by: cjz_<chenjunzhuo@huawei.com> # message auto-generated for no-merge-commit merge: !5769 merge fix_example_0917 into master Math目录下整改test_example规范命名 Created-by: jiangjiawei Commit-by: cjz_ Merged-by: cann-robot Description: ## 描述 math目录下部分"缺失 example"的接口中已有测试文件，仅因命名与接口名对不上被误判缺失 ## 关联的Issue https://gitcode.com/cann/ops-math/issues/3212 ## 测试修改test_example命名，无需测试 ## 文档更新不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-math!5769	24 天前

ReduceVar

产品支持情况

产品	是否支持
Ascend 950PR&950DT系列产品	√
Atlas A3系列产品	×
Atlas A2系列产品	×
Atlas 200I/500 A2推理产品	×
Atlas推理系列产品	×
Atlas训练系列产品	×

功能说明

算子功能：返回输入Tensor指定维度的值求得的方差。
计算公式：假设dim为 $i$ ，则对该维度进行计算。 $N$ 为该维度的shape。取 $self_{i}$ ，求出该维度上的平均值 $xiˉ\bar{x_{i}}$ 。
$\frac{1}{max(0, N - \delta N)}\sum_{j=0}^{N-1}(self_{ij}-\bar{x_{i}})^2$
unbiased = true时，需加入无偏估计， $δN=1\delta N = 1$ ；unbiased = false时，需加入无偏估计， $δN=0\delta N = 0$ ；当keepdim = true时，reduce后保留该维度，且输出shape中该维度值为1；当keepdim = false时，不保留该维度。当dim为nullptr或[]时，视为计算所有维度。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
self	输入	待进行ReduceVar计算的输入Tensor，公式中的self。	FLOAT、FLOAT16、BFLOAT16	ND
dim	输入	参与Reduce计算的维度，公式中的i。	INT64	ND
unbiased	输入	计算方差时是否进行无偏估计，公式中的delta。	BOOL	ND
keepdim	输入	是否在输出张量中保留输入张量的维度。	BOOL	ND
out	输出	ReduceVar计算的出参，公式中的out。	FLOAT、FLOAT16、BFLOAT16	ND

Atlas训练系列产品、Atlas推理系列产品：不支持BFLOAT16。

约束说明

无

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_var	通过aclnnVar接口方式调用ReduceVar算子。