| Files | Last commit | Last update |
|---|---|---|
[reduce_std_with_mean] 算子质量加固修复 + TTK golden 资产 Co-authored-by: JasonZhang88<jason.zhangshen@huawei.com> # message auto-generated for no-merge-commit merge: !6691 merge reduceStdMin into master [reduce_std_with_mean] 算子质量加固修复 + TTK golden 资产 Created-by: JasonZhang88 Commit-by: JasonZhang88 Merged-by: cann-robot Description: ## 描述 依据 ReduceStdWithMean 算子六轮全量验证(静态检查 + ST 用例生成/评审/自验证 + 上板 TTK 675 条 kernel + 83 条 GEIR)发现的 20 项问题进行整改:算子侧修复 11 项(含 FR-15 注册后的 golden 契约补全),测试用例侧修复 4 项(FR-09/11/12/14,验证工作区完成并上板复验),其余为非缺陷定性、CANN 编译器缺陷(已实证归因并本地规避)及资料归口项。 本 PR 仅涉及 math/reduce_std_with_mean/ 目录(11 文件,+500/-11,19 个提交),不影响其他算子。 ## 变更概述 ### 1. P1 关键修复:group 模板 workspace 缺失(FR-02,连带修复 FR-03) **现象**:上板 675 条用例中 384 条(tiling key∈{1,5},group 模板)全部 VEC_ERROR(设备侧 trap,errcode 286 / subErrType 0x4),无任何输出;GEIR 通路 83 条中 43 条失败。 **定位**:17 种源码变体二分 + 关键实验(E21–E24)确认崩点为 Phase 2 从 wsGm_ 读 GM;workspace 指针改绑输入张量 x 即全部 PASS——ws[0]=usrSize 下 runtime 传递的 workspace 指针不可访问。**归因为经验性约定**(经评审降级):runtime GetUserWorkspace 语义为 base+RESERVED_WORKSPACE(=16MB),系统空间未预留时裸指针不可访问;adv_api RA ReduceSum 本身不读写 GM workspace;同仓 reduce_var / reduce_std_v2_update 同此约定(ws 含系统空间 + kernel 裸指针、不做偏移),kernel.h Phase 2 沿用裸指针、未调 SetSysWorkspace。 **修复**(op_host/arch35/reduce_std_with_mean_tiling_arch35.cpp):仅 group 模板在 usrSize 基础上追加 GetLibApiWorkSpaceSize() 系统空间(上述经验性约定);normal/empty 模板为纯 Vector kernel,保持 ws[0]=0 设计契约不变,不引入 16MB 无谓分配。 **效果**:kernel VEC_ERROR 384 → 0(FR-02 提交当轮全量 PASS 407/675,其余为 FR-10 编译失败与 NaN/Inf 数值类,与本修复无关);GEIR 43 失败 → 83/83 全 PASS 为后续轮次(P1 批量修复 + stat_rel_err 基线)结论。 ### 2. P1 数值与容量安全(FR-04/05/06/07/08) | 修复 | 文件 | 说明 | |---|---|---| | FR-04 空闲核写 0 | op_kernel/arch35/reduce_std_with_mean_kernel.h | rGroupCnt > rOuter 时空闲核直接 return,Phase 2 的 ReduceSum 会累加未初始化 GM 数据;改为清零 cacheBuf 后照常写出本行 0 | | FR-05 补位后 UB 超预算 | op_host/arch35/..._tiling_arch35.cpp | 预算按有效 R 反解,但 kernel 按 CeilAlign padded R 分配 UB;补预算校验,超出时 rUbFactor(Align) 同步降至 block 对齐上限内。评审收口:maxPadded < bsAElem 时原守卫会跳过限缩(tail-R 全载且尺寸 < bsAElem 时补齐必然超预算),补显式 tiling 结构化错误——当前平台该路径经推导不可达(aUnit 受 atmp ≤ cacheLine/dtypeSize 约束,rIMax ≥ bsAElem 恒成立),属受限 UB 环境防御性收口,UT 以 faker 小 UB 触发边界覆盖(拒绝 + 邻近放行对照) | | FR-06 cacheBuf 容量越界 | op_host/arch35/..._tiling_arch35.cpp | group 归约树 cacheCount × levelStride 可超 16KB cacheBuf;补容量校验,超出时回退 normal 模板(回退分支 usedCoreNum 补 std::max(...,1) 兜底与正常路径对齐) | | FR-07 空指针解引用 | op_api/aclnn_batch_norm_stats.cpp | l0op::Pow/FillVector 返回 nullptr 时 ViewCopy 先解引用;补 CHECK_RET(≠nullptr) 以 ACLNN_ERR_INNER_NULLPTR 上抛 | | FR-08 InferShape 校验缺失 | op_host/reduce_std_with_mean_infershape.cpp + op_graph/..._graph_infer.cpp | 补 4 项:mean shape 与 x 一致(unknown rank 跳过)、rank=0 时 dim ∈ {[], [0], [-1]}、correction 非负、x 与 mean dtype 一致 | ### 3. P1 资料修复(FR-01) 调用表补齐 aclnnStd 行、GE图模式链接改指 op_graph/reduce_std_with_mean_proto.h。 ### 4. P2 修复(FR-15/16/17/18) | 修复 | 文件 | 说明 | |---|---|---| | FR-15 golden 未注册 aclnn 通路 | tests/assets/golden.py | 显式注册 aclnnStdMeanCorrection(经 L0 调用本算子);补全注册后的插件契约:customize_inputs/golden 签名对齐 TTK aclnn 参数计划(self, dim, correction, keepdim, stdOut, meanOut);tolerance 保持声明 cross_check,本环境 GPU 三方参考不可达经运行参数 --compare stat_rel_err 规避(kernel/aclnn 两模式均支持,与全量验证既定方式一致) | | FR-16 golden 精度不足 | tests/assets/golden.py | FP16/BF16→FP32 计算,FP32→FP64(消除大 N 累加精度损失);类 docstring 陈旧"全程 FP32"表述已同步修正 | | FR-17 约束说明缺失 | README.md | 补 epsilon 非负、unbiased/correction 折算优先级、N≤corr 输出语义(+Inf 或 NaN:一般输入 +Inf、全等输入 0×Inf=NaN,与 tiling/golden/torch 实测一致)、空张量输出 NaN、动态标记 -1/-2 语义 | | FR-18 样例缺陷 | examples/(3 文件) | RunGraph 失败误返回 SUCCESS → 改 FAILED;aclDestroyIntArray(dim) 未配对释放补齐 | ### 5. Golden 测试资产 新增 tests/assets/golden.py(321 行): - 注册 Kernel/GEIR 双通路参考实现 + aclnnStdMeanCorrection aclnn 通路 - 参考计算全部由 torch 承担(FP16/BF16→FP32,FP32→FP64 升精度),NumPy 仅做数据桥接 - 延迟导入 torch(_ensure_torch()),纯 TF NPU 环境可加载注册 - 覆盖 dim/unbiased/keepdim/invert/epsilon/correction 全属性与特殊值(NaN/Inf/空张量)用例 ## 关联 Issue https://gitcode.com/cann/ops-math/issues/3992 ## 测试 ### 最终结论(2026-10-27 全量复验,HEAD d073d90bc,NPU 4 / Ascend950PR,--compare stat_rel_err) **本算子实际执行面(kernel L0 直连 + GE 图模式,共 781 例):780/781 有效通过(99.9%),算子真实缺陷 0。** | 套件 | 数量 | 结果 | |---|---|---| | kernel L0+L1(L0 直连,全量基线集) | 675 | **674/675 有效 PASS** | | kernel L0_default_100(属性默认值等价用例) | 1 | PASS | | kernel L2 负例(tiling/InferShape 结构化拒绝) | 22 | **22/22 按预期拒绝** | | GEIR(GE 图模式) | 83 | **83/83 PASS** | ### 明细与归因 - **kernel 675 条**:VEC_ERROR 384 → **0**;NaN/Inf mismatch = **0**。其中 672 直接 PASS;L1_449/L1_450 为 TTK profiling 瞬时失败(复跑 PASS,同 L1_541 先例);原 232 条 Cst/DYN 在线编译失败(0 维输出触发 CANN 编译器缺陷 TypeError: reduce() of empty iterable,与 [asc-devkit#6931](https://gitcode.com/cann/asc-devkit/pulls/6931) 同源)按其修法本地补丁后重跑 **232/232 全 PASS**——失败 100% 归因编译器缺陷,算子侧无需改动;本地 CANN 保留该补丁。唯一非 PASS:**L1_264**(N=2.4e7, fp16, mere=0.3% 超阈值)——fp32 累加舍入随 N 增长的精度极限,非算子缺陷 - **kernel L2 负例**:22/22 按预期拒绝,含改造后的 rank=0 dim 越界用例(tiling 结构化拒绝 EZ0026);停用的 constraint_020 详见验证工作区记录 - **aclnn 适配层**(注:A5/regbase 上 aclnn 适配层调用平台 ReduceStdV2,数值段不走本算子,仅计本算子资产结果):CheckParams 负例 **21/25 结构化拒绝**(本算子 op_api 代码,错误码与声明一致)+ 4 条平台行为观察;golden 契约 591/591 生成正常;数值比较段 45 例 FAIL 均为平台路径精度/语义 + 测试设计已知分类(N≤corr 交叉实证:kernel 套件 342 例同场景全 PASS,aclnn 设备返回 nan,确证计算主体非本算子) - **UT**:现有断言全部保持(normal/empty ws=0 契约、group ws>0),tiling 行为与断言对齐;新增 FR-05 评审边界用例(受限 UB"一个对齐块都放不下"→ 拒绝;邻近对照放行) - **包构建**:build.sh --pkg --soc=ascend950 --ops=reduce_std_with_mean 通过(0 error);验证工具 clang-format / ruff / pre-commit 通过 ## 类型标签 - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-math!6691 | 24 days ago | |
feat(ReduceStdWithMean): 支持 Ascend 950 AscendC 实现(L0 双路径 + arch35 kernel) Co-authored-by: handsomeRobot_SK<suke13@huawei.com> # message auto-generated for no-merge-commit merge: !5851 merge feat/reduce_std_with_mean into master feat(ReduceStdWithMean): 支持 Ascend 950 AscendC 实现(L0 双路径 + arch35 kernel) Created-by: handsomeRobot_SK Commit-by: handsomeRobot_SK Merged-by: cann-robot Description: ## 描述 为 ReduceStdWithMean 贡献 **Ascend 950PR/950DT(arch35,dav-3510)AscendC Kernel 实现**。 ReduceStdWithMean 为 CANN 内部 L0 算子(给定外部预计算均值,沿指定维度计算 std / invstd),由 aclnnStd / aclnnStdMeanCorrection / aclnnBatchNormStats 三个上层接口组合调用;此前 950 平台经 Unify 路径绕行(ReduceStdV2 / ReduceVar+Add+Pow 组合),本 PR 使其可原生执行。 **变更规模**:23 个文件(+5030 / -91),其中新增 15 个文件;交付形态对齐已合入的 ReduceStdV2Update。 ### Kernel 设计要点 - **模板体系**(TilingKey 3 bool × def 驱动 dtype,3 dtype × 5 组合 = 15 份 binary): - normal:尾 R(AR)/ 尾 A(RA)两型,双切分(aSplit/aUbFactor → 剩余 UB 反解 rSplit/rUbFactor),R 全载时回头扩 A; - group:A 用不满核且 R 有并行度时触发,A×R 2D 分核 + 两阶段确定性归约(Phase1 局部归约写 workspace → SyncAll → Phase2 跨核合并),**全程禁用 AtomicAdd**; - empty:EMPTY_A(输出空 tensor 零操作)/ EMPTY_R(N=0 → 输出 NaN,对齐 numpy golden); - 归约轴标记缓存树 + DataCopyPad + LoopMode 多维搬运 + AscendC::Reg 向量寄存器计算(fp16/bf16 经 DIST_UNPACK_B16 装载后提升 fp32 计算)。 - **dtype 组合校验**:tiling 必经路径拦截 mean.dtype == x.dtype 与 mean.shape == x.shape;y.dtype 由 InferDataType 派生(y=x),非法组合在 def 级放行后由 tiling 兜底拒绝。 - **def 驱动 dtype 设计**:def.cpp 声明 3 dtype → 构建系统按 -DDTYPE_X 逐 dtype 实例化入口;TilingKey 仅编码算法维度(templateType/isEmptyTensor/isTailR),不重复编码 dtype。 ### L0 双路径(兼容性关键设计) ReduceStdWithMean(self, mean, dim, correction, keepdim, invert, eps, executor) ├─ DAV_3510 + fp16/fp32/bf16 → ReduceStdWithMeanAiCore ← 950:本交付 AscendC kernel └─ 其余平台 → ReduceStdWithMeanGeneric ← INFER_SHAPE + ADD_TO_LAUNCHER_LIST_AICORE (基线行为,框架按平台解析到内置实现) 950 走新 kernel;910b / A2 / A3 等平台保持基线通用路径,行为不变 —— 与 README"其余产品由 CANN 内置算子库支持"一致(修复过程中曾出现 950-only 硬门禁导致 910b UT 失败的回归,已通过双路径修复并有 ut_acc.log 佐证)。 ### 原型迁移说明(针对"算子兼容性"检查项) 检查报告显示 common/inc/op_graph/op_math_proto_extend.h "删除 25 个算子",实为**原型迁移的比对副作用**: - REG_OP(ReduceStdWithMean) 从公共头**迁移**至算子目录 op_graph/reduce_std_with_mean_proto.h(本 PR"文件新增"项已列出,内容与 6 属性 OpDef 一致),消除 GEIR 示例的重复注册; - 其余 24 个(InTopK/Pdist/Cumprod 等)为主线内置算子,由主包注册提供;基线因旧原型寄放公共头被整文件带入(merge_graph_headers 整文件并入机制),属**过度注册**,本单算子交付不注册无关内置算子,为正确收敛,主包未受影响。 ### 其他说明 - **tests 范围**:仅 ut/op_host(infershape 13 用例 + arch35 tiling 16 用例,仓内标准框架 InfershapeContextPara/ExecuteTestCase 写法),对齐 fresnel_cos / ReduceStdV2Update 交付形态; - **不引入新公开 API**:L0 内部算子,无独立 aclnn 接口(曾误含手写 L2,已按需求移除); - ACLNNTYPE aclnn_exclude 禁止 autogen 生成 L2,与 v2_update 一致; - kernel 头命名 reduce_std_with_mean_kernel.h(fresnel_cos 模式),避免与 op_api/reduce_std_with_mean.h 包内重名。 ## 关联的Issue close #<issue编号> ## 测试 1. **GEIR 真机验证(Ascend 950)**:静态 + 动态实跑通过 —— - 静态:6 属性构图 + RunGraph,精度对齐 golden(y=1.290994 / 2.581989,Precision is ok); - 动态:unknown dim(-1) 3/3、unknown rank(-2) 3/3 场景全过(Shape/dtype/values PASSED),custom kernel launch 证据齐全(custom_op_file_path → vendor、UpdateSingleOpModule → reduce_std_with_mean_apt、6 次 kernel launch); 2. **UT**:ut/op_host 29 用例(infershape 13 + arch35 tiling 16),fresnel_cos 同款标准框架写法; 3. **包构建**:bash build.sh --soc=ascend950 --pkg --ops=reduce_std_with_mean -j256 通过(产物 cann-ops-math-custom_linux-x86_64.run); 4. **兼容性**:非 950 平台(910b)opapi UT 回归通过(L0 双路径修复后,aclnnBatchNormStats 3 个曾失败用例恢复); 5. **静态检查**:pre-commit 全套(whitespace/clang-format 18.1.8/codespell/大文件/私钥等)+ OAT 合规(单次全量 23 文件)通过。 ## 文档更新 - math/reduce_std_with_mean/README.md 重写:产品支持情况(950 由本包提供 kernel、其余产品由内置算子库支持)、双模式计算公式、上层三接口区别表、参数说明(x/mean/y + 6 属性)、约束说明(dtype 一致性 / rank≤8 / mean 全等 / dim 去重 / out shape 一致性 / correction 非负 / 边界值)、调用说明(GEIR 示例 + 上层接口示例索引)。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-math!5851 | 1 month ago |
| Files | Last commit | Last update |
|---|---|---|
| 24 days ago | ||
| 1 month ago |