| Files | Last commit | Last update |
|---|---|---|
[reduce_std_with_mean] 算子质量加固修复 + TTK golden 资产 Co-authored-by: JasonZhang88<jason.zhangshen@huawei.com> # message auto-generated for no-merge-commit merge: !6691 merge reduceStdMin into master [reduce_std_with_mean] 算子质量加固修复 + TTK golden 资产 Created-by: JasonZhang88 Commit-by: JasonZhang88 Merged-by: cann-robot Description: ## 描述 依据 ReduceStdWithMean 算子六轮全量验证(静态检查 + ST 用例生成/评审/自验证 + 上板 TTK 675 条 kernel + 83 条 GEIR)发现的 20 项问题进行整改:算子侧修复 11 项(含 FR-15 注册后的 golden 契约补全),测试用例侧修复 4 项(FR-09/11/12/14,验证工作区完成并上板复验),其余为非缺陷定性、CANN 编译器缺陷(已实证归因并本地规避)及资料归口项。 本 PR 仅涉及 math/reduce_std_with_mean/ 目录(11 文件,+500/-11,19 个提交),不影响其他算子。 ## 变更概述 ### 1. P1 关键修复:group 模板 workspace 缺失(FR-02,连带修复 FR-03) **现象**:上板 675 条用例中 384 条(tiling key∈{1,5},group 模板)全部 VEC_ERROR(设备侧 trap,errcode 286 / subErrType 0x4),无任何输出;GEIR 通路 83 条中 43 条失败。 **定位**:17 种源码变体二分 + 关键实验(E21–E24)确认崩点为 Phase 2 从 wsGm_ 读 GM;workspace 指针改绑输入张量 x 即全部 PASS——ws[0]=usrSize 下 runtime 传递的 workspace 指针不可访问。**归因为经验性约定**(经评审降级):runtime GetUserWorkspace 语义为 base+RESERVED_WORKSPACE(=16MB),系统空间未预留时裸指针不可访问;adv_api RA ReduceSum 本身不读写 GM workspace;同仓 reduce_var / reduce_std_v2_update 同此约定(ws 含系统空间 + kernel 裸指针、不做偏移),kernel.h Phase 2 沿用裸指针、未调 SetSysWorkspace。 **修复**(op_host/arch35/reduce_std_with_mean_tiling_arch35.cpp):仅 group 模板在 usrSize 基础上追加 GetLibApiWorkSpaceSize() 系统空间(上述经验性约定);normal/empty 模板为纯 Vector kernel,保持 ws[0]=0 设计契约不变,不引入 16MB 无谓分配。 **效果**:kernel VEC_ERROR 384 → 0(FR-02 提交当轮全量 PASS 407/675,其余为 FR-10 编译失败与 NaN/Inf 数值类,与本修复无关);GEIR 43 失败 → 83/83 全 PASS 为后续轮次(P1 批量修复 + stat_rel_err 基线)结论。 ### 2. P1 数值与容量安全(FR-04/05/06/07/08) | 修复 | 文件 | 说明 | |---|---|---| | FR-04 空闲核写 0 | op_kernel/arch35/reduce_std_with_mean_kernel.h | rGroupCnt > rOuter 时空闲核直接 return,Phase 2 的 ReduceSum 会累加未初始化 GM 数据;改为清零 cacheBuf 后照常写出本行 0 | | FR-05 补位后 UB 超预算 | op_host/arch35/..._tiling_arch35.cpp | 预算按有效 R 反解,但 kernel 按 CeilAlign padded R 分配 UB;补预算校验,超出时 rUbFactor(Align) 同步降至 block 对齐上限内。评审收口:maxPadded < bsAElem 时原守卫会跳过限缩(tail-R 全载且尺寸 < bsAElem 时补齐必然超预算),补显式 tiling 结构化错误——当前平台该路径经推导不可达(aUnit 受 atmp ≤ cacheLine/dtypeSize 约束,rIMax ≥ bsAElem 恒成立),属受限 UB 环境防御性收口,UT 以 faker 小 UB 触发边界覆盖(拒绝 + 邻近放行对照) | | FR-06 cacheBuf 容量越界 | op_host/arch35/..._tiling_arch35.cpp | group 归约树 cacheCount × levelStride 可超 16KB cacheBuf;补容量校验,超出时回退 normal 模板(回退分支 usedCoreNum 补 std::max(...,1) 兜底与正常路径对齐) | | FR-07 空指针解引用 | op_api/aclnn_batch_norm_stats.cpp | l0op::Pow/FillVector 返回 nullptr 时 ViewCopy 先解引用;补 CHECK_RET(≠nullptr) 以 ACLNN_ERR_INNER_NULLPTR 上抛 | | FR-08 InferShape 校验缺失 | op_host/reduce_std_with_mean_infershape.cpp + op_graph/..._graph_infer.cpp | 补 4 项:mean shape 与 x 一致(unknown rank 跳过)、rank=0 时 dim ∈ {[], [0], [-1]}、correction 非负、x 与 mean dtype 一致 | ### 3. P1 资料修复(FR-01) 调用表补齐 aclnnStd 行、GE图模式链接改指 op_graph/reduce_std_with_mean_proto.h。 ### 4. P2 修复(FR-15/16/17/18) | 修复 | 文件 | 说明 | |---|---|---| | FR-15 golden 未注册 aclnn 通路 | tests/assets/golden.py | 显式注册 aclnnStdMeanCorrection(经 L0 调用本算子);补全注册后的插件契约:customize_inputs/golden 签名对齐 TTK aclnn 参数计划(self, dim, correction, keepdim, stdOut, meanOut);tolerance 保持声明 cross_check,本环境 GPU 三方参考不可达经运行参数 --compare stat_rel_err 规避(kernel/aclnn 两模式均支持,与全量验证既定方式一致) | | FR-16 golden 精度不足 | tests/assets/golden.py | FP16/BF16→FP32 计算,FP32→FP64(消除大 N 累加精度损失);类 docstring 陈旧"全程 FP32"表述已同步修正 | | FR-17 约束说明缺失 | README.md | 补 epsilon 非负、unbiased/correction 折算优先级、N≤corr 输出语义(+Inf 或 NaN:一般输入 +Inf、全等输入 0×Inf=NaN,与 tiling/golden/torch 实测一致)、空张量输出 NaN、动态标记 -1/-2 语义 | | FR-18 样例缺陷 | examples/(3 文件) | RunGraph 失败误返回 SUCCESS → 改 FAILED;aclDestroyIntArray(dim) 未配对释放补齐 | ### 5. Golden 测试资产 新增 tests/assets/golden.py(321 行): - 注册 Kernel/GEIR 双通路参考实现 + aclnnStdMeanCorrection aclnn 通路 - 参考计算全部由 torch 承担(FP16/BF16→FP32,FP32→FP64 升精度),NumPy 仅做数据桥接 - 延迟导入 torch(_ensure_torch()),纯 TF NPU 环境可加载注册 - 覆盖 dim/unbiased/keepdim/invert/epsilon/correction 全属性与特殊值(NaN/Inf/空张量)用例 ## 关联 Issue https://gitcode.com/cann/ops-math/issues/3992 ## 测试 ### 最终结论(2026-10-27 全量复验,HEAD d073d90bc,NPU 4 / Ascend950PR,--compare stat_rel_err) **本算子实际执行面(kernel L0 直连 + GE 图模式,共 781 例):780/781 有效通过(99.9%),算子真实缺陷 0。** | 套件 | 数量 | 结果 | |---|---|---| | kernel L0+L1(L0 直连,全量基线集) | 675 | **674/675 有效 PASS** | | kernel L0_default_100(属性默认值等价用例) | 1 | PASS | | kernel L2 负例(tiling/InferShape 结构化拒绝) | 22 | **22/22 按预期拒绝** | | GEIR(GE 图模式) | 83 | **83/83 PASS** | ### 明细与归因 - **kernel 675 条**:VEC_ERROR 384 → **0**;NaN/Inf mismatch = **0**。其中 672 直接 PASS;L1_449/L1_450 为 TTK profiling 瞬时失败(复跑 PASS,同 L1_541 先例);原 232 条 Cst/DYN 在线编译失败(0 维输出触发 CANN 编译器缺陷 TypeError: reduce() of empty iterable,与 [asc-devkit#6931](https://gitcode.com/cann/asc-devkit/pulls/6931) 同源)按其修法本地补丁后重跑 **232/232 全 PASS**——失败 100% 归因编译器缺陷,算子侧无需改动;本地 CANN 保留该补丁。唯一非 PASS:**L1_264**(N=2.4e7, fp16, mere=0.3% 超阈值)——fp32 累加舍入随 N 增长的精度极限,非算子缺陷 - **kernel L2 负例**:22/22 按预期拒绝,含改造后的 rank=0 dim 越界用例(tiling 结构化拒绝 EZ0026);停用的 constraint_020 详见验证工作区记录 - **aclnn 适配层**(注:A5/regbase 上 aclnn 适配层调用平台 ReduceStdV2,数值段不走本算子,仅计本算子资产结果):CheckParams 负例 **21/25 结构化拒绝**(本算子 op_api 代码,错误码与声明一致)+ 4 条平台行为观察;golden 契约 591/591 生成正常;数值比较段 45 例 FAIL 均为平台路径精度/语义 + 测试设计已知分类(N≤corr 交叉实证:kernel 套件 342 例同场景全 PASS,aclnn 设备返回 nan,确证计算主体非本算子) - **UT**:现有断言全部保持(normal/empty ws=0 契约、group ws>0),tiling 行为与断言对齐;新增 FR-05 评审边界用例(受限 UB"一个对齐块都放不下"→ 拒绝;邻近对照放行) - **包构建**:build.sh --pkg --soc=ascend950 --ops=reduce_std_with_mean 通过(0 error);验证工具 clang-format / ruff / pre-commit 通过 ## 类型标签 - [x] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-math!6691 | 24 days ago | |
[reduce_std_with_mean] quality-hardening:算子质量加固修复(准入+检视问题整改) Co-authored-by: handsomeRobot_SK<suke13@huawei.com> # message auto-generated for no-merge-commit merge: !6193 merge reduce_std_with_mean_quality_hardening into master [reduce_std_with_mean] quality-hardening:算子质量加固修复(准入+检视问题整改) Created-by: handsomeRobot_SK Commit-by: handsomeRobot_SK Merged-by: cann-robot Description: # [reduce_std_with_mean] quality-hardening:算子质量加固修复(准入+检视问题整改) ## 一、变更概述 本 PR 为 ReduceStdWithMean 算子(reduce_std_with_mean,CANN 内部 L0 归约算子)在 Ascend 950 上的质量加固整改,针对 2026-09-23 白盒准入扫描(总体结论 FAIL:资料类 15.1/15.4/15.5/15.6 四项)与代码检视(125 条例:FAIL 2 / SUSPICIOUS 2 / 设计一致性 S5/S7/D8 ❌ / 风格 FAIL 2)发现的可修问题逐项整改,同步修复交付件(DESIGN/REQUIREMENTS/golden/测试用例)三方口径。 核心变更: - **代码合规**:Kernel 入口去除 _apt 后缀(CONV-4)、infershape 裸 OP_LOGE 替换为 EZ 预定义宏(LOG-1)、aclnn 越界日志实参修正(SEC-8.4)、int32 不可实例化死代码清理(GEN-1.3)、epsilon≥0 值域校验补齐(P08)、行宽/同行多变量风格整改(STYLE-2.1/2.8)、group 路径 BATCH_MODE 调度防护与 EMPTY_R 语义修正(基线先行)。 - **资料/交付件**:README 补 rank=0 标量输入约束说明(P02);DESIGN 同步「dim 不允许重复」与「workspace 置 0」口径(S7)、去中英文空格(D1)、同步 opFile.value 命名;golden 违禁函数 np.isfinite/np.signbit 替换为 torch 原生实现(15.6 规则 f);新增异常用例 4 条补覆盖度缺口。 修复范围仅限本算子目录 math/reduce_std_with_mean/ 与交付件 operator-artifacts/ReduceStdWithMean/,不触碰其他算子与 canndev 仓。 ## 二、分类修改清单 ### 2.1 代码(op_host / op_kernel / op_api) | 改进点 | 问题来源 | 修改内容 | |--------|---------|---------| | kernel 入口改名(CONV-4) | 检视 C1(FAIL/HIGH) | op_kernel/reduce_std_with_mean_apt.cpp 重命名为 reduce_std_with_mean.cpp(\file 注释同步);def.cpp ExtendCfgInfo("opFile.value", "reduce_std_with_mean") 同步(op_host/reduce_std_with_mean_def.cpp:62) | | 结构化错误上报(LOG-1) | 检视 C2(FAIL/HIGH) | LoadDimFromAttr 拆分 badValue/reason;rank 上界守卫改 OP_LOGE_FOR_INVALID_SHAPEDIM(EZ0011),dim 校验改 OP_LOGE_FOR_INVALID_VALUE_WITH_REASON(EZ0026)(infershape.cpp:148/:167) | | 日志实参语义修正(SEC-8.4) | 检视 C3(MED) | CheckDimValid 越界日志实参 selfDimNum → currentDim(aclnn_std_mean_correction.cpp:94) | | int32 死代码清理(GEN-1.3) | 检视 C4(LOW) | kernel.h/empty.h 删除 IS_INT32 常量、CAST_TRUNC 三元组与 SubSquareVf/PostElewise/Phase2/empty 共 4 处 int32 分支;CastTrait 简化(整改后全目录 IS_INT32 零匹配) | | epsilon 值域校验(P08) | 准入 P08(LLM WARN) | tiling ComputePostOpScalars 增加 epsilon < 0.0f → GRAPH_FAILED(OP_LOGE_FOR_INVALID_VALUE),对齐 spec.yaml machine_constraint float_ge 0.0,防 invert 分母 ≤0 出 NaN/Inf(tiling_arch35.cpp:316-319) | | 风格整改(STYLE-2.1/2.8) | 检视 C5/C6(低) | 6 文件行宽收窄至 120 字节内(装饰线/行尾长注释拆分);aReg/bReg、aStart/aEnd 多变量声明拆逐行 | | 调度防护(基线先行) | 基线 b961cca36 | group 分支命中后 SetScheduleMode(1)(BATCH_MODE_SCHEDULE)防 SyncAll 多流互等卡死(SetScheduleMode 失败即 GRAPH_FAILED,tiling_arch35.cpp:1114-1117) | | EMPTY_R 语义修正(基线先行) | 基线 b961cca36 | EMPTY_R 输出由填 0 改为填 NaN(0/0 语义对齐 numpy golden),函数更名 FillEmptyValueAndCopyOut(empty.h:105/:117) | ### 2.2 资料(README / 交付件文档) | 改进点 | 问题来源 | 修改内容 | |--------|---------|---------| | README 标量输入约束 | 准入 P02(15.4) | README.md:132 新增「支持 rank=0 标量输入(x/mean 为 0-D):dim 为空全归约,输出为标量(keepdim=true 时输出 1-D size 1)」 | | DESIGN dim 语义同步 | 检视 C8(S7 ❌) | DESIGN.md:101「dim ∈ [-rank, rank),不允许重复(重复轴在infershape/tiling/L2三层报错拒绝)」——修正原「允许重复(tiling 去重)」语义错误,与 README/spec 三方一致 | | DESIGN workspace 口径同步 | 检视 C9(S7 ❌) | DESIGN.md:313/:411 明示「normal/empty:0(无 user workspace,亦不预留 sys workspace,总 workspace 置 0)」 | | DESIGN D1 空格整改 | 检视 D8 ❌ | DESIGN.md 标题与正文全量中英文相邻处去空格(术语专名豁免);两轮清理(625b165 主体 + 8a47e70 二轮 34 行残留) | | DESIGN 命名同步 | 检视 C1 延伸 | DESIGN.md §2.5 OpDef 片段 opFile.value 与 §5 目录树 kernel 文件名同步为去 _apt 形态 | ### 2.3 用例与 golden 合规(交付件) | 改进点 | 问题来源 | 修改内容 | |--------|---------|---------| | 异常用例补缺 | 准入 16 项覆盖度缺口 | 新增 测试用例/reduce_std_with_mean_exception_kernel.csv 4 条:int32 dtype 不支持拒绝、format 异常 NCHW × {float32, float16, bfloat16} | | golden 违禁函数替换 | 准入 P03(15.6 规则 f) | cpu_golden.py _has_special_values:np.isfinite/np.signbit → torch.isfinite/torch.signbit(numpy 输入经 _np_to_torch 统一转换后共用 torch 判定逻辑,cpu_golden.py:119/:122) | ## 三、逐 commit 摘要 代码仓(quality-hardening-reduce_std_with_mean/ops-math,分支 reduce_std_with_mean_quality_hardening,基线起 6 笔): | # | commit | 时间 | 说明 | 关联问题 | |---|--------|------|------|---------| | 1 | b961cca36 | 2026-09-22 | quality-hardening 基线:group 路径 SetScheduleMode BATCH_MODE 防护;EMPTY_R 填 0 → 填 NaN(函数更名 FillEmptyValueAndCopyOut) | TOPK 多流防护 / 空归约语义(x7 前置) | | 2 | 637395dbc | 2026-09-24 | kernel 入口文件去 _apt 后缀,def.cpp opFile.value 同步 | CONV-4(C1) | | 3 | 0e60aafb4 | 2026-09-24 | infershape 两处裸 OP_LOGE 替换 EZ 预定义宏(EZ0011/EZ0026);aclnn 越界日志实参改 currentDim | LOG-1(C2)、SEC-8.4(C3) | | 4 | eb316f91e | 2026-09-24 | README 补 rank=0 标量输入约束说明 | 15.4(P02) | | 5 | b65752957 | 2026-09-24 | kernel.h/empty.h 清理 int32 死代码与 IS_INT32/CAST_TRUNC;tiling 补 epsilon≥0 校验 | GEN-1.3(C4)、P08 | | 6 | 64fd2bbc5 | 2026-09-24 | 6 文件行宽≤120 字节与逐行变量声明整改 | STYLE-2.1(C5)、STYLE-2.8(C6) | 交付件仓(operator-artifacts,本算子部分落于 2 笔批量提交): | commit | 时间 | 本算子内容 | |--------|------|-----------| | 625b165 | 2026-09-24 | DESIGN.md 设计同步(dim 不允许重复 / workspace 置 0 / 中英文去空格主体 / opFile.value 与目录树同步);cpu_golden.py np→torch 违禁函数替换;新增 reduce_std_with_mean_exception_kernel.csv 4 条 | | 8a47e70 | 2026-09-24 | DESIGN.md 二轮残留空格清理(§1.1/§1.2/§2.1/§10.2/§10.3 等 34 行) | ## 四、测试与验证 本环境无 NPU/TTK(白盒整改口径),验证采用静态编译与模板显式实例化两级: - **-fsyntax-only 编译探针**:对全部改动的 host/api 编译单元(def.cpp、infershape.cpp、tiling_arch35.cpp、aclnn_std_mean_correction.cpp、op_api/reduce_std_with_mean.cpp)以 C++17 + CANN 头文件路径执行 g++ -fsyntax-only,确认 CONV-4 改名后的 opFile.value 引用、EZ 宏替换(OP_LOGE_FOR_INVALID_SHAPEDIM / VALUE_WITH_REASON / VALUE)、epsilon 校验分支、STYLE 行宽与拆行均无编译告警。 - **显式实例化编译**:对模板头 reduce_std_with_mean_kernel.h / reduce_std_with_mean_empty.h 按 DTYPE_X ∈ {FP16, FP32, BF16} × {normal_tailA, normal_tailR, group_tailA, group_tailR, empty} 15 组合执行编译期显式实例化探针,确认删除 int32 分支后 if constexpr 分发与 CastTrait 简化(CAST_RINT 直定值)在全部受支持组合下实例化通过。 - **基线全量构建佐证**:正式 cmake 全仓构建+打包流水线日志(含 CPAX 打包产物)已归档于 build-logs/reduce_std_with_mean.log(COMPUTE_UNIT=ascend950,Release 构建成功)。 - **交付件一致性**:DESIGN/README/spec 三方约束口径(dim 不允许重复、rank=0 标量、workspace 置 0)已逐条对照实现复核一致;golden np→torch 替换后保留 ±inf/NaN/-0.0 判定语义不变(_has_special_values 行为等价)。 ## 五、未完成事项与限制 - **三大禁区声明(本 PR 不触碰)**: - **A1(L2 aclnn 接口)**:DESIGN/REQUIREMENTS/golden 仍宣称已交付 aclnnReduceStdWithMean L2 直调接口,而代码仓按既有需求决策已移除该接口(README 明示不直接暴露独立 aclnn 接口)——是否恢复属需求范围变更,待需求 owner 裁决后另行处理(两条路径:同步删除交付件宣称 或 新开发接口)。 - **A2(产品支持口径)**:README 产品支持表与两份 aclnn 文档(aclnnBatchNormStats/aclnnStdMeanCorrection)对 Atlas 200I/500 A2 推理产品、Atlas 推理系列产品的支持声明矛盾,真实支持范围取决于 CANN 内置算子库覆盖,待资料 owner 统一口径。 - **A3(canndev 不改)**:canndev 内置旧 Tiling 注册(REGISTER_OP_TILING_V3_CUSTOM,服务旧平台回退)按架构师决议保留豁免,不属算子仓职责。 - **环境限制**:本环境无 NPU/TTK,GEIR TTK 运行时测试(run_ttk_geir.py / run_ttk_exception.py)与异常/边界/特殊值动态用例未执行,转测级结论仅为白盒静态/编译口径;新增 exception_kernel.csv 与 special_values 用例的实机执行并入 x7 后续补测。longtail-docs-verification 在线索引对 golden/需求/spec 检索不到,一致性校验以本地文件离线复核固化。 - **已知小瑕疵(无功能影响)**:b65752957 删除 int32 分支时 kernel.h:1431 一处 StoreAlign 行缩进丢失(纯格式偏差,不影响编译与语义),未纳入本轮 style 提交,后续样式清理时一并处理。 - 上述未修项/决策项的完整背景、决策责任人与建议路径详见《reduce_std_with_mean_未修项明细.md》。 See merge request: cann/ops-math!6193 | 1 month ago |
| Files | Last commit | Last update |
|---|---|---|
| 24 days ago | ||
| 1 month ago |