Open
[apply_adam_v2] 算子质量加固问题修复记录 #6540
handsomeRobot_SKAdd on  Oct 12
handsomeRobot_SK
handsomeRobot_SKCollaborators
Oct 12 Create

[apply_adam_v2] 算子质量加固问题修复记录

一、背景

ApplyAdamV2(ops-nn/optim/apply_adam_v2,ascend950/arch35,RegBase VF 链 + TBuf 管理 UB,仅 GEIR 通路)在 2026-09-23 完成一轮白盒质量扫描,结论如下:

准入扫描(ops-admission-scan · 白盒模式,扫描基线 ae74ae0da)

  • 总结果:FAIL。19 项 + 用例覆盖度中 2 项 FAIL(1.1 产品支持 P1、1.6 交付件一致性-golden P2),1 项 WARN(X2 格式校验 P3),1 项信息转代码检视(X7/P4 空 Tensor);其余 17 项 PASS(含用例覆盖度 16:kernel 92.0% PASS)。
  • 阻塞:无 NPU/TTK,GEIR/TTK 实测与 TTK 异常实测未执行(UNAVAILABLE),全部结论基于白盒静态证据 + LLM 审视。

代码检视(ascendc-code-review · 全量 file-review + 设计一致性)

  • 条例检视 136 条:PASS 128(94.1%)/ FAIL 3 / SUSPICIOUS 5;风格 19 条:FAIL 3(STYLE-1.4/2.3/2.8);设计一致性 S1-S7 中 5 项 ❌ + D8 ❌,产出问题 C1~C14。
  • 环境限制:无 NPU/asc-devkit,API-8(RegBase 寻址寄存器上限/掩码语义)离线无法核实。

修复分支

apply_adam_v2_quality_hardening(自 quality-hardening 基线 ae74ae0da 起,2026-09-24),共 9 个代码仓提交 + 交付件仓 operator-artifacts/ApplyAdamV2 同步提交(6d0e429 / 625b165 / 8a47e70 本算子部分)。本文逐条记录已修复问题项;未修项与豁免裁决见《apply_adam_v2_未修项明细.md》,误报/N/A(如 X6 TensorList 规则先决过滤、1.6 校验 CSV 的 fuzzy 误匹配行)不列入。


二、已修复问题清单

1. P1 过程性修复:README 产品支持表误改回退

  • 问题描述(admission 1.1 FAIL,P1,高):基线 commit ae74ae0da 曾将 README 产品支持表 Atlas A3/A2/200I-500/训练/推理标 ×,与 canndev TBE ini 六类产品存在 [ApplyAdamV2] 注册节的事实冲突(保守声明双向不准确)。
  • 修复方案:回退该误改,恢复 README 支持表全 √ 的原始状态,与 canndev ini 注册节保持一致口径;支持面最终口径裁决(仅 950 AddConfig vs 全产品 √)不在本窗口内,另行追踪(未修项 A1)。
  • 修复位置:094dc03f8 → ops-nn/optim/apply_adam_v2/README.md:5-12(支持表恢复全 √)。

2. P2 交付件一致性 FAIL:Golden 违禁函数与 tolerance 标准

  • 问题描述(admission 1.6 FAIL,中):longtail-docs-verification 规则 f 要求 golden 仅允许 torch/tf 计算,归档 golden np.isnan(ggn)/np.isinf(ggn) 违规,且 tolerance standard=stat_rel_err 与交付件版(cross_check)不一致。
  • 修复方案:交付件 golden 改用 math.isnan/math.isinf(标准库标量判断,非 numpy 计算调用),tolerance 统一 cross_check + L0;LongTailInfo 归档仓 golden 不在工作区,同步动作另行追踪(未修项 B3)。
  • 修复位置:6d0e429 → operator-artifacts/ApplyAdamV2/Golden/apply_adam_v2.py:1(import math)、:11-12(standard=cross_check)、:96(math.isnan/math.isinf)。

3. P3/X2 格式校验缺失(WARN)

  • 问题描述(admission X2,WARN 约束级):def.cpp 声明仅 FORMAT_ND + DynamicFormatFlag(false),op_host 无显式 IsPrivateFormat 运行时校验,规则判定「ND 无校验→WARN」。
  • 修复方案:tiling GetShapeInfo() 在 dtype 一致性校验前新增格式校验步,对全部输入取 GetFormat().GetStorageFormat() 与 FORMAT_ND 比对,非 ND 走 OP_LOGE_FOR_INVALID_FORMAT 返回 GRAPH_FAILED,将 WARN 提升为显式拦截。
  • 修复位置:f712ac344 → ops-nn/optim/apply_adam_v2/op_host/arch35/apply_adam_v2_tiling_arch35.cpp:304-313。

4. P4/X7/C3 空 Tensor 未按设计实现 Host 侧早退

  • 问题描述(admission X7「Design Contract Host 显式早退未实现」转 C 级 + code-review C3,高):Design §3.4/§5.4 要求 var 元素数为 0 时 Host 侧检测直接返回不 launch kernel,实现仅依赖隐式零迭代短路(FindSplitAxis aI=0→count=0→VF repCount=0),机制未按设计实现。
  • 修复方案:GetShapeInfo() 在标量约束前新增空 Tensor 检测(GetShapeSize()==0 → is_empty_=true 直接 GRAPH_SUCCESS);RunTiling() 中 is_empty_ 分支构造零 tile TilingData(blockDim=1、split.aO=1、perBufBytes 按 UB 预算),kernel 执行零迭代短路,语义与 README「空 Tensor 直接返回」对齐。
  • 修复位置:6f8d17ced → ops-nn/optim/apply_adam_v2/op_host/arch35/apply_adam_v2_tiling_arch35.cpp:336-339(检测)、:532-545(RunTiling 短路);.../apply_adam_v2_tiling_arch35.h:51(is_empty_ 成员)。

5. C1 CopyIn 使用 DataCopyPad 1D 违反 NDDMA 契约(含死代码)

  • 问题描述(code-review C1,高;设计偏差 S1/S3/S7):Design Contract §8 要求 NDDMA DataCopy 多维搬运、禁止 flat DataCopyPad 作为 CopyIn;实现 CopyInBrc 用 DataCopyPad 1D,Init 中 NDDMA 参数预计算(nddmaParams_/nddmaOuterIters_/nddma_dims_)成为死代码。
  • 修复方案:Init 中 NDDMA 参数预计算转正(按 split.axis 计算 loopSize/SrcStride/DstStride 与高维外层迭代数 nddmaOuterIters_);CopyInBrc 改用 DataCopy<T, ND, NdDmaConfig> 多维搬运:rank≤5 单次 DataCopy,rank>5 外层循环 + 内层 NDDMA 覆盖剩余维度,移除 DataCopyPad 1D 实现。
  • 修复位置:078a9ea99 → ops-nn/optim/apply_adam_v2/op_kernel/arch35/apply_adam_v2_kernel.h:307-336(Init NDDMA 预计算)、:640-676(CopyInBrc NDDMA 多维搬运)。

6. C4 设计偏差 S1 梯度裁剪证据化(修复动作部分)

  • 问题描述(code-review C4,中;设计偏差 S5):设计「Host 预计算 clip_coeff,kernel 无条件 Muls」「global_grad_norm<1e-10 Host 预检测置 1.0」,实现 Host 恒 1.0、kernel 运行时分支重算(NaN/Inf/下限判断全在 kernel),与设计决策方向相反。
  • 修复方案:根因固化——max_grad_norm/global_grad_norm/lr/step_size 均为 GM 标量张量,Host 编译期仅可见 shape/dtype,拿不到运行期数值,Host 预计算不可行(self-check 追加调查已证)。本窗口完成证据化:TilingData 三字段(clipCoeff/stepSizeVal/lrVal)标注 ABI 预留占位注释(含偏差根因记录),DESIGN.md 回写 S1 决策表「⚠️ 实现偏差」标注 + 偏差说明段落 + API 映射表/伪码注释同步(8a47e70)。正式架构豁免签字待确认(未修项 D8)。
  • 修复位置:d37f400c2 → op_kernel/arch35/apply_adam_v2_tiling_data.h:57-63、op_host/arch35/apply_adam_v2_tiling_arch35.cpp:486-488;8a47e70 → operator-artifacts/ApplyAdamV2/DESIGN.md:787,793(决策表标注 + 偏差说明)、:1663-1666(API 映射表修正)。

7. C5 TilingData 恒 <8> 未按 rank 分档

  • 问题描述(code-review C5,低;设计偏差 S1):设计 TilingData<4>/<8> 双档(rank≤4→<4>,rank>4→<8>),实现 DoTilingAndSet<8> 硬编码恒 <8>(apply_adam_v2.cpp:17),内存冗余。
  • 修复方案:TilingKey 编码扩为 rank 档位 × dtype × adam_mode 共 8 个 Key(Key 0~3=rank≤4,Key 4~7=rank>4,RANK8_OFFSET=4);RunTiling 按 rank 选择 DoTilingAndSet<4>/<8> 并设置对应 TilingKey;kernel 入口按 KEY < APPLY_ADAM_V2_RANK8_OFFSET 编译期选择 TilingData<4>/<8>,DESIGN.md §3.2 TilingKey 表同步。
  • 修复位置:63e73089e → op_kernel/apply_adam_v2.cpp:17-18,33-43、op_kernel/arch35/apply_adam_v2_struct.h:21-45、op_host/arch35/apply_adam_v2_tiling_arch35.cpp:507-545;8a47e70 → DESIGN.md §3.2 TilingKey 表。

8. C6 examples 内存泄漏与分配未判空(REDLINE-8/SEC-4.1~4.3)

  • 问题描述(code-review REDLINE-8 FAIL,高):test_geir_apply_adam_v2.cpp GenOnesDataFloat32 中 new (std::nothrow) float[size] 不判空即写入、永不释放(12 次调用累计泄漏,early-return 路径同样泄漏)。
  • 修复方案:new 后立即判空(nullptr → 打印错误 + 返回 FAILED);GE Tensor 构造已拷贝数据,构造后立即 delete[] pData 释放。
  • 修复位置:b29fe6a41 → ops-nn/optim/apply_adam_v2/examples/test_geir_apply_adam_v2.cpp:92-94(判空)、:99(delete[])。

9. C7 16 处裸 OP_LOGE 未映射预定义宏(LOG-1)

  • 问题描述(code-review LOG-1 FAIL,高):op_host 16 处裸 OP_LOGE 语义均可映射预定义宏(EZ0008~EZ0037),实际却上报通用码 EZ9999、无结构化字段。
  • 修复方案:逐处替换为语义对应预定义宏——shape 空/非法→OP_LOGE_WITH_INVALID_INPUT、OP_LOGE_FOR_INVALID_ARGUMENT_WITH_REASON;维度超限→OP_LOGE_FOR_INVALID_SHAPEDIM;shape 不一致→OP_LOGE_FOR_INVALID_SHAPE_WITH_REASON/OP_LOGE_FOR_INVALID_SHAPES_WITH_REASON;dtype 不一致→OP_LOGE_FOR_INVALID_DTYPE_WITH_REASON;标量元素数→OP_LOGE_FOR_INVALID_SHAPESIZE_WITH_REASON。
  • 修复位置:6f8d17ced → op_host/apply_adam_v2_infershape.cpp:48,66,85,104,110,117,121,126,136;op_host/arch35/apply_adam_v2_tiling_arch35.cpp:46-60,275,281,319,342,357,369 等(16 处全覆盖)。

10. C8 UT 目标缺失安全编译选项(CS-1~CS-6)

  • 问题描述(code-review CS-1~CS-6 FAIL 合并,中):tests/ut/op_host 与 arch35 两处 add_executable UT 目标仅 -Wall -Wextra,缺 -fPIE/-pie、-fstack-protector-all、-Wl,-z,relro/now/noexecstack、-s。
  • 修复方案:两个 UT 目标补齐 target_compile_options(-fPIE -fstack-protector-all) 与 target_link_options(-pie -Wl,-z,relro,-z,now,-z,noexecstack -s),并同步补齐文件许可证头(OAT)。
  • 修复位置:1290fc00f → ops-nn/optim/apply_adam_v2/tests/ut/op_host/CMakeLists.txt:1-16、tests/ut/op_host/arch35/CMakeLists.txt:1-16。

11. C9 冗余/死代码与只写不读字段(G-1.3)

  • 问题描述(code-review G-1.3 SUSPICIOUS):Init NDDMA 参数块从未被消费(随 C1 同根因);tiling_data.h:22 kMaxNDDMA 无引用;tiling clipCoeff/stepSizeVal/lrVal 只写不读;PrecomputeOutputStrides 与 PrecomputeInputStrides 实现完全相同(重复函数)。
  • 修复方案:NDDMA 参数块随 C1 转正被 CopyInBrc 消费;kMaxNDDMA 常量删除(随 C1 换用 ND=(RANK<=5)?RANK:5);clipCoeff/stepSizeVal/lrVal 三字段标注为 ABI 占位(随 C4 证据化),不再是「只写不读」的无声明字段。
  • 修复位置:078a9ea99(参数块转正)、6f8d17ced(死代码块与 kMaxNDDMA 删除)、d37f400c2 → op_kernel/arch35/apply_adam_v2_tiling_data.h:57-63、op_host/arch35/apply_adam_v2_tiling_arch35.cpp:486-488。

12. C10 魔鬼数字/字符串硬编码(G-4.2)

  • 问题描述(code-review G-4.2 SUSPICIOUS):kernel.h 梯度裁剪阈值 1e30f(Inf 近似检测)与 1e-10f(下限保护)为未命名常量;"adam"/"mbart_adam" 字符串在 tiling_arch35.cpp:527,529、infershape.cpp:70 等处硬编码,与 proto 默认值同义重复。
  • 修复方案:tiling_data.h 统一提取命名常量 kAdamModeAdam/kAdamModeMbart/kInfApproxThreshold/kGradNormFloor,替换全部 5 处字面量引用。
  • 修复位置:6f8d17ced → op_kernel/arch35/apply_adam_v2_tiling_data.h:22-27(常量定义)、op_kernel/arch35/apply_adam_v2_kernel.h:377,381、op_host/arch35/apply_adam_v2_tiling_arch35.cpp:576,578。

13. C11 C 风格类型转换与日志参数名错位(G-7.1/SEC-8.4)

  • 问题描述(code-review G-7.1/SEC-8.4 SUSPICIOUS):tiling 侧多处 (int64_t)/(int) C 风格强制转换;infershape.cpp:116 对 beta1 形状校验失败打印 "shape of exp_avg must be (1, )"——引用 tensorflow 旧称 exp_avg(一阶矩 m),排障定位错误参数,且 :120 "invalid input shape" 未指明输入。
  • 修复方案:tiling 全量替换为 static_cast<int64_t>/static_cast<int>,与文件既有 static_cast 风格一致;infershape beta1 校验改为 OP_LOGE_FOR_INVALID_SHAPE("beta1", 实际shape, "(1,) or scalar")(正确参数名 + 实际值 + 期望值),同函数其余日志亦带参数名(随 C7 一并走宏)。
  • 修复位置:6f8d17ced → op_host/arch35/apply_adam_v2_tiling_arch35.cpp:78-85,140,178,195,405 等多处;op_host/apply_adam_v2_infershape.cpp:117。

14. C13/STYLE-2.8 一行多变量声明

  • 问题描述(code-review STYLE-2.8 FAIL,低):kernel.h:352 int64_t start, end; 一行声明两个变量。
  • 修复方案:拆分为 int64_t start = 0; / int64_t end = 0; 两行声明并初始化。(报告自述可豁免的同族常量 constexpr int B0 = 0, B1 = 1, ... 不动。)
  • 修复位置:6996bf14b → op_kernel/arch35/apply_adam_v2_kernel.h:353-354。

15. C14/D8 文档格式 D1 违规(数字与单位间空格)

  • 问题描述(code-review C14/D8,低):DESIGN.md 五处数字与单位间有空格(248 KB、50,784 B、253,920 B、32 B、5N×4 B 等),违反 D1。
  • 修复方案:全部改为无空格格式(248KB/50,784B/253,920B/32B/4B/248KB)。
  • 修复位置:625b165 → operator-artifacts/ApplyAdamV2/DESIGN.md:203,706,1703,1729-1736,1753,1884。

16. 用例覆盖度缺口:不支持 dtype / format 异常用例补齐

  • 问题描述(admission 用例覆盖度第 16 项,PASS 92.0% 但记录缺口):kernel 侧 303 用例覆盖率 92.0%,缺口为「不支持 dtype 异常用例、format 异常×FLOAT/FLOAT16(枚举式)」。
  • 修复方案:新增 L2 异常用例 CSV,枚举式补齐三类预期报错用例:int32 不支持 dtype(expected_error=unsupported_dtype)、NCHW×FLOAT/FLOAT16 不支持 format(expected_error=unsupported_format,声明集仅 ND)。
  • 修复位置:625b165 → operator-artifacts/ApplyAdamV2/测试用例/apply_adam_v2_l2_exception.csv(新建,3 条异常用例)。

17. step_size 语义口径修正(spec/REQUIREMENTS/DESIGN 同步)

  • 问题描述(可回溯交付件 commit 8a47e70;源头为自检附加发现):spec.yaml step_size 描述「mbart_adam 模式必填」与实现不一致——kernel(缺省用 lr)、README(「若未提供 step_size 则使用 lr」)、golden(ss_s = ... else lr_s)三者一致允许缺省。
  • 修复方案:spec.yaml step_size 描述改为「adam 模式不使用,mbart_adam 模式可选(缺省时使用 lr)」,REQUIREMENTS.md 输入表与约束说明、DESIGN.md 调用约束与运行期数据流公式(adam 分支 var = var - lr × (u + weightDecay × var))同步修正。
  • 修复位置:8a47e70 → operator-artifacts/ApplyAdamV2/spec.yaml:110、REQUIREMENTS.md:137,246、DESIGN.md:220,280。

三、修复统计

维度 数值
已修问题条目 17(准入 4 / 检视 11 / 交付件·用例·资料 2 类合并)
代码仓提交 9(094dc03f8 / b29fe6a41 / 1290fc00f / 6f8d17ced / 63e73089e / 078a9ea99 / f712ac344 / d37f400c2 / 6996bf14b)
交付件同步提交 3(6d0e429 / 625b165 / 8a47e70,本算子部分)
覆盖问题编号 admission:P1(过程性回退)/P2(交付件侧)/P3/P4;code-review:C1/C3/C4(证据化)/C5/C6/C7/C8/C9/C10/C11/C13/C14
未列入(未修/待裁决) A1/A2/B3/B4/B5/C6/C7/D8,详见《apply_adam_v2_未修项明细.md》
未列入(误报/N/A) X6 TensorList(proto 无 DYNAMIC_INPUT 规则先决过滤)、1.6 校验 CSV fuzzy 误匹配行、报告自述可豁免项(constexpr 常量同族一行声明)
likedislike
handsomeRobot_SKhandsomeRobot_SKCollaborators
Oct 12 Associated pull request
yuning_chenyuning_chenCollaborators
Oct 12 Assign handsomeRobot_SK as responsible person
chenjiayi_chenjiayi_Collaborators
8 days ago Assign chenjiayi_ as responsible person
chenjiayi_
chenjiayi_Collaborators
8 days ago Comments:

补充说明本问题的处理进展:

已核对关联 PR 与当前指派,该 issue 仍处于 open,指派后评论区保持静止。

当前状态:

  • 关联 PR:PR#11221,状态 closed,closed_at=2026-11-03 09:01。
  • 当前责任人:handsomeRobot_SK, chenjiayi_。
  • 指派时间:2026-10-12 18:03。
  • PR 合入记录为空。

依据(PR/评论):

  • PR#11221 的当前状态为 closed,关闭时间为 2026-11-03 09:01。
  • 本 issue 在指派后评论区保持静止。

后续:由责任人确认 PR#11221 的关闭原因;需要继续推进时重新提交或更新 PR,合入后复核 master 并关闭 issue。

MR 链接:https://gitcode.com/cann/ops-nn/pull/11221

likedislike
陈展熹陈展熹Collaborators
3 days ago Associated pull request
chenjiayi_chenjiayi_Collaborators
12 hours ago Removed responsible person chenjiayi_