Merged
fix(dequant_situ_quant): 补齐aclnn条件必选输入判空与空tensor校验 #14652
demoaugusteAdd on 4 days ago
fix(dequant_situ_quant): 补齐aclnn条件必选输入判空与空tensor校验 #14652
Merged
demoaugusteAdd on 4 days ago
demoauguste
demoaugusteCollaborators
4 days ago

描述

本 PR 修复 aclnnDequantSituQuant(算子目录 quant/dequant_situ_quant)在 Atlas A2 上第一段接口 aclnnDequantSituQuantGetWorkspaceSize 对条件必选输入空指针与空 Tensor校验缺失的问题,使返回码与 quant/dequant_situ_quant/docs/aclnnDequantSituQuant.md「返回值」错误码表保持一致。

问题背景

  • 传入 INT8/INT32 必选的条件输入(weightScaleOptional、INT32 的 activationScaleOptional)或 static 量化的 quantScaleOptional 为 nullptr 时,接口返回 561002(ACLNN_ERR_INNER_TILING_ERROR),资料要求 161001(ACLNN_ERR_PARAM_NULLPTR);
  • x/yOut/yScaleOut 为空 Tensor 时,三者全空会静默返回 0/0,仅 x 为空则落到 tiling 返回 561002,资料要求 161002(ACLNN_ERR_PARAM_INVALID)。

根因

本仓该算子缺少 op_host/op_api 层,op_host/CMakeLists.txt 使用 ACLNNTYPE aclnn,即 aclnn 外层接口由 opbuild 依据 dequant_situ_quant_def.cpp 自动生成。生成代码只校验 x、yOut、yScaleOut 三个空指针,随后把可选入参原样透传给 inner → tiling:

  • 条件必选输入传 nullptr 时被当作「可选未传」,tiling 校验失败(GRAPH_FAILED),aclnn 统一映射为 561002;
  • 空 Tensor 无 numel==0 校验,三者全空时生成层/框架直接短路返回成功,仅 x 为空时由 tiling 拒绝并映射为 561002。

修改方案

  1. 新增 quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.{h,cpp},手写 aclnn 外层接口,在进入 inner/tiling 前完成入参校验,校验通过后调用 aclnnInnerDequantSituQuantGetWorkspaceSize / aclnnInnerDequantSituQuant;
  2. quant/dequant_situ_quant/op_host/CMakeLists.txt 的 ACLNNTYPE 由 aclnn 改为 aclnn_inner,由 opbuild 只生成 inner 接口,外层由仓内实现,避免同名符号重复(与同仓 quant/situ_mx_quant、quant/trans_quant_param_v2 的做法一致);
  3. 新增 quant/dequant_situ_quant/tests/ut/op_host/test_aclnn_dequant_situ_quant.cpp,共 23 条用例,覆盖空指针、空 Tensor、非法 quantType/beta/shape/format 以及合法入参路径,使新增实现文件的增量行覆盖率由 71.2% 提升至 98.2%(门禁阈值 80%);
  4. 同步修正 quant/dequant_situ_quant/docs/aclnnDequantSituQuant.md 与 _en.md 中 beta、linearBeta 的类型描述(float → double),使文档函数原型/参数说明与既有公开 ABI 一致,未改变公开符号签名;
  5. 按实际契约修正 quantOffsetOptional 可选性描述(头文件 + 中英文文档):quant_offset 在 dequant_situ_quant_def.cpp 中为 OPTIONAL,tiling(dequant_situ_quant_tiling.cpp:237-261)对 static 下缺省 quant_offset 有完整 quantOffsetIsEmpty 处理、仅 dynamic 时显式禁止,kernel 也按该标志分支执行,ST 数据集同样将其声明为 required: false。因此实现层契约是「static 时可选(缺省按 0 处理),dynamic 时须为空」,头文件/文档原先写成「static 必选、dynamic 可选」有误,本次一并改正,并补充 static 缺省 quantOffset 的合法入参 UT。

ABI 一致性核对(beta / linearBeta 形参类型)

本次新增头文件重新声明了既有公开符号 aclnnDequantSituQuantGetWorkspaceSize,因此专门核对了该符号的形参类型,结论为既有 ABI 一直是 double,本 PR 未改变 ABI:

证据来源 beta / linearBeta 实际类型
官方 toolkit aarch64-linux/include/aclnnop/aclnn_dequant_situ_quant.h:42-43 double / double
本 PR 之前 opbuild 自动生成的外层头(build/autogen/aclnn_dequant_situ_quant.h:42-43)及其 cpp(内部 float tmp0 = static_cast<float>(beta);) double / double
改为 aclnn_inner 后 opbuild 生成的 aclnnInner_dequant_situ_quant.h:42 double
同族手写外层 quant/situ_mx_quant(头文件与 docs/aclnnSituMxQuant.md:69-70、参数表 beta(double)) double / double
本仓 examples/test_aclnn_dequant_situ_quant.cpp 调用侧变量声明 double / double

即:原文档「函数原型 float、参数说明 beta(float)」与真实 ABI 不符(若按旧文档以 float 声明形参,AArch64 下 float 走 s 寄存器、double 走 d 寄存器,会读到错误值且无编译告警),本次把中英文文档统一修正为 double;头文件保持 double 后,符号名与调用约定均未变化,按旧(double)头编译的调用方可直接二进制兼容。

校验项与返回码(第一段接口,进入 tiling 之前)

顺序 校验内容 返回码
1 x、yOut、yScaleOut 为空指针 161001 ACLNN_ERR_PARAM_NULLPTR
2 quantTypeOptional 取值(仅 static/dynamic,大小写不敏感,nullptr 按默认 dynamic) 161002 ACLNN_ERR_PARAM_INVALID
3 条件必选判空:INT8/INT32 的 weightScaleOptional、INT32 的 activationScaleOptional、static 的 quantScaleOptional 161001 ACLNN_ERR_PARAM_NULLPTR
4 x、yOut、yScaleOut 为空 Tensor 161002 ACLNN_ERR_PARAM_INVALID
5 beta == 0、输入输出 dtype、format(线性格式)、x 维度与末维偶数、输出维度 161002 ACLNN_ERR_PARAM_INVALID

说明:空指针与空 Tensor 校验均排在 shape 推导之前,「x 空、yOut/yScaleOut 非空」也会返回 161002 而不再落到 tiling。

变更文件

文件 变更
quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.h 新增,aclnn 外层接口声明(ABI 与官方头一致)
quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp 新增,外层入参校验 + 调用 inner
quant/dequant_situ_quant/op_host/CMakeLists.txt ACLNNTYPE aclnn → aclnn_inner
quant/dequant_situ_quant/tests/ut/op_host/test_aclnn_dequant_situ_quant.cpp 新增,23 条 op_api UT(161001/161002 负例 + 合法入参路径,含 static 缺省 quantOffset),支撑增量行覆盖率 98.2%
quant/dequant_situ_quant/docs/aclnnDequantSituQuant.md、aclnnDequantSituQuant_en.md 文档同步:①beta/linearBeta 类型 float → double(函数原型、参数说明表、调用示例),与既有公开 ABI 对齐;②quantOffsetOptional 可选性按实现契约修正(static 可选、dynamic 须为空)

关联的Issue

测试

环境:Atlas A2(Ascend 910B3 ×8),CANN 9.2.1,openEuler 24.03;单算子构建 bash build.sh --pkg --soc=ascend910b --ops=dequant_situ_quant --vendor_name=<tag>,使用独立 vendor 包 + ASCEND_CUSTOM_OPP_PATH 解包运行,未改动共享 toolkit;执行前用 npu-smi info 选空闲卡并以 ASCEND_RT_VISIBLE_DEVICES 指定单卡。

1. 实机问题复现用例(18 例,修复前后对照)

用例 修复前 修复后
INT8 static / INT8 dynamic / INT32 dynamic / BF16 dynamic 合法入参(4 例) 0 / 0 0 / 0(无回归)
#8380 INT8 static weightScaleOptional=nullptr 561002 161001
#8380 INT8 static quantScaleOptional=nullptr 561002 161001
#8380 INT8 dynamic weightScaleOptional=nullptr 561002 161001
#8380 INT32 dynamic weightScaleOptional=nullptr 561002 161001
#8380 INT32 dynamic activationScaleOptional=nullptr 561002 161001
#8381 x/yOut/yScaleOut 全为空 Tensor 0 / 0 161002
#8381 仅 x 为空 Tensor(yOut/yScaleOut 非空) 561002 161002
quantTypeOptional 非法 / beta == 0 / x 末维奇数 / x dtype 非法 561002、161002、561002、161002 均为 161002
x / yOut / yScaleOut 为空指针(原有行为) 161001 161001(保持)

结果:修复前 18 例中 10 例失败,修复后 18/18 通过。

2. op_api UT 与增量行覆盖率

bash build.sh -u --opapi --cov --ops=dequant_situ_quant --soc=ascend910b -j16
[==========] 23 tests from 1 test suite ran.
[  PASSED  ] 23 tests.

新增实现文件 quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp 的增量行覆盖率(gcov 实测):

版本 行覆盖率
仅 14 条负例(对应门禁 run #20047 判败版本) 71.2%(门禁口径)/ 71.30%(本地复现,与门禁一致)
本版本(23 条用例) 98.20%(109/111 可执行行,阈值 80%)

本轮补充的用例覆盖了此前未覆盖的分支:quantTypeOptional 大小写/默认值处理、非线性 format、INT32 x 维度非 2 维、yOut/yScaleOut 维度不匹配,以及合法入参(含 bias/quantOffset/activationScale/groupIndex、static 缺省 quantOffset)走通全部校验并进入 inner 的路径。剩余未覆盖的 2 行是第二段执行接口 aclnnDequantSituQuant():OP_API_UT 框架的 TestGetWorkspaceSize 只调用第一段接口,第二段需要真实 device 执行,已由下文实机用例覆盖。

UT 环境的平台为桩实现,合法入参路径会返回 361001(与本次改动无关),故合法用例只断言「未命中入参错误码」。

3. 仓库自带样例精度回归

bash build.sh --run_example dequant_situ_quant eager cust --vendor_name=<tag> --soc=ascend910b
Test 1 (Static Quant):  PASSED
Test 2 (Dynamic Quant): PASSED
Test 2 PASSED (max_y_diff=0, max_scale_diff=0.000000)
All tests PASSED!

另:新增源码已通过仓库 .clang-format(clang-format 18.1.8)检查。

文档更新

  • 更新 quant/dequant_situ_quant/docs/aclnnDequantSituQuant.md 与 quant/dequant_situ_quant/docs/aclnnDequantSituQuant_en.md:
    • aclnnDequantSituQuantGetWorkspaceSize 函数原型中 beta、linearBeta 的类型由 float 修正为 double;
    • 参数说明表中 beta(float)、linearBeta(float) 修正为 (double);
    • 调用示例中的 beta/linearBeta 局部变量声明同步改为 double。
  • 修正依据见上文「ABI 一致性核对」:opbuild 生成头、官方 toolkit 头、同族 situ_mx_quant 均为 double,本 PR 头文件保持 double,公开符号签名未变化。
  • 更新 quantOffsetOptional 可选性描述(中英文参数说明表 + 约束说明):由「static 时必选、dynamic 可选」修正为「static 时可选(缺省按 0 处理)、dynamic 须为空」,与 quant_offset 的 OPTIONAL 声明、tiling 的 quantOffsetIsEmpty 处理、kernel 分支及 ST 数据集 required: false 一致。
  • 该算子 aclnn 返回码表(161001/161002)原本已按预期行为描述,本次无需改动。

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for demoauguste's contribution.)
demoaugustedemoaugusteCollaborators
4 days ago Created pull request, commit 5206d420
demoaugustedemoaugusteCollaborators
4 days ago Associated issue: [Bug-Report|缺陷反馈]: aclnnDequantSituQuant 在 A2 上必选输入传空指针返回 561002,资料要求 161001,[Bug-Report|缺陷反馈]: aclnnDequantSituQuant 在 A2 上空 tensor 输入未被拦截,两段返回 0(资料要求 161002)
atomgit-bot
atomgit-bot
4 days ago Comments:

变更摘要

本 PR 为 quant/dequant_situ_quant 算子补写 aclnn 外层接口,修复 aclnnDequantSituQuantGetWorkspaceSize 对条件必选输入空指针和空 Tensor 校验缺失的问题,使返回码与资料错误码表一致(161001 ACLNN_ERR_PARAM_NULLPTR / 161002 ACLNN_ERR_PARAM_INVALID)。新增手写外层接口 aclnnDequantSituQuantGetWorkspaceSize,在进入 inner 接口或 tiling 前完成参数校验,第二段接口 aclnnDequantSituQuant 直接透传给 aclnnInnerDequantSituQuant;同时补充对应 UT 负例。

主要改动

  • 新增 aclnn 外层接口实现: 新增 op_host/op_api/aclnn_dequant_situ_quant.cpp,其中 CheckParams 按顺序执行必选指针判空(x、yOut、yScaleOut)、quantTypeOptional 取值校验(大小写不敏感,nullptr 按 dynamic)、条件必选判空(INT8/INT32 的 weightScaleOptional、INT32 的 activationScaleOptional、static 的 quantScaleOptional)、空 Tensor 校验、beta == 0、dtype、线性 format、x 维度与末维偶数及输出维度校验,通过后调用 aclnnInnerDequantSituQuantGetWorkspaceSize。
  • 新增接口声明头文件: 新增 op_host/op_api/aclnn_dequant_situ_quant.h,以 ACLNN_API 导出两段接口,并在注释中明确各入参 dtype、format、shape 约束及 weightScaleOptional、activationScaleOptional、quantScaleOptional 的必选条件与不支持空 Tensor 的约定。
  • 错误码与错误上报: 新增 ReportInvalidValue、ReportInvalidShape 及 REPORT_PREDEFINED_ERR_MSG 调用(EZ0026、EZ0010、EZ0018、EZ0015),使非法参数分别落到 ACLNN_ERR_PARAM_INVALID 与 ACLNN_ERR_PARAM_NULLPTR,替代此前由 tiling 失败统一映射的 561002。
  • 动态 shape 兼容处理: CheckXShape 通过 HasUnknownDim 识别含 -1 的未知维,跳过 host 侧末维偶数校验交由执行阶段,并对 INT8 使用 2~8 维、其他 dtype 使用固定 2 维的秩约束。
  • 新增 op_api UT 负例: 新增 tests/ut/op_host/test_aclnn_dequant_situ_quant.cpp,覆盖空指针(x/yOut/yScaleOut、INT8/INT32 条件必选入参)、空 Tensor 全空与仅 x 为空、以及 quantTypeOptional 非法、beta == 0、末维奇数、x dtype 非法等场景,分别断言 ACLNN_ERR_PARAM_NULLPTR 与 ACLNN_ERR_PARAM_INVALID。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
4 days ago Comments:

代码审查

已完成全部 4 个改动文件的检视,结论如下。

检视结论

各文件检视结果

文件 结论
quant/dequant_situ_quant/op_host/CMakeLists.txt 无问题。ACLNNTYPE aclnn → aclnn_inner 与同仓 quant/situ_mx_quant、quant/trans_quant_param_v2 的既有做法一致;UT 侧 tests/ut/op_host/CMakeLists.txt 已有 OP_API_UT 分支且按 DIR 收集源文件,新增 UT 会被自动纳入,无需额外登记。
quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp 1 条 P3(format 校验过宽)。其余逐项核对通过:CheckConditionalInputNotNull 覆盖资料 161001 的 4 个子项(INT8 weightScale / INT32 weightScale+activationScale / static quantScale)且与 tiling 的必选语义一致;CheckBeta 与 tiling.cpp:141 的 beta != 0 一致;CheckOutShape 的 INT8 y=rank(x)、yScale=rank(x)-1 与 tiling.cpp:327 一致,非 INT8 的 y=2 / yScale=1 与 tiling.cpp:467/487 一致;xDimNum - 1 不会下溢(CheckXShape 先行保证 rank≥2);IsEmpty()、OP_CHECK_MIN_DIM/MAX_DIM、OP_CHECK_NULL、OP_LOGE_WITHOUT_REPORT + REPORT_PREDEFINED_ERR_MSG(EZ0026/EZ0010/EZ0018/EZ0015)等全部与仓内既有 op_api(situ_mx_quant)用法一致,首报不重复。
quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.h 无问题。ABI(形参顺序、char* quantTypeOptional、ACLNN_API + extern "C")与 def.cpp 的 7 输入 / 2 输出 / 4 属性顺序一致,与 examples/test_aclnn_dequant_situ_quant.cpp、docs 中的函数原型一致;include 约定与同仓其他 op_api 头一致。
quant/dequant_situ_quant/tests/ut/op_host/test_aclnn_dequant_situ_quant.cpp 1 条 P3(用例覆盖缺口)。14 条负例的入参与断言对应关系正确(x/yOut/yScaleOut 空指针、条件必选空指针、空 tensor 两种形态、quantType 非法、beta=0、末维奇数、dtype 非法),未发现断言与 CheckParams 顺序冲突的用例。

发现清单

  • P3(0.40):CheckFormat 放行 NCL/NCHW/NCDHW,与 def.cpp 仅注册 FORMAT_ND、同 diff 新增头注释「数据格式支持ND」矛盾;tiling 无 format 校验,非 ND 输入会越过第一段校验并在下游以内部错误码失败。
  • P3(0.35):UT 全为负例,未覆盖头注释新承诺的 quantTypeOptional=nullptr(默认 dynamic)路径,也没有任何断言可拦截新增严格校验对合法输入的误拒回归。

整体风险判断

变更方向正确、实现与同仓既有 aclnn_inner 手工外层范式高度一致,空指针/空 tensor 校验确实落在 tiling 之前,返回码与资料错误码表的 161001/161002 对齐,未发现 P0–P2 缺陷;剩余两条均为可选的完备性问题(一条校验范围偏宽、一处测试覆盖缺口),不构成合入阻塞。

类型 数量
🔴 阻塞 0
🟡 建议 1

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
4 days ago Added label: cann-cla/yes
83 messages are collapsed here。 See more
tang-lei01
tang-lei01Collaborators
4 days ago Comments:

/approve

likedislike
CANN-robotCANN-robotCollaborators
4 days ago Added label: approved
CANN-robotCANN-robotCollaborators
4 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
4 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
4 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike