Merged
fix(dequant_situ_quant): aclnn第一段补齐输入shape/组合约束校验 #14701
demoaugusteAdd on 4 days ago
fix(dequant_situ_quant): aclnn第一段补齐输入shape/组合约束校验 #14701
Merged
demoaugusteAdd on 4 days ago
demoauguste
demoaugusteCollaborators
4 days ago

描述

本 PR 是 aclnnDequantSituQuant(quant/dequant_situ_quant)前序修复的增量:前序修复(条件必选输入判空→161001、空 Tensor 校验→161002、beta/linearBeta 文档类型、quantOffsetOptional 可选性)已合入主仓;本 PR 在此基础上把 tiling 侧仍会返回 561002 的入参约束上移到 aclnn 第一段,使 docs/aclnnDequantSituQuant.md 错误码表中 161002「各输入约束不满足」的承诺真正成立(文档错误码表本身不做任何修改)。

问题背景

前序修复后实测仍存在 7 类「文档写 161002、实际返回 561002」的偏差,均因这些约束此前只在 tiling 中校验:

场景 前序修复后实测
weightScaleOptional shape 非法 561002
yOut 末维 ≠ x 末维/2 561002
yScaleOut shape 非法 561002
INT8 dynamic 携带 quantOffsetOptional 561002
INT32 携带 quantScaleOptional(禁项) 561002
INT8 携带 activationScaleOptional(禁项) 561002
quantOffsetOptional shape 非法 561002

修改方案

在 quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp 的第一段校验中补齐与 tiling 同口径的入参约束,命中统一返回 161002(ACLNN_ERR_PARAM_INVALID);tiling 侧原校验保留作为兜底,纯硬件资源类约束(如 UB 容量不足)仍由 tiling 返回 561002。

范围 新增校验
公共 含未知维(-1)的动态 shape 无法在 host 精确推导时,仅校验 yOut/yScaleOut rank,其余下放执行阶段
INT8 weightScale shape size ∈ {2H,1};activationScale/groupIndex 必须缺省;bias size ∈ {2H,1};quantScale size ∈ {H,1};static 下 quantOffset size ∈ {H,1}、dynamic 下必须缺省;yOut = x.shape[:-1]+[H]、yScaleOut = x.shape[:-1]
INT32 quantType 必须为 dynamic;quantScale/quantOffset 必须缺省;groupIndex 非空 1 维;weightScale/bias 为 [2H]/[1]/[1,2H](有 groupIndex 时 [expertNum,2H]);activationScale 为 (1,) 或每行一个值;yOut=[rows,H]、yScaleOut=[rows]
BFLOAT16/FLOAT16 quantType 必须为 dynamic;除 groupIndex(非空 1 维)外所有可选输入必须缺省;yOut=[rows,H]、yScaleOut=[rows]

同时调整「static 必传 quantScale」的判空仅对 INT8 生效(INT32/BFLOAT16 的 static 组合改由「必须 dynamic」规则返回 161002),避免与文档 161001-4 的语义冲突。

变更文件

文件 变更
quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp +292/−7:新增 shape/组合约束校验,第一段统一返回 161002
quant/dequant_situ_quant/tests/ut/op_host/test_aclnn_dequant_situ_quant.cpp +589/−7:UT 23 → 56 条,覆盖新增全部分支与合法入参路径

基线:主仓 master d0207fac4,本 PR 为单提交 ecec45523。

关联的Issue

测试

环境:Atlas A2(Ascend 910B3 ×8),CANN 9.2.1,openEuler 24.03;单算子构建 bash build.sh --pkg --soc=ascend910b --ops=dequant_situ_quant --vendor_name=<tag>,使用独立 vendor 包 + ASCEND_CUSTOM_OPP_PATH 解包运行,未改动共享 toolkit;执行前用 npu-smi info 选空闲卡并以 ASCEND_RT_VISIBLE_DEVICES 指定单卡。

1. 文档错误码一致性(27 条用例,实机)

按 docs/aclnnDequantSituQuant.md 错误码表逐条构造用例,比对「文档期望 vs 实际返回」:

文档条目 用例数 文档期望 实测 结论
161001 四个子项(x/yOut/yScaleOut、INT8 weightScale、INT32 weightScale/activationScale、static quantScale 空指针) 7 161001 161001 一致
161002-1 空 tensor、-2 dtype、-3 quantType、-4 末维奇数、-5 beta=0 8 161002 161002 一致
161002-6 维度与可选输入 shape(x/yOut/yScaleOut、weightScale/activationScale/bias/quantScale/quantOffset/groupIndex) 5 161002 161002 一致
161002-6 各数据类型输入组合禁项(INT32 禁 quantScale/quantOffset、dynamic 禁 quantOffset、INT8 禁 activationScale/groupIndex、BFLOAT16 禁全部可选输入、groupIndex 非空 1 维等) 7 161002 161002 一致
361001 平台不支持 — 361001 A2 为支持平台无法实机触发;op_api UT(平台桩)观测到 361001 设计一致、未实机验证

结果:27/27 与文档一致(本 PR 修改前其中 7 类返回 561002)。

2. issue #8380/#8381 复现用例(18 条,实机)

合法 INT8 static / INT8 dynamic / INT32 dynamic / BFLOAT16 dynamic 4 条路径仍返回 0/0;两个 issue 的空指针、空 tensor 场景返回 161001/161002,18/18 通过(无回归)。

3. op_api UT 与增量行覆盖率

bash build.sh -u --opapi --cov --ops=dequant_situ_quant --soc=ascend910b -j16
[==========] 56 tests from 1 test suite ran.
[  PASSED  ] 56 tests.

新增实现文件 op_host/op_api/aclnn_dequant_situ_quant.cpp 的增量行覆盖率(gcov 实测):

版本 行覆盖率
本 PR 基线(主仓已合入版本,23 条用例) 98.20%(109/111 可执行行)
本 PR(56 条用例) 99.08%(216/218 可执行行,门禁阈值 80%)

参考:本算子最初一版仅 14 条负例时覆盖率为 71.2%,即门禁 run #20047 判败的值。

剩余未覆盖的 2 行是第二段执行接口 aclnnDequantSituQuant():OP_API_UT 框架的 TestGetWorkspaceSize 只调用第一段接口,第二段需要真实 device 执行,已由上述实机用例覆盖。

4. 仓库自带样例精度回归

bash build.sh --run_example dequant_situ_quant eager cust --vendor_name=<tag> --soc=ascend910b
Test 1 (Static Quant):  PASSED
Test 2 (Dynamic Quant): PASSED
Test 2 PASSED (max_y_diff=0, max_scale_diff=0.000000)
All tests PASSED!

另:修改的源码与测试文件已通过仓库 .clang-format(clang-format 18.1.8)检查。

文档更新

无。错误码表文案保持原样,由实现侧对齐(本 PR 只改实现与 UT);docs/aclnnDequantSituQuant.md / _en.md 在上一轮已合入的同批修复中更新完毕。

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for demoauguste's contribution.)
demoaugustedemoaugusteCollaborators
4 days ago Created pull request, commit e1cd4a2b
demoaugustedemoaugusteCollaborators
4 days ago Associated issue: [Bug-Report|缺陷反馈]: aclnnDequantSituQuant 在 A2 上必选输入传空指针返回 561002,资料要求 161001,[Bug-Report|缺陷反馈]: aclnnDequantSituQuant 在 A2 上空 tensor 输入未被拦截,两段返回 0(资料要求 161002)
atomgit-bot
atomgit-bot
4 days ago Comments:

🤖 AI Code Review

⚠️ 审查未能完成

本次代码审查未能完成,可能是临时性故障。

你可以在评论区输入 /ai summary 重新发起审查。若多次失败,请联系管理员并附上下方追踪 ID。

追踪 ID: task-507905

likedislike
Incorrect?
atomgit-bot
atomgit-bot
4 days ago Comments:

🤖 AI Code Review

⚠️ 审查未能完成

本次代码审查未能完成,可能是临时性故障。

你可以在评论区输入 /ai review 重新发起审查。若多次失败,请联系管理员并附上下方追踪 ID。

追踪 ID: task-507906

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
4 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
4 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
quant ✅ 陈昊文, 王子韬 (2/2) ✅ 陈昊文 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

demoauguste, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robotCollaborators
4 days ago Set zengjuan,u010470851,chenfeng61,chaotang233,crystalhu,yangyang016,fanqirui,su-yueming,zhajianqing123,yourealize,chenqi317,wang-xing001,liubo75,tangweiwei2,wangzitao_leo,xubinglin,liujie12345678,pingchuantang,Chen_HaoWen,qianzehong,liuyang_806 as approver
CANN-robotCANN-robotCollaborators
4 days ago Set u010470851,chenfeng61,su-yueming,zhajianqing123,yourealize,wang-xing001,wangzitao_leo,xubinglin,liujie12345678,pingchuantang,Chen_HaoWen,qianzehong,liuyang_806 as approver
demoauguste
demoaugusteCollaborators
4 days ago Comments:

compile

likedislike
demoaugustedemoaugusteCollaborators
4 days ago Pre merge succeeded (commit_id: 5a4993129cbc7916510493267a2ba038ba6c6051)
CANN-robot
CANN-robotCollaborators
4 days ago Comments:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robotCollaborators
4 days ago Added label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
4 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
4 days ago Added label: ci-pipeline-passed
wangzitao
wangzitaoCollaborators
4 days ago Comments:

/lgtm

likedislike
yuning_chen
yuning_chenCollaborators
4 days ago Comments:

您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@liuyang_806 @liujie12345678 @wangzitao_leo @Chen_HaoWen @chenfeng61 @zhajianqing123 @su-yueming @yourealize @u010470851

likedislike
johan_lee
johan_leeCollaborators4 days agoStart code review1
quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp
@@ -273,0 +530,4 @@
530+{
531+ const op::Shape& xShape = x->GetViewShape();
532+ // 含未知维(-1)的动态shape无法在host侧精确推导,仅校验输出rank,交由执行阶段校验
533+ if (HasUnknownDim(xShape) || HasUnknownDim(yOut->GetViewShape()) || HasUnknownDim(yScaleOut->GetViewShape())) {
johan_lee
johan_lee4 days agoComments:

【review】
问题分类:正确性
位置:quant/dequant_situ_quant/op_host/op_api/aclnn_dequant_situ_quant.cpp:533,代码:if (HasUnknownDim(xShape) || HasUnknownDim(yOut->GetViewShape()) || HasUnknownDim(yScaleOut->GetViewShape())) {
问题:这里发现未知维就只验输出 rank,跳过了后面与维度无关的 dtype 和量化模式组合校验。例如 INT32 x=[-1,64]、weightScale=[64]、activationScale=[1]、INT8 y=[16,32]、FLOAT yScale=[16]、quantType=static,且不传 quantScale。此前第一段会拦截静态量化缺少 quantScale,本 PR 将该前置约束限于 INT8 后,这组参数会通过 CheckParams;INT32 本身仍只支持 dynamic。BF16/FP16 路径也有同一问题。
可能导致的结果:无论未知维最终取什么值,静态模式都无法执行。调用方会在更晚的内部处理或 tiling 阶段才遇到失败,无法在第一段输入校验得到明确的参数错误。
建议的修改方法:先校验 dtype 与量化模式、以及与尺寸无关的可选输入组合,再根据未知维决定是否跳过依赖具体尺寸的检查。补一条 INT32 未知维且传 static 的负向用例。

likedislike
johan_leejohan_leeCollaborators
4 days ago Resolved final issue
Chen_HaoWen
Chen_HaoWenCollaborators
4 days ago Comments:

/approve
/lgtm

likedislike
CANN-robotCANN-robotCollaborators
4 days ago Added label: lgtmapproved
CANN-robotCANN-robotCollaborators
4 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
4 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike