Merged
test(quant): 补齐 dequant_swiglu_quant/swiglu_mx_quant/dual_axis 的 golden 通路并修正契约偏差 #13332
test(quant): 补齐 dequant_swiglu_quant/swiglu_mx_quant/dual_axis 的 golden 通路并修正契约偏差 #13332
Merged
柴海伦Add on 19 days ago
柴海伦
柴海伦Collaborators
19 days ago

本 MR 只取 !13055 中 golden 相关的内容(原提交 0922bd5ec80ae81657008261abb5a977ba4f2740),并附本次复核发现的修复;用例 CSV 等其余测试资产不在本 MR 范围内,另行提交。分支基线为最新 master(a429215a3)。


描述

补齐 DequantSwigluQuant / SwigluMxQuant / SwigluMxQuantWithDualAxis 三个算子 golden 的 Kernel/ACLNN/E2E 三层注册与独立 Torch 参考,修复复核中发现的 golden 契约偏差,并为双轴算子补齐框架层入口。

改动文件(6 项,无 op_host/op_kernel 产品代码改动)

类型 文件
修改 quant/dequant_swiglu_quant/tests/assets/golden.py
修改 quant/swiglu_mx_quant/tests/assets/golden.py
修改 quant/swiglu_mx_quant_with_dual_axis/tests/assets/golden.py
新增 quant/swiglu_mx_quant_with_dual_axis/torch_extension/(3 个文件,框架层入口)

1. 三算子 golden 迁移为 Torch 数学核心

以 F.silu/sigmoid/clamp/amax/log2/位运算为数学核心,NumPy 仅保留 E8M0 字节编码、FP4 nibble 打包与 pair/interleave 布局桥接;__spec__/__golden__/__input__ 三层注册:3 个 Kernel/GEIR Spec + 4 个 ACLNN API(aclnnDequantSwigluQuant、aclnnDequantSwigluQuantV2、aclnnSwigluMxQuant、aclnnSwigluMxQuantWithDualAxis)+ 3 个 E2E 入口;每算子附一个纯 Torch 组合的 third_party 参考(与 golden 零复用)。

compare 为逐输出逐 dtype 标准:fp8 按 requant(1 LSB)、fp4 与 E8M0 按字节 binary、scale 按 fp32、分组仅比较有效行。同时修复 swiglu_mx_quant_compare 的漏检:原实现把 packed-pair 轴索引误用于第 0 维,axis=-1 时只比较了 leading 第 0 行的 mxscale。

补齐三层注册同时解决了一个执行前提问题:dequant_swiglu_quant 原 golden 只注册了 __golden__.kernel,缺 __spec__/__input__,TTK 会落到默认通路去 import tensorflow,而本机无 CUDA 驱动的 TF 在 tensorflow/python/pywrap_tensorflow.py 的 preload_check 处直接段错误,ttk_kernel_dequant_swiglu_quant 80 例全部 PROFILE_CRASH(以仓内原位单例复现一致,与 plugin 路径无关)。补齐注册后该用例集可正常执行。

2. 本次复核新增的修复

2.1 dequant_swiglu_quant golden 的四处契约偏差

以 master 既有的 ttk_kernel_dequant_swiglu_quant 用例集(80 例)真机复测,修复前 49/80 PASS,逐例定位到四个根因:

  • N 维输出形状未还原:设备侧 y 为 (X1..Xn-1, W/2)、scale 为 (X1..Xn-1),golden 返回的是展平后的二维行视图;末轴与分组两条分支均补齐形状还原。
  • static 量化方向相反:op_kernel/arch35/dequant_swiglu_quant_common.h 的 StaticQuant*/SwigluV2SingleYWithQuantScale 实际使用 Reg::Div(注释写的是乘,与实现不符)。真机 dump 回放验证:除法 256/256 逐位一致,乘法仅 31/256。static 分支改为 y / quant_scale(dynamic 分支仍为乘,已逐位复核)。
  • static 的 quant_offset 在缺省时被无条件相加:quant_offset 为空时 golden 仍执行 +0.0,而 IEEE 下 -0.0 + 0.0 = +0.0,抹掉了设备保留的负零符号;kernel 只在该输入存在时才发射加法指令(dequant_swiglu_quant_common.h 的 StaticQuant* 只有 Reg::Div),golden 同步改为存在才加。该偏差只在 fp8/fp4 输出上暴露(int8 下 ±0 字节相同),表现为 mode23 中 static+mode3+fp8 两例约 22% 元素字节不等。用 dump 的真实输入回放定案:修正后的公式连零的符号在内与设备逐字节 100% 一致,而 9 个候选变体(silu 不夹上限、夹双边、改用 α、加 glu_bias、乘 scale、左右互换等)命中率均在 50% 上下。
  • group_index 语义:kernel 按 groupIndex[i] = 第 i 组的行数读取(dequant_swiglu_quant_static.h:270-297),并非累积前缀;原 hook 按累积语义归一化,且未注册到 kernel 通路,导致 80 例中 27 例以非法 group_index 运行。新增 _group_row_counts 与 dequant_swiglu_quant_kernel_input,经 DequantSwigluQuantKernelSpec.customize_inputs 注册。

边界感知比对:新增 _quant_boundary_compare,仅当把 cast 前的 fp32 值扰动 ±4 ULP 能精确复现设备码时才允许该元素不同,其余元素要求逐位一致(FP4 为 nibble 打包,按字节比对),用于吸收设备 vexp/vdiv 非正确舍入(约 1ulp)在量化边界的翻转。实测 >99.99% 的元素承担零容差(某例 527952/528000 元素完全稳定);注入扰动的负例均能报 FAIL。

修复后真机 80/80 PASS,ttk_kernel_dequant_swiglu_quant_mode23(12 例)12/12 PASS。

2.2 swiglu_mx_quant golden 分组末轴 mxscale 形状未还原

_torch_grouped_axis_last 在展平行视图上按组量化后直接返回 (rows, n_pairs, 2),未还原前导维;二维输入恰好等价,四维输入(smq_19_groupi32_4d_fp4:x (2,4,32,512) 对应 scale (2,4,32,4,2))与设备输出形状不符,比较器直接判 0%。修复后该例 y/scale 均 100%,同类分组用例 smq_17/smq_18 无回退,master 既有的 ttk_kernel_swiglu_mx_quant_st 用例集 20/20 PASS(修复前 smq_19 被判 0%)。

2.3 双轴算子的框架层入口

torch_npu 无 npu_swiglu_mx_quant_with_dual_axis 绑定(该类入口由 Ascend/op-plugin 提供,属跨仓),双轴 E2E 通路无法执行。按 torch_extension/README.md 的规范在算子目录下补齐仓内闭环入口,由 torch_extension/setup.py 在打包阶段自动收集进 cann_ops_nn:

  • torch_extension/csrc/swiglu_mx_quant_with_dual_axis.cpp:ACLNN_CMD(aclnnSwigluMxQuantWithDualAxis, ...),FP4 输出用 TensorWrapper 处理 nibble 打包,scale 为 Float8_e8m0fnu,并按接口文档补齐入参校验(二维 x、末维偶数、fp16/bf16、scale_alg 0/1 且 FP4 仅支持 0、FP8 仅支持 rint、group_index 为一维 int32/int64)。
  • torch_extension/swiglu_mx_quant_with_dual_axis.py:OpBuilder 子类 + schema/meta 注册(meta 校验顺序与 C++ 一致)+ PrivateUse1 实现与 python wrapper。
  • golden 的 E2E 注册键同步改为 cann_ops_nn.swiglu_mx_quant_with_dual_axis,dst_type 同时接受 torch 枚举与 CANN 编码。

本仓现有 32 个算子带 torch_extension/,7 份 E2E CSV 走该通路,其中 rotate_quant、gemm_syrk、confidence_head_fused、inplace_cross_entropy_sum_exp_and_index_logit、add_rms_norm_dynamic_quant 这 5 个算子同样尚未进入随包快照,本改动与既有先例一致。

关联的Issue

关联Issue #8100 :https://gitcode.com/cann/ops-nn/issues/8100

测试

环境:Ascend950PR_9579(arch35)真机,安装包 CANN 9.3.0 weekly.20261028.01,torch 2.7.1+cpu / torch_npu 2.7.1.post4,TTK(ops-test-kit)。kernel 通路使用与 CI 一致的参数(-d=false -b=release --pc=N --run 1 --compare close --task-prof false --no-memory-check)。

(一)master 既有用例集 —— CI 会直接跑到,可复现

用例集 结果
ttk_kernel_dequant_swiglu_quant.csv(80 例) 80/80 PASS(修复前 49/80)
ttk_kernel_dequant_swiglu_quant_mode23.csv(12 例) 12/12 PASS
ttk_kernel_swiglu_mx_quant_st.csv(20 例) 20/20 PASS(修复 2.2 后)
ttk_kernel_swiglu_mx_quant_with_dual_axis.csv(15 例) 15/15 PASS
ttk_kernel_swiglu_mx_quant_with_dual_axis_st.csv(15 例) 15/15 PASS

合计 142 例 142/142 PASS。此前在 CANN 9.2.0 安装包上失败的 13 例(mode23 11 例、MX 2 例)为安装包落后于仓内源码所致,换装 9.3.0 weekly 包后不再复现(见阻塞项 2、3)。

(二)本地用例集 —— 验证 ACLNN/E2E 注册与 golden 正确性,CSV 不在本 MR 内

通路 用例集 结果
ACLNN aclnnDequantSwigluQuant(3 例) 3/3 PASS
ACLNN aclnnDequantSwigluQuantV2(13 例) 13/13 PASS
ACLNN aclnnSwigluMxQuant(10 例) 10/10 PASS
ACLNN aclnnSwigluMxQuantWithDualAxis(7 例) 7/7 PASS
E2E torch_npu.npu_dequant_swiglu_quant(6 例) 6/6 PASS
E2E torch_npu.npu_swiglu_mx_quant(7 例) 7/7 PASS
E2E cann_ops_nn.swiglu_mx_quant_with_dual_axis(4 例) 4/4 PASS(装 torch_extension 子包后;原为 0/4 无法执行)

以上 ACLNN 33 例、E2E 17 例均在 CANN 9.3.0 weekly.20261028.01 上复跑通过;与(一)合计 192/192。

覆盖 dstType 全集 2/34/35/36/40/41、E4M3FN 饱和定点、全零行、HIFLOAT8 round、mode1、非尾轴 activate_dim(-2/-3)、int32 大整数边界、static/dynamic × scale/offset、FP4 rint/floor/round、scale_alg 0/1、axis -1/-2、分组、3D。

已知阻塞项(环境/安装包滞后,附证据与复验条件)

  1. 双轴 E2E 入口依赖 wheel 构建:scripts/ci/ops_st_test.sh 不构建 torch_extension wheel,CANN 随包的 cann_ops_nn 快照当前只含 10 个算子、尚无本算子。复验条件(任一):CI 在 ST 前增加 build.sh --torch_extension + 安装;随包 cann_ops_nn 刷新;或在 Ascend/op-plugin 补 torch_npu.npu_swiglu_mx_quant_with_dual_axis 绑定后改回 torch_npu 入口。本地已验证 4/4 PASS(CANN 9.3.0 下复跑同样 4/4)。
  2. swiglu_mode 2/3 被安装包 tiling 拒绝 —— 已解除:仓内源码支持 0/1/2/3(dequant_swiglu_quant_tiling_arch35.cpp:776、dequant_swiglu_quant_tiling.cpp:482-485),而 CANN 9.2.0 安装包的 tiling 报 "should be 0 or 1",属安装包落后于仓内源码(该用例集在 master 上同样失败,与 golden 无关)。换装 CANN 9.3.0 weekly.20261028.01 后 ttk_kernel_dequant_swiglu_quant_mode23 12/12 PASS,已复验解除。
  3. swiglu_mx_quant 的 mode 2/3 被安装包预编译二进制按 mode 1 执行 —— 已解除:smq_10_mode2_left_4d、smq_11_mode3_bf16 两例曾在 CANN 9.2.0 上 FAIL。当时真机 dump 的定案是:tiling 数据与仓内 SwigluMxQuantTilingData 逐字段吻合(swigluMode=3、clampLimit=2.0、gluAlpha=1.702、gluBias=1.0),参数正确下发;把设备输出按每 32 元素块的 E8M0 指数反量化后与 mode 1 的奇偶交错公式逐元素吻合,与 mode 3 的前后半 split 公式不符(8% 相对容差下吻合率 50.9% vs 0.5%),即安装包预编译二进制未包含 mode 2/3 实现;master 旧 golden 的 mode 2/3 同样是 split 写法,故这 2 例在 master 上也失败。换装 CANN 9.3.0 weekly.20261028.01 后两例 PASS,该用例集 20/20,已复验解除。
  4. TensorFlow / GPU 三方对照不适用:全仓仅 index/inplace_sub 有 1 份 TF E2E CSV;tf.raw_ops 没有 SwiGLU/MX-quant 融合算子,无法构造对应入口,故 golden 不虚构 TF 注册。本机 TF 报 "Could not find cuda drivers",无 GPU 设备,ops-nn CI 亦无 GPU。

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for 柴海伦's contribution.)
柴海伦柴海伦Collaborators
19 days ago Created pull request, commit d6eca1dc
柴海伦柴海伦Collaborators
19 days ago Associated issue: [Requirement|需求建议]: HardSwish算子AscendC实现贡献,[Bug-Report|缺陷反馈]: fake_quant_affine_cachemask kernel文件存在冗余头文件cmath,[Bug-Report|缺陷反馈]: softmax_cross_entropy_with_logits算子编译告警,[Question|问题咨询]: 为什么我编译报错
atomgit-bot
atomgit-bot
19 days ago Comments:

🤖 正在生成合并请求摘要,请稍候…

likedislike
Incorrect?
atomgit-bot
atomgit-bot
19 days ago Comments:

🤖 AI 代码检视正在进行中,请稍候…

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
19 days ago Added label: cann-cla/yes
76 messages are collapsed here。 See more
chenfeng
chenfengCollaborators
17 days ago Comments:

/lgtm
/approve

likedislike
CANN-robotCANN-robotCollaborators
17 days ago Added label: lgtmapproved
CANN-robotCANN-robotCollaborators
17 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
17 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
17 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike