Closed
[Bug-Report|缺陷反馈]: DequantSwigluQuant/SwigluMxQuant golden 与 kernel 契约不一致导致 ST 误判,SwigluMxQuantWithDualAxis 缺 E2E 框架层入口 #8100
柴海伦Add on  17 days agoClosed at  17 days ago
柴海伦
柴海伦Collaborators
17 days ago Create

Describe the current behavior / 问题描述

DequantSwigluQuant / SwigluMxQuant 两个算子 tests/assets/golden.py 的测试契约与 kernel 实现不一致,导致 ST 对正确的 kernel 输出误判为精度失败;SwigluMxQuantWithDualAxis 缺少框架层入口,其 E2E 通路无法执行。

  1. dequant_swiglu_quant golden 四处契约偏差(以 master 既有 ttk_kernel_dequant_swiglu_quant.csv 80 例真机复测,修复前 49/80 PASS):

    • N 维输出形状未还原:设备侧 y 为 (X1..Xn-1, W/2)、scale 为 (X1..Xn-1),golden 返回展平后的二维行视图,比较器按形状不符处理;二维输入恰好等价,高维输入暴露。
    • static 量化方向相反:op_kernel/arch35/dequant_swiglu_quant_common.h 的 StaticQuant*/SwigluV2SingleYWithQuantScale 实际使用 Reg::Div(该处注释写的是乘,与实现不符),golden 按乘实现。
    • static 的 quant_offset 在缺省时被无条件相加:quant_offset 为空时 golden 仍执行 +0.0,而 IEEE 下 -0.0 + 0.0 = +0.0,抹掉了设备保留的负零符号;kernel 只在该输入存在时才发射加法指令。该偏差只在 fp8/fp4 输出上暴露(int8 下 ±0 字节相同)。
    • group_index 语义理解错误:kernel 按 groupIndex[i] = 第 i 组的行数读取并据此推进行偏移(op_kernel/arch35/dequant_swiglu_quant_static.h:270-297),并非累积前缀;原输入钩子按累积语义归一化,且未注册到 kernel 通路,80 例中 27 例以非法 group_index 运行(超出行数之和的输出行为未初始化内存,不可比对)。
  2. swiglu_mx_quant 分组末轴 golden 的 mxscale 前导维未还原:_torch_grouped_axis_last 在展平行视图上按组量化后直接返回 (rows, n_pairs, 2);四维输入(smq_19_groupi32_4d_fp4:x (2,4,32,512) 对应 scale (2,4,32,4,2))与设备输出形状不符,被判 0%。

  3. swiglu_mx_quant_with_dual_axis 无框架层入口:torch_npu 无 npu_swiglu_mx_quant_with_dual_axis 绑定(该类入口由 Ascend/op-plugin 提供,属跨仓),算子目录下也没有 torch_extension/,E2E 通路 0/4 无法执行。

  4. dequant_swiglu_quant golden 缺三层注册导致用例集无法执行:原 golden 只注册了 __golden__.kernel,缺 __spec__/__input__,TTK 落到默认通路去 import tensorflow,而无 CUDA 驱动的 TF 在 tensorflow/python/pywrap_tensorflow.py 的 preload_check 处直接段错误,ttk_kernel_dequant_swiglu_quant 80 例全部 PROFILE_CRASH。

Environment Information / 环境信息

  • 昇腾硬件型号:Ascend950PR_9579(arch35)
  • CANN 版本:9.3.0~weekly.20261028.01(偏差 1-4 在 9.2.0 上同样复现)
  • Python 版本:3.12.9;torch 2.7.1+cpu / torch_npu 2.7.1.post4
  • 测试框架:TTK(ops-test-kit),kernel 通路参数与 CI 一致

Steps to reproduce the issue / 重现步骤

以 master 既有用例集复跑三个算子的 kernel 通路(参数与 scripts/ci/ops_st_test.sh 一致):

python3 -m ttk kernel -i quant/dequant_swiglu_quant/tests/st/arch35/ttk_kernel_dequant_swiglu_quant.csv \
    --plugin quant/dequant_swiglu_quant/tests \
    -d=false -b=release --pc=16 --run 1 --compare close --task-prof false --no-memory-check
python3 -m ttk kernel -i quant/swiglu_mx_quant/tests/st/arch35/ttk_kernel_swiglu_mx_quant_st.csv \
    --plugin quant/swiglu_mx_quant/tests -d=false -b=release --pc=16 --run 1 --compare close --task-prof false --no-memory-check
  • 偏差 4:直接以 master 的 golden 运行上述第一条命令,80 例全部 PROFILE_CRASH(在仓内原位单例复现一致,与 plugin 路径无关)。
  • 偏差 1-3:补齐三层注册后再跑,80 例 49 PASS,失败集中在高维输入、static 量化、带 group_index 的用例。
  • 偏差 2(MX):smq_19_groupi32_4d_fp4 的 mxscale 判 0%。
  • 偏差 3(双轴):ttk_e2e_npu_swiglu_mx_quant_with_dual_axis_st.csv 因缺少框架层入口 0/4 无法执行。

Describe the expected behavior / 预期结果

golden 逐项对齐 kernel 实现的契约,使正确的 kernel 输出全部判过:

  • y/scale 还原输入的前导维,末轴与分组两条分支一致;
  • static 量化为 y / quant_scale,仅在 quant_offset 输入存在时才相加,保留设备侧负零符号;dynamic 分支保持乘;
  • group_index 按"每组行数"语义构造为恰好加总为总行数的划分,并注册到 kernel 通路;
  • MX 分组末轴 golden 的 mxscale 还原前导维;
  • 双轴算子具备可执行的 E2E 入口;
  • golden 完成 __spec__/__golden__/__input__ 三层注册,不依赖 TensorFlow 即可执行。

Related log / screenshot / 日志 / 截图

真机复测结果(Ascend950PR_9579,CANN 9.3.0~weekly.20261028.01):

用例集 修复前 修复后
ttk_kernel_dequant_swiglu_quant.csv(80 例) 49/80(master golden 下为 80 例 PROFILE_CRASH) 80/80
ttk_kernel_dequant_swiglu_quant_mode23.csv(12 例) 10/12 12/12
ttk_kernel_swiglu_mx_quant_st.csv(20 例) 19/20 20/20
ttk_kernel_swiglu_mx_quant_with_dual_axis.csv / _st.csv(15 + 15 例) 15/15 + 15/15 15/15 + 15/15
双轴 E2E(4 例) 0/4(无入口) 4/4

负零偏差的定案证据:用 dump 的真实输入回放 staticfull_mode3_int32_fp8e5m2、staticnotfull_mode3_int32_fp8e4m3 两例,失配元素 100% 为 device -0.0(0x80)对 golden +0.0(0x00),约占元素总数 22%;按"offset 存在才加"修正后的公式连零的符号在内与设备逐字节 100% 一致,而 9 个候选变体(silu 不夹上限、夹双边、改用 α、加 glu_bias、乘 scale、左右互换等)命中率均在 50% 上下。

static 量化方向的定案证据:真机 dump 回放除法 256/256 逐位一致,乘法仅 31/256。

Special notes for this issue/备注

本 issue 仅涉及 tests/ 下的 golden 测试资产与算子目录的框架层入口,不改动 op_host/op_kernel 产品代码;上述三个算子的 kernel 实现本身未发现缺陷。

修复方式见关联 PR:golden 对齐上述契约、新增边界感知比对(仅当 cast 前 fp32 值扰动 ±4 ULP 能精确复现设备码时允许该元素不同,其余逐位一致),并按 torch_extension/README.md 规范为双轴算子补齐仓内闭环的框架层入口。

关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13332

likedislike
柴海伦柴海伦Collaborators
17 days ago Added label: bug-report
CANN-robotCANN-robotCollaborators
17 days ago Close issue
CANN-robotCANN-robotCollaborators
17 days ago Added label: resolved
chenjiayi_chenjiayi_Collaborators
8 days ago Assign chenjiayi_ as responsible person
CANN-robotCANN-robotCollaborators
8 days ago changed custom state from 进行中 to 已完成
chenjiayi_
chenjiayi_Collaborators
8 days ago Comments:

补充说明本问题的处理结果:

已修复并合入 master。三个算子的 golden 已补齐 Kernel/ACLNN/E2E 三层注册与独立 Torch 参考,双轴算子新增框架层入口。

修复内容(文件/函数):

  • quant/dequant_swiglu_quant/tests/assets/golden.py、quant/swiglu_mx_quant/tests/assets/golden.py、quant/swiglu_mx_quant_with_dual_axis/tests/assets/golden.py:改为 Torch 数学核心,补齐 __spec__ / __golden__ / __input__ 注册。
  • quant/swiglu_mx_quant_with_dual_axis/torch_extension/:新增框架层入口。
  • 修正 static 量化方向、quant_offset 缺省处理、group_index 语义与 packed-pair 比较轴。

验证:

  • 仓内 TTK 用例 142/142 通过;ACLNN 33 例、E2E 17 例通过,合计 192/192。
  • 覆盖 dstType 全集、E4M3FN 饱和、全零行、HIFLOAT8 round、mode1、分组与 3D 场景。

说明:本次变更集中在 golden 与测试入口,产品 op_host/op_kernel 代码保持原样。

该 issue 已关闭,修复已由 PR !13332 合入 master。

MR 链接:PR#13332

likedislike
chenjiayi_chenjiayi_Collaborators
11 hours ago Removed responsible person chenjiayi_