Closed
[Bug-Report|缺陷反馈]: DequantSwigluQuant/SwigluMxQuant golden 与 kernel 契约不一致导致 ST 误判,SwigluMxQuantWithDualAxis 缺 E2E 框架层入口 #8100
柴海伦Add on 17 days agoClosed at 17 days ago
17 days ago Added label: bug-report
17 days ago Close issue
17 days ago Added label: resolved
8 days ago Assign chenjiayi_ as responsible person
8 days ago changed custom state from 进行中 to 已完成
chenjiayi_
8 days ago Comments:
8 days ago Comments:
补充说明本问题的处理结果:
已修复并合入 master。三个算子的 golden 已补齐 Kernel/ACLNN/E2E 三层注册与独立 Torch 参考,双轴算子新增框架层入口。
修复内容(文件/函数):
quant/dequant_swiglu_quant/tests/assets/golden.py、quant/swiglu_mx_quant/tests/assets/golden.py、quant/swiglu_mx_quant_with_dual_axis/tests/assets/golden.py:改为 Torch 数学核心,补齐__spec__/__golden__/__input__注册。quant/swiglu_mx_quant_with_dual_axis/torch_extension/:新增框架层入口。- 修正 static 量化方向、quant_offset 缺省处理、group_index 语义与 packed-pair 比较轴。
验证:
- 仓内 TTK 用例 142/142 通过;ACLNN 33 例、E2E 17 例通过,合计 192/192。
- 覆盖 dstType 全集、E4M3FN 饱和、全零行、HIFLOAT8 round、mode1、分组与 3D 场景。
说明:本次变更集中在 golden 与测试入口,产品 op_host/op_kernel 代码保持原样。
该 issue 已关闭,修复已由 PR !13332 合入 master。
MR 链接:PR#13332


11 hours ago Removed responsible person chenjiayi_
Describe the current behavior / 问题描述
DequantSwigluQuant / SwigluMxQuant 两个算子
tests/assets/golden.py的测试契约与 kernel 实现不一致,导致 ST 对正确的 kernel 输出误判为精度失败;SwigluMxQuantWithDualAxis 缺少框架层入口,其 E2E 通路无法执行。dequant_swiglu_quant golden 四处契约偏差(以 master 既有
ttk_kernel_dequant_swiglu_quant.csv80 例真机复测,修复前 49/80 PASS):(X1..Xn-1, W/2)、scale 为(X1..Xn-1),golden 返回展平后的二维行视图,比较器按形状不符处理;二维输入恰好等价,高维输入暴露。op_kernel/arch35/dequant_swiglu_quant_common.h的StaticQuant*/SwigluV2SingleYWithQuantScale实际使用Reg::Div(该处注释写的是乘,与实现不符),golden 按乘实现。quant_offset为空时 golden 仍执行+0.0,而 IEEE 下-0.0 + 0.0 = +0.0,抹掉了设备保留的负零符号;kernel 只在该输入存在时才发射加法指令。该偏差只在 fp8/fp4 输出上暴露(int8 下 ±0 字节相同)。groupIndex[i]= 第 i 组的行数读取并据此推进行偏移(op_kernel/arch35/dequant_swiglu_quant_static.h:270-297),并非累积前缀;原输入钩子按累积语义归一化,且未注册到 kernel 通路,80 例中 27 例以非法 group_index 运行(超出行数之和的输出行为未初始化内存,不可比对)。swiglu_mx_quant 分组末轴 golden 的 mxscale 前导维未还原:
_torch_grouped_axis_last在展平行视图上按组量化后直接返回(rows, n_pairs, 2);四维输入(smq_19_groupi32_4d_fp4:x(2,4,32,512)对应 scale(2,4,32,4,2))与设备输出形状不符,被判 0%。swiglu_mx_quant_with_dual_axis 无框架层入口:torch_npu 无
npu_swiglu_mx_quant_with_dual_axis绑定(该类入口由 Ascend/op-plugin 提供,属跨仓),算子目录下也没有torch_extension/,E2E 通路 0/4 无法执行。dequant_swiglu_quant golden 缺三层注册导致用例集无法执行:原 golden 只注册了
__golden__.kernel,缺__spec__/__input__,TTK 落到默认通路去import tensorflow,而无 CUDA 驱动的 TF 在tensorflow/python/pywrap_tensorflow.py的 preload_check 处直接段错误,ttk_kernel_dequant_swiglu_quant80 例全部PROFILE_CRASH。Environment Information / 环境信息
Steps to reproduce the issue / 重现步骤
以 master 既有用例集复跑三个算子的 kernel 通路(参数与
scripts/ci/ops_st_test.sh一致):PROFILE_CRASH(在仓内原位单例复现一致,与 plugin 路径无关)。smq_19_groupi32_4d_fp4的 mxscale 判 0%。ttk_e2e_npu_swiglu_mx_quant_with_dual_axis_st.csv因缺少框架层入口 0/4 无法执行。Describe the expected behavior / 预期结果
golden 逐项对齐 kernel 实现的契约,使正确的 kernel 输出全部判过:
y / quant_scale,仅在quant_offset输入存在时才相加,保留设备侧负零符号;dynamic 分支保持乘;group_index按"每组行数"语义构造为恰好加总为总行数的划分,并注册到 kernel 通路;__spec__/__golden__/__input__三层注册,不依赖 TensorFlow 即可执行。Related log / screenshot / 日志 / 截图
真机复测结果(Ascend950PR_9579,CANN 9.3.0~weekly.20261028.01):
ttk_kernel_dequant_swiglu_quant.csv(80 例)ttk_kernel_dequant_swiglu_quant_mode23.csv(12 例)ttk_kernel_swiglu_mx_quant_st.csv(20 例)ttk_kernel_swiglu_mx_quant_with_dual_axis.csv/_st.csv(15 + 15 例)负零偏差的定案证据:用 dump 的真实输入回放
staticfull_mode3_int32_fp8e5m2、staticnotfull_mode3_int32_fp8e4m3两例,失配元素 100% 为 device-0.0(0x80)对 golden+0.0(0x00),约占元素总数 22%;按"offset 存在才加"修正后的公式连零的符号在内与设备逐字节 100% 一致,而 9 个候选变体(silu 不夹上限、夹双边、改用 α、加 glu_bias、乘 scale、左右互换等)命中率均在 50% 上下。static 量化方向的定案证据:真机 dump 回放除法 256/256 逐位一致,乘法仅 31/256。
Special notes for this issue/备注
本 issue 仅涉及
tests/下的 golden 测试资产与算子目录的框架层入口,不改动 op_host/op_kernel 产品代码;上述三个算子的 kernel 实现本身未发现缺陷。修复方式见关联 PR:golden 对齐上述契约、新增边界感知比对(仅当 cast 前 fp32 值扰动 ±4 ULP 能精确复现设备码时允许该元素不同,其余逐位一致),并按
torch_extension/README.md规范为双轴算子补齐仓内闭环的框架层入口。关联 PR:https://gitcode.com/cann/ops-nn/merge_requests/13332