Closed
[Documentation|文档反馈]: quant_compressor: 修正投影公式、支持目标及有效输出范围 #7204
aoye_poppyAdd on  11 days agoClosed at  4 days ago
aoye_poppy
11 days ago Create

算子:attention/quant_compressor。
源码基于 master 提交 72e64e29ed30a8a035871083055dc5645dfc2518。本 Issue 合并三项已核实的投影公式、支持目标及有效输出范围说明问题。

Issues Section / 问题文档片段

1. 投影公式遗漏输入权重 Tensor 的转置

README 第28、32行、ACLNN 第38、42行、Torch 第38、42行 的 C4A/C128A 投影公式均写为以下形式:

X_hif8 @ [WKV_hif8, WGate_hif8]

但 ACLNN 权重参数第160-176行 和 Torch 参数表第115-116行 明确将公式中的 WKV/WGate 对应输入 wkv/wgate,二者 shape 均为 [coff*D,H];X 的尾维同样为 H。

真实计算使用权重转置:

new_kv_state = np.matmul(x_fp32, hif8_to_fp32_lut(wkv.T), dtype=matmul_dtype)
new_score_state = np.matmul(x_fp32, hif8_to_fp32_lut(wgate.T), dtype=matmul_dtype)
  • Kernel 的权重寻址第236-247行 按 coffId*headDim*hSize + nOffset*hSize + hIdx 读取权重,即每个输出通道对应一行 H 个元素,与参数表的 [coff*D,H] 一致。

例如 C128A 的 H=4096、D=512、coff=1:输入 X 为 [128,4096]、wkv 为 [512,4096],直接按文档计算 X @ wkv 的矩阵内维不匹配。

【确认】输入参数 shape、真实权重寻址和 Golden 的 .T 三方一致;不是单纯依赖权重符号名称推断。

建议明确写为:

kv_state = (X_hif8 @ wkv_hif8.T) * (x_descale * wkv_descale)
score_state = (X_hif8 @ wgate_hif8.T) * (x_descale * wgate_descale)

C4A 的各半通道投影也应标明相应权重转置。三份文档同步修正,并保留原有 per-tensor/per-channel 反量化语义。

2. ACLNN 文档的“仅支持 ascend950”断言与已实现的支持目标矛盾

ACLNN 内嵌示例第522行 明确写:

QuantCompressor 仅支持 ascend950。

但当前源码还存在完整的 ascend960dt/DAV_9201 路径:

【确认】这是注册、Tiling 分发与 Kernel 实现均贯通的目标,不是未使用的注册占位。上述“仅支持 ascend950”断言已过时。这里严格沿用源码目标名称,不自行将内部 target 映射到未经核对的市场产品系列。

建议删除或修正该“仅支持”注释,并按实际支持的源码目标核对、同步产品支持说明。

3. 输出只说明容量和 pad,未说明有效行数及剩余行未初始化

README 第234、239行、ACLNN 第326、447、452行 及 Torch 返回值表第135行 给出输出容量:

BSH: [B,ceil(S/cmp_ratio),D]
TH:  [min(T,T//cmp_ratio+B),D]

文档仅以 compressed_tokens + pad 描述拼接,没有给出每个 batch 的有效输出行数,也没有说明 pad 行没有被初始化。

真实有效行数为:

used[b] = seqused[b]                         # 提供 seqused 时
used[b] = 当前 batch 的输入长度              # 未提供 seqused 时
n[b] = floor((start_pos[b]+used[b])/cmp_ratio)
       - floor(start_pos[b]/cmp_ratio)

实现证据:

最小边界示例:B=1、S=1、cmp_ratio=4、start_pos=0、used=1。输出容量为 ceil(1/4)=1,但有效行数为 floor(1/4)-floor(0/4)=0。返回 Tensor 的 shape 仍为 [1,1,D],该行没有压缩结果被写回,不能作为有效输出读取,也不能假定为零。

【确认】已全文检查三份文档,没有其他位置定义有效行数或未初始化尾行的语义。容量分配、完成组计数、零组跳过和实际写回范围形成完整证据链;此处不把尚未完成的组说成会产生有效的压缩输出。

建议三份文档补充 n[b] 公式,说明 BSH 的有效前缀和 TH 的跨 batch 连续拼接规则,并明确剩余 padding 行数值未定义,调用方只能使用有效范围。

Existing Issues / 影响及验证

第一项会使读者按参数表重建投影运算时出现矩阵维度不匹配;第二项使调用者误判已有源码目标的支持范围;第三项使调用者无法从返回 shape 判断哪些行是有效结果,可能将未初始化尾行送入后续计算。

验证方式为当前源码提交的文档、参数 shape、OpDef/Tiling/Kernel、Torch 分配代码及维护 Golden 交叉核对,并静态复算矩阵维度和完成组数量。未运行 SDK/NPU,不声称已实机验证任何目标或观察到特定错误输出。

likedislike
周云飞
周云飞Collaborators
11 days ago Comments:

问题说明

按报告中的参数形状和静态核对结果,三项反馈涉及文档准确性:投影公式缺少权重转置;“仅支持 ascend950”与已有架构分发不符;输出容量没有区分有效结果与未写入的尾行。其中,DAV_9201 的 Tiling 分发可以确认,但不能据此直接推定市场产品或 SDK 的完整支持范围。

处理建议

建议同步调整 README、ACLNN 和 Torch 文档:

  • C4A/C128A 投影明确使用 wkv.T、wgate.T,保留原有逐张量、逐通道反量化语义。
  • 修正“仅支持”表述,区分源码目标与经验证的产品支持范围。
  • 补充有效行数 n[b]=floor((start_pos[b]+used[b])/cmp_ratio)-floor(start_pos[b]/cmp_ratio);used[b] 取 seqused[b],未提供时取该 batch 输入长度。按报告描述,BSH 每个 batch 使用前 n[b] 行,TH 按 batch 连续拼接有效结果;其余行不能作为有效输出,也不能假定为零。

验证重点是投影维度、跨压缩组边界的计数,以及有效行数为零时的输出说明。

likedislike
周云飞周云飞Collaborators
11 days ago Assign wangss21 as responsible person
CANN-robotCANN-robotCollaborators
4 days ago Close issue
CANN-robotCANN-robotCollaborators
4 days ago changed custom state from 进行中 to 已完成
周云飞
周云飞Collaborators
4 days ago Comments:

PR #15541 已合入,对 QuantCompressor 做了以下调整:

  • 修正中英文文档中 C4A、C128A 投影公式的权重转置。
  • 调整调用示例中的 blockNum,使 state_cache 的块数增加 1。

这些调整涉及文档和示例,未修改算子实现。

关联 PR:PR #15541

likedislike
CANN-robotCANN-robotCollaborators
4 days ago Added label: resolved