Closed
[Documentation|文档反馈]: quant_compressor: 修正投影公式、支持目标及有效输出范围 #7204
aoye_poppyAdd on 11 days agoClosed at 4 days ago
周云飞
11 days ago Comments:
11 days ago Comments:
问题说明
按报告中的参数形状和静态核对结果,三项反馈涉及文档准确性:投影公式缺少权重转置;“仅支持 ascend950”与已有架构分发不符;输出容量没有区分有效结果与未写入的尾行。其中,DAV_9201 的 Tiling 分发可以确认,但不能据此直接推定市场产品或 SDK 的完整支持范围。
处理建议
建议同步调整 README、ACLNN 和 Torch 文档:
- C4A/C128A 投影明确使用
wkv.T、wgate.T,保留原有逐张量、逐通道反量化语义。 - 修正“仅支持”表述,区分源码目标与经验证的产品支持范围。
- 补充有效行数
n[b]=floor((start_pos[b]+used[b])/cmp_ratio)-floor(start_pos[b]/cmp_ratio);used[b]取seqused[b],未提供时取该 batch 输入长度。按报告描述,BSH 每个 batch 使用前n[b]行,TH 按 batch 连续拼接有效结果;其余行不能作为有效输出,也不能假定为零。
验证重点是投影维度、跨压缩组边界的计数,以及有效行数为零时的输出说明。


11 days ago Assign wangss21 as responsible person
4 days ago Close issue
4 days ago changed custom state from 进行中 to 已完成
4 days ago Added label: resolved
Document Link / 文档链接
算子:
attention/quant_compressor。源码基于 master 提交
72e64e29ed30a8a035871083055dc5645dfc2518。本 Issue 合并三项已核实的投影公式、支持目标及有效输出范围说明问题。Issues Section / 问题文档片段
1. 投影公式遗漏输入权重 Tensor 的转置
README 第28、32行、ACLNN 第38、42行、Torch 第38、42行 的 C4A/C128A 投影公式均写为以下形式:
但 ACLNN 权重参数第160-176行 和 Torch 参数表第115-116行 明确将公式中的 WKV/WGate 对应输入 wkv/wgate,二者 shape 均为
[coff*D,H];X 的尾维同样为 H。真实计算使用权重转置:
coffId*headDim*hSize + nOffset*hSize + hIdx读取权重,即每个输出通道对应一行 H 个元素,与参数表的[coff*D,H]一致。例如 C128A 的 H=4096、D=512、coff=1:输入 X 为
[128,4096]、wkv 为[512,4096],直接按文档计算X @ wkv的矩阵内维不匹配。【确认】输入参数 shape、真实权重寻址和 Golden 的
.T三方一致;不是单纯依赖权重符号名称推断。建议明确写为:
C4A 的各半通道投影也应标明相应权重转置。三份文档同步修正,并保留原有 per-tensor/per-channel 反量化语义。
2. ACLNN 文档的“仅支持 ascend950”断言与已实现的支持目标矛盾
ACLNN 内嵌示例第522行 明确写:
但当前源码还存在完整的
ascend960dt/DAV_9201路径:AddConfig("ascend960dt", aicore_config)。TilingQuantCompressorArch92。__NPU_ARCH__ == 9201时包含 arch92 Kernel;第41-43、58-63行 具有对应任务配置及实际 Kernel 调用路径。【确认】这是注册、Tiling 分发与 Kernel 实现均贯通的目标,不是未使用的注册占位。上述“仅支持 ascend950”断言已过时。这里严格沿用源码目标名称,不自行将内部 target 映射到未经核对的市场产品系列。
建议删除或修正该“仅支持”注释,并按实际支持的源码目标核对、同步产品支持说明。
3. 输出只说明容量和 pad,未说明有效行数及剩余行未初始化
README 第234、239行、ACLNN 第326、447、452行 及 Torch 返回值表第135行 给出输出容量:
文档仅以
compressed_tokens + pad描述拼接,没有给出每个 batch 的有效输出行数,也没有说明 pad 行没有被初始化。真实有效行数为:
实现证据:
compressorScCnt > 0时计算并写回输出。compressedCnt_连续写入各 batch 的有效结果。at::empty分配输出,没有整体初始化。最小边界示例:B=1、S=1、cmp_ratio=4、start_pos=0、used=1。输出容量为
ceil(1/4)=1,但有效行数为floor(1/4)-floor(0/4)=0。返回 Tensor 的 shape 仍为[1,1,D],该行没有压缩结果被写回,不能作为有效输出读取,也不能假定为零。【确认】已全文检查三份文档,没有其他位置定义有效行数或未初始化尾行的语义。容量分配、完成组计数、零组跳过和实际写回范围形成完整证据链;此处不把尚未完成的组说成会产生有效的压缩输出。
建议三份文档补充 n[b] 公式,说明 BSH 的有效前缀和 TH 的跨 batch 连续拼接规则,并明确剩余 padding 行数值未定义,调用方只能使用有效范围。
Existing Issues / 影响及验证
第一项会使读者按参数表重建投影运算时出现矩阵维度不匹配;第二项使调用者误判已有源码目标的支持范围;第三项使调用者无法从返回 shape 判断哪些行是有效结果,可能将未初始化尾行送入后续计算。
验证方式为当前源码提交的文档、参数 shape、OpDef/Tiling/Kernel、Torch 分配代码及维护 Golden 交叉核对,并静态复算矩阵维度和完成组数量。未运行 SDK/NPU,不声称已实机验证任何目标或观察到特定错误输出。