已关闭
[Documentation|文档反馈]: compressor: 修正投影公式、A2/A3 gradEnabled 限制及有效输出范围 #7202
aoye_poppy创建于  11 天前关闭于  4 天前
aoye_poppy
11 天前 创建

算子:attention/compressor。
源码基于 master 提交 72e64e29ed30a8a035871083055dc5645dfc2518。本 Issue 合并三项已确认的文档契约问题:投影公式中的权重转置、A2/A3 的 gradEnabled 支持说明,以及输出容量与有效结果范围。

Issues Section / 问题文档片段

1. 投影公式遗漏存储权重的转置

README 第26、30行、ACLNN 第36、40行及 Torch 第36、40行都把投影写成 X @ W 的形式,例如 ACLNN 第40行:

[kv_state, score_state] = X @ [W^KV, W^Gate]

而同一文档 第156-172行 明确将 wkv、wgate 绑定为公式中的权重,二者的输入 shape 均为 [coff*D,H];Torch 参数表第107-108行 也给出相同 shape。

真实投影使用这些输入权重的转置。维护的 Golden 第466-467行 明确执行:

new_kv_state = np.matmul(x, wkv.T, dtype=matmul_dtype)
new_score_state = np.matmul(x, wgate.T, dtype=matmul_dtype)

另一 Golden 路径第786-787行 相同;Kernel 权重搬运第248-257行 按 coffId*D*H + d*H + h 寻址,对应输入权重的 [coff*D,H] 排布。

以 C128A 为例,X 为 [B,S,4096]、wkv 为 [512,4096]:直接 X @ wkv 的矩阵内维4096与512不匹配,X @ wkv.T 才能得到 [B,S,512]。

【确认】参数表已经把公式符号与具体输入权重关联,且真实投影和维度关系均要求转置,不能将存储输入直接代入现有公式。

建议在三份文档中明确写为 KV = X @ wkv.T、Gate = X @ wgate.T;若继续使用分支权重符号,也应明确各切片的 shape 及其转置关系。

2. README 对 A2/A3 的 gradEnabled 限制已经过时

README 第214-216行 在 A2/A3 产品说明下写:

gradEnabled不支持为true。

但当前仓库对应的 arch22 实现已贯通中间结果导出:

【确认】当前实现包含产品对应的参数检查、模板选择、Kernel 写出及测试证据,不只是存在未使用的枚举或放宽了单个检查。

建议删除 README 中这条过时的禁止说明,改为说明开启后应提供匹配规格的 FLOAT 中间输出。这里核实的是当前仓库中间结果导出路径,不扩展为声称已实机验证完整训练或反向传播流程。

3. 输出说明没有区分分配容量、有效行数与未赋值尾行

README 第227、232行、ACLNN 第457、462行 和 Torch 返回值第127行 仅列出输出容量及 compressed_tokens + pad 的拼接方式,未定义每批有效结果数量,也未说明其余尾部行是否可用。

例如 BSH 输出容量为 [B,ceil(S/cmp_ratio),D],但计算只写已经完成的压缩组:

floor((start_pos + seq_used) / cmp_ratio) - floor(start_pos / cmp_ratio)

一个非空的边界例子是 B=1、S=1、cmp_ratio=4、start_pos=[0],不传 seqused(使用输入长度):输出容量仍为1行,但完成组数为0,该行没有被压缩结果写入。其余维度可以选用合法的 H=4096、D=128、coff=1 以及足够的缓存和合法块表。

【确认】这是源码中分配容量与实际写回范围不同,不依赖某次未初始化内存的具体数值;本项不声称已观察到某个特定的 NPU 垃圾值。

建议在 README、ACLNN 和 Torch 返回值说明中补充:

r = cmp_ratio
used[b] = seqused[b];未传时为该 batch 的输入序列长度
n[b] = floor((start_pos[b] + used[b]) / r) - floor(start_pos[b] / r)

BSH 的有效结果位于每批输出的前 n[b] 行;TH 按 batch 顺序连续拼接有效结果,总有效范围为前 sum(n[b]) 行。其余分配容量中的尾行未由算子初始化或赋值,调用者不应把它们作为有效压缩结果或默认零填充使用。

Existing Issues / 影响及验证

上述问题分别会使调用者按存储权重错误复现投影、误判 A2/A3 的中间输出能力,以及把未完成压缩组的输出容量误当作有效数据消费。

验证方式为当前源码版本的文档、参数 shape、Tiling、Kernel、Torch 分配与写回、维护 Golden 和 UT 的交叉核对。未运行 CANN/NPU 测试,不声称已观察到实机报错、验证了所有产品路径,或执行了完整训练流程。

likedislike
周云飞
周云飞成员
11 天前 评论:

问题说明

按您提供的权重形状 [coff*D,H],投影应使用 X @ wkv.T 和 X @ wgate.T,否则矩阵内维不匹配。您列出的中间结果导出路径和输出写回范围,也为另外两项文档调整提供了依据;这些证据不等同于完整训练流程或所有产品路径的实机验证。

处理建议

建议同步调整 README、ACLNN 和 Torch 文档:

  • 修正投影公式,并明确公式符号与输入权重、切片形状的对应关系。
  • 针对报告版本的 A2/A3 路径,核对后将禁止 gradEnabled=true 的说明改为中间结果导出的适用条件,注明 FLOAT 输出的规格要求。
  • 区分输出容量与有效结果。令 r=cmp_ratio,used[b] 为 seqused[b],未传时取该批输入长度;有效行数为 n[b]=floor((start_pos[b]+used[b])/r)-floor(start_pos[b]/r)。明确 BSH 每批前 n[b] 行、TH 连续拼接的前 sum(n[b]) 行有效,尾行不能当作有效结果或默认零填充使用。重点核对无完成组和跨组边界的说明。
likedislike
周云飞周云飞成员
11 天前 将 wangss21 设为负责人
CANN-robotCANN-robot成员
4 天前 关闭了 issue
CANN-robotCANN-robot成员
4 天前 issue状态由 进行中 改变为 已完成
周云飞
周云飞成员
4 天前 评论:

PR #15541 已更新 Compressor 文档和示例:

  • 修正 C4A、C128A 投影公式,为权重矩阵补充转置。
  • 补充 cmpKvOut 在 BS 合轴和非合轴场景下的有效输出范围,说明其余尾行不写入。
  • 调整示例中的 blockNum,修正 state_cache 范围。

本次涉及文档和示例,未修改算子源码。

关联 PR:PR #15541

likedislike
CANN-robotCANN-robot成员
4 天前 添加了label:resolved