已关闭
[Documentation|文档反馈]: compressor: 修正示例缓存容量及测试安装命令 #7203
aoye_poppy创建于  11 天前关闭于  4 天前
aoye_poppy
11 天前 创建

算子:attention/compressor。
源码基于 master 提交 72e64e29ed30a8a035871083055dc5645dfc2518。本 Issue 合并已确认的 ACLNN 示例缓存容量错误和测试安装命令错误。

Issues Section / 问题文档片段

1. 三份 ACLNN 示例生成的物理块编号超出分配的缓存范围

普通示例第125-126行、A5示例第126-127行 和 内嵌示例第627-628行 都使用如下逻辑:

int64_t maxBlockNumPerBatch = (Smax + blockSize - 1) / blockSize;
int64_t blockNum = B * maxBlockNumPerBatch;
// 使用该 blockNum 构造 stateCacheShape
std::vector<int64_t> stateCacheShape = {blockNum, blockSize, 2 * coffD};

但物理块编号从1开始生成:普通示例第157-158行、A5示例第158-159行、内嵌示例第659-660行:

for (int64_t i = 0; i < B * maxBlockNumPerBatch; i++) {
    stateBlockTableHostData.push_back(static_cast<int32_t>(i + 1));
}

三份示例的默认参数都是 B=1、Smax=S=4、blockSize=128,因此可静态直接算出:

maxBlockNumPerBatch = ceil(4/128) = 1
blockNum = 1
stateCacheShape = [1,128,2048]
stateBlockTable = [[1]]
实际分配的物理块索引范围:[0,1),即只有0
表项1不在该范围内

同一 ACLNN 文档第487行 明确要求 stateBlockTableOptional 的元素处于 [0,block_num),且连续 buffer 模式的0是“未分配”哨兵、非零编号用于有效映射。示例预留了编号0,却没有为它在缓存分配数量中留出位置。

【确认】这里由示例常量、真实分配 shape 和同文档明确的索引范围共同证明输入不符合约束;不声称已观察到该 S=4 整组调用在 NPU 上发生越界或错误输出。

建议保留从1开始的物理编号时,将分配数量改为 B * maxBlockNumPerBatch + 1,或根据实际映射表的最大编号加1分配。对默认例子应分配2个物理块。三份 ACLNN 示例同步修正;Torch 示例第227行 已正确使用 max(block_table)+1 分配,可作为一致性参考。

2. 测试 README 中安装命令使用了不匹配当前产物的文件名

tests/pytest/README.md 第38-40行:

bash build.sh --pkg --soc=${SOC} --ops=compressor --vendor_name=cmpbit -j16
# 产物: build_out/custom_opp_*.run,安装到CANN vendors目录(交互确认即可)
bash build_out/custom_opp_*.run --install-path=${CANN_PATH}/latest

而当前 cmake/custom_build.cmake 第1344行 明确设置:

set(CPACK_PACKAGE_FILE_NAME "cann-ops-transformer-${VENDOR_NAME}_linux-${ARCH}.run")

另一打包入口 cmake/package.cmake 第28-30行 也使用 cann-ops-transformer-... 前缀:

set(PACK_CUSTOM_NAME "cann-ops-transformer-${VENDOR_NAME}-linux-${ARCH}")
npu_op_package(${PACK_CUSTOM_NAME}
  TYPE RUN

例如 cann-ops-transformer-cmpbit_linux-aarch64.run 无法被 custom_opp_*.run 匹配。因此在只使用本次构建产物的环境中,文档给出的安装命令无法找到要安装的文件。

【确认】已对照实际构建命名配置,并用标准库文件名匹配复算;不依赖旧版本包是否恰好残留在 build_out 中。这里未声称已实际运行构建或安装。

建议把产物说明与安装命令同步改为本次实际生成的 cann-ops-transformer-...run 路径,明确选取 cmpbit 对应的包。

Existing Issues / 影响及验证

第一项使照抄示例的调用者构造出超出 cache 分配范围的块映射;第二项会使测试环境搭建停在算子包安装步骤。

验证方式:示例与文档约束交叉核对、缓存数量和索引的标准库静态计算、打包配置与文件名匹配检查。未修改源码,未运行 CANN/NPU、构建或安装。

likedislike
周云飞
周云飞成员
11 天前 评论:

问题说明

按报告中的代码片段与文档约束,缓存容量和安装包匹配规则均存在不一致。默认示例只分配1个物理块,有效索引为0,但映射表填入1,不满足 [0, block_num);这能说明输入不合规,但不能据此认定已发生设备越界。custom_opp_*.run 也无法匹配所列的 cann-ops-transformer-...run 产物。

处理建议

普通、A5及文档内嵌示例可同步将容量改为 B * maxBlockNumPerBatch + 1,保留0作为未分配哨兵,默认分配2块,并检查所有有效编号均小于块数。

测试 README 的产物说明和安装命令可同步改为实际生成的 cmpbit 包路径,按目标架构选择文件,避免误装旧包;构建及安装效果仍需验证。

likedislike
周云飞周云飞成员
11 天前 将 wangss21 设为负责人
CANN-robotCANN-robot成员
4 天前 关闭了 issue
CANN-robotCANN-robot成员
4 天前 issue状态由 进行中 改变为 已完成
周云飞
周云飞成员
4 天前 评论:

PR #15541 已将 Compressor 和 QuantCompressor 示例中的 blockNum 增加 1,修正 state_cache 容量;同时修正了 Compressor 文档中的矩阵乘法转置公式,并补充输出有效范围说明。

关联 PR:PR #15541

likedislike
CANN-robotCANN-robot成员
4 天前 添加了label:resolved