Closed
[Documentation|文档反馈]: quant_compressor: 修正 ACLNN 示例缓存容量 #7205
aoye_poppyAdd on 11 days agoClosed at 4 days ago
周云飞
11 days ago Comments:
11 days ago Comments:
11 days ago Assign wangss21 as responsible person
4 days ago Close issue
4 days ago changed custom state from 进行中 to 已完成
4 days ago Added label: resolved


Document Link / 文档链接
算子:
attention/quant_compressor。源码基于 master 提交
72e64e29ed30a8a035871083055dc5645dfc2518。Issues Section / 问题文档片段
两份 ACLNN 示例从物理块1开始编号,却按未包含保留块0的数量分配 cache,表项超出缓存范围。
独立示例第129-130、138行 及 内嵌示例第636-637、645行 使用:
int64_t maxBlockNumPerBatch = (Smax + blockSize - 1) / blockSize; int64_t blockNum = B * maxBlockNumPerBatch; // coffD = coff * headDim std::vector<int64_t> stateCacheShape = {blockNum, blockSize, 2 * coffD};但 独立示例第165-166行、内嵌示例第672-673行 从1开始填充物理块编号:
for (int64_t i = 0; i < B * maxBlockNumPerBatch; i++) { stateBlockTableHostData.push_back(static_cast<int32_t>(i + 1)); }默认参数为 B=1、Smax=S=4、blockSize=128、coff=2、headDim=512,可直接复算:
ACLNN 文档第492行 明确要求表项位于
[0,block_num);当前 cacheMode=1 下,0是“未分配”哨兵,示例从1开始生成有效映射,但缓存数量没有相应加1。【确认】独立示例和文档内嵌示例的计算与填表逻辑完全相同;缺陷可由常量、真实 shape 和同文档的索引范围直接确认,不依赖 NPU 实测。这里仅陈述示例违反支持的输入约束,不声称已观察到实机越界或某个具体错误输出。
Suggestions / 建议修正
保留从1开始的块编号时,将分配数量改为:
int64_t blockNum = B * maxBlockNumPerBatch + 1;或者按实际映射表的最大物理编号加1分配。默认例子应分配2个物理块,保持表项1位于合法范围。独立示例和内嵌示例同步修改;Torch 文档示例第236行 已按
max(block_table)+1正确分配,可作为修复对照。Existing Issues / 影响及验证
直接照抄 ACLNN 示例会建立超出 cache 分配范围的物理块映射,无法作为符合接口约束的调用示范。
验证方式为两份示例的数据流核对、块数量与索引范围的静态计算。未修改源码,未运行 CANN/NPU,不声称实机错误。