算子:attention/quant_compressor。 源码基于 master 提交 72e64e29ed30a8a035871083055dc5645dfc2518。
attention/quant_compressor
72e64e29ed30a8a035871083055dc5645dfc2518
两份 ACLNN 示例从物理块1开始编号,却按未包含保留块0的数量分配 cache,表项超出缓存范围。
独立示例第129-130、138行 及 内嵌示例第636-637、645行 使用:
int64_t maxBlockNumPerBatch = (Smax + blockSize - 1) / blockSize; int64_t blockNum = B * maxBlockNumPerBatch; // coffD = coff * headDim std::vector<int64_t> stateCacheShape = {blockNum, blockSize, 2 * coffD};
但 独立示例第165-166行、内嵌示例第672-673行 从1开始填充物理块编号:
for (int64_t i = 0; i < B * maxBlockNumPerBatch; i++) { stateBlockTableHostData.push_back(static_cast<int32_t>(i + 1)); }
默认参数为 B=1、Smax=S=4、blockSize=128、coff=2、headDim=512,可直接复算:
maxBlockNumPerBatch = ceil(4/128) = 1 blockNum = 1 stateCacheShape = [1,128,2048] stateBlockTable = [[1]] 实际分配的物理块索引范围:[0,1),即只有0 表项1超出该范围
ACLNN 文档第492行 明确要求表项位于 [0,block_num);当前 cacheMode=1 下,0是“未分配”哨兵,示例从1开始生成有效映射,但缓存数量没有相应加1。
[0,block_num)
【确认】独立示例和文档内嵌示例的计算与填表逻辑完全相同;缺陷可由常量、真实 shape 和同文档的索引范围直接确认,不依赖 NPU 实测。这里仅陈述示例违反支持的输入约束,不声称已观察到实机越界或某个具体错误输出。
保留从1开始的块编号时,将分配数量改为:
int64_t blockNum = B * maxBlockNumPerBatch + 1;
或者按实际映射表的最大物理编号加1分配。默认例子应分配2个物理块,保持表项1位于合法范围。独立示例和内嵌示例同步修改;Torch 文档示例第236行 已按 max(block_table)+1 正确分配,可作为修复对照。
max(block_table)+1
直接照抄 ACLNN 示例会建立超出 cache 分配范围的物理块映射,无法作为符合接口约束的调用示范。
验证方式为两份示例的数据流核对、块数量与索引范围的静态计算。未修改源码,未运行 CANN/NPU,不声称实机错误。
按您提供的代码片段和索引约束,两份 ACLNN 示例的缓存容量与块编号不匹配:默认仅分配 1 个物理块,合法索引为 [0,1),表项却为 1。这足以说明示例输入不符合约束,但不代表已观察到实机越界。
[0,1)
保留 cacheMode=1 下以 0 表示“未分配”、有效块从 1 编号的方式时,可将两份示例的 blockNum 同步改为 B * maxBlockNumPerBatch + 1,并保持映射表项数量不变。默认缓存形状应变为 [2,128,2048]。重点核对缓存实际分配随形状更新,且所有有效表项均小于 blockNum。
cacheMode=1
blockNum
B * maxBlockNumPerBatch + 1
[2,128,2048]
PR #15541 已将 QuantCompressor ACLNN 示例及中英文接口文档中的 blockNum 从 B * maxBlockNumPerBatch 调整为 B * maxBlockNumPerBatch + 1,修正了示例的缓存块容量。
B * maxBlockNumPerBatch
关联 PR:PR #15541
Document Link / 文档链接
算子:
attention/quant_compressor。源码基于 master 提交
72e64e29ed30a8a035871083055dc5645dfc2518。Issues Section / 问题文档片段
两份 ACLNN 示例从物理块1开始编号,却按未包含保留块0的数量分配 cache,表项超出缓存范围。
独立示例第129-130、138行 及 内嵌示例第636-637、645行 使用:
int64_t maxBlockNumPerBatch = (Smax + blockSize - 1) / blockSize; int64_t blockNum = B * maxBlockNumPerBatch; // coffD = coff * headDim std::vector<int64_t> stateCacheShape = {blockNum, blockSize, 2 * coffD};但 独立示例第165-166行、内嵌示例第672-673行 从1开始填充物理块编号:
for (int64_t i = 0; i < B * maxBlockNumPerBatch; i++) { stateBlockTableHostData.push_back(static_cast<int32_t>(i + 1)); }默认参数为 B=1、Smax=S=4、blockSize=128、coff=2、headDim=512,可直接复算:
ACLNN 文档第492行 明确要求表项位于
[0,block_num);当前 cacheMode=1 下,0是“未分配”哨兵,示例从1开始生成有效映射,但缓存数量没有相应加1。【确认】独立示例和文档内嵌示例的计算与填表逻辑完全相同;缺陷可由常量、真实 shape 和同文档的索引范围直接确认,不依赖 NPU 实测。这里仅陈述示例违反支持的输入约束,不声称已观察到实机越界或某个具体错误输出。
Suggestions / 建议修正
保留从1开始的块编号时,将分配数量改为:
int64_t blockNum = B * maxBlockNumPerBatch + 1;或者按实际映射表的最大物理编号加1分配。默认例子应分配2个物理块,保持表项1位于合法范围。独立示例和内嵌示例同步修改;Torch 文档示例第236行 已按
max(block_table)+1正确分配,可作为修复对照。Existing Issues / 影响及验证
直接照抄 ACLNN 示例会建立超出 cache 分配范围的物理块映射,无法作为符合接口约束的调用示范。
验证方式为两份示例的数据流核对、块数量与索引范围的静态计算。未修改源码,未运行 CANN/NPU,不声称实机错误。