Closed
[Documentation|文档反馈]: aclnnQuantCompressor 资料未声明 cmpKv 的 pad 行内容语义(S<cmp_ratio 时整行不写) #6845
liuhanwen8Add on 18 days agoClosed at 11 days ago
18 days ago Added label: documentation
周云飞
18 days ago Comments:
18 days ago Comments:
您好,感谢提供完整的复现用例和对照结果。
问题分析
当前文档的 cmpKvOut 参数说明列出了输出形状和空 Tensor 支持情况,但没有说明 pad 行是否会被写入、是否保证为零,以及调用方应如何识别有效行。这确实存在使用说明上的缺口:输出形状说明了缓冲区大小,并不等于其中每一行都是有效的压缩结果。
您报告的 Ascend950PR、CANN 9.2.0-beta.2 测试中,cmpRatio=4,且起始位置为 0、实际参与压缩的 token 数等于 S。S=1、2 时,唯一输出行的 512 个 BFLOAT16 元素共 1024 字节均保留预填内容;S=4 时则正常写出。结合您提供的 CPU 标杆仅比对有效行的说明,这支持优先按“pad 行语义未说明”处理,而不能仅凭这些结果认定有效压缩数据计算错误。保留预填内容的现象也不能直接作为接口保证 pad 行始终保留原值的依据。
处理方向
一个可行的调整方向是在约束说明和 cmpKvOut 的“使用说明”中同步明确:有效行的判定规则、pad 行是否保证写入,以及调用方是否必须排除这些行。如果接口不保证 pad 行内容,应明确其不可作为有效结果消费;如果选择保证写零,则需要相应实现支持,不能只在文档中增加承诺。
有效行规则还需结合起始位置、实际参与压缩的 token 数及缓存状态确认,不宜直接将本例推广为所有场景下“S 小于压缩率就没有有效输出”。在 pad 行内容保证明确前,建议下游只消费已确认有效的行,不要仅按输出 shape 将整个缓冲区视为有效结果。我们会继续确认这些边界及适合补充到文档中的表述。


17 days ago Assign wangss21 as responsible person
11 days ago Close issue
11 days ago Added label: resolved
Document Link(文档链接)
https://gitcode.com/cann/ops-transformer/blob/master/attention/quant_compressor/docs/aclnnQuantCompressor.md
Issues Section(问题文档片段)
输出参数表:
约束说明:
Existing Issues(存在的问题)
资料用
compressed_tokens + pad描述了cmpKv的行构成,但没有说明pad行的内容要求(是否必须写 0、是否可以保留调用前内存)。实测在某些合法入参下整行 pad 不会被写出:x=[1,1,1024](S=1)、cmpRatio=4→cmpKv形状[1,1,512],执行成功(ret=0)但该行 1024 字节全是调用前预填的内容,算子一个字节都没写;S=2同样整行未写;S=4(正好一个完整压缩组)→ 0 字节未写,正常写出。官方 CPU 标杆的口径是"这些行无效、不参与比对":
tests/pytest/quant_compressor_golden.py的cmp_kv_mask只在凑满一个压缩组时置 1(第 764、767 行),比对时只取cpu_out[cmp_kv_mask]与npu_out[cmp_kv_mask](第 1235-1236 行)。因此这不是数值错误,而是文档缺口:调用方若按输出 shape 整块消费(不自己维护有效行 mask),会读到未初始化内存。建议在约束说明里补一句明确语义(例如"当
S < cmp_ratio或尾部不足一个压缩组时,对应cmpKv行为 pad 行,其内容保证写 0 / 未定义(二选一)"),并同步到cmpKv参数表的"使用说明"列。可执行复现(自包含 C++,S=1/2/4 三组,只有 S 不同;cmpKv 在 Execute 前整块预填 0xA5,执行后回读统计未写字节):
#include <cstdio> #include <cstdint> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_quant_compressor.h" #define MALLOC ACL_MEM_MALLOC_HUGE_FIRST #define H2D ACL_MEMCPY_HOST_TO_DEVICE #define D2H ACL_MEMCPY_DEVICE_TO_HOST static aclTensor* T(void* p, std::vector<int64_t> s, aclDataType d) { std::vector<int64_t> st(s.size(), 1); for (int i = (int)s.size() - 2; i >= 0; --i) st[i] = s[i + 1] * st[i + 1]; return aclCreateTensor(s.data(), s.size(), d, st.data(), 0, ACL_FORMAT_ND, s.data(), s.size(), p); } static void Run(int64_t S) { const int64_t B = 1, H = 1024, D = 512, cd = 1024, bs = 128, bn = 2, r = 4; int64_t outRows = (S + r - 1) / r; std::vector<int64_t> xs{B, S, H}, ws{cd, H}, ss{bn, bs, 2 * cd}, as{r, cd}, os{B, outRows, D}; size_t xn = (size_t)B * S * H, on = (size_t)B * outRows * D * 2; void *x, *w1, *w2, *sc, *ape, *xd, *wd1, *wd2, *bt, *sp, *su, *out; aclrtMalloc(&x, xn, MALLOC); aclrtMalloc(&w1, cd * H, MALLOC); aclrtMalloc(&w2, cd * H, MALLOC); aclrtMalloc(&sc, bn * bs * 2 * cd * 4, MALLOC); aclrtMalloc(&ape, r * cd * 4, MALLOC); aclrtMalloc(&xd, 4, MALLOC); aclrtMalloc(&wd1, cd * 4, MALLOC); aclrtMalloc(&wd2, cd * 4, MALLOC); aclrtMalloc(&bt, 4, MALLOC); aclrtMalloc(&sp, 4, MALLOC); aclrtMalloc(&su, 4, MALLOC); aclrtMalloc(&out, on, MALLOC); std::vector<uint8_t> xh(xn, 0x08), wh(cd * H, 0x08), oh(on, 0xA5); std::vector<float> sh(bn * bs * 2 * cd, 0.5f), ah(r * cd, 0.1f), dh(cd, 0.5f); float xdv = 0.5f; int32_t spv = 0, btv = 1, suv = (int32_t)S; aclrtMemcpy(x, xn, xh.data(), xn, H2D); aclrtMemcpy(w1, cd * H, wh.data(), cd * H, H2D); aclrtMemcpy(w2, cd * H, wh.data(), cd * H, H2D); aclrtMemcpy(sc, bn * bs * 2 * cd * 4, sh.data(), bn * bs * 2 * cd * 4, H2D); aclrtMemcpy(ape, r * cd * 4, ah.data(), r * cd * 4, H2D); aclrtMemcpy(xd, 4, &xdv, 4, H2D); aclrtMemcpy(wd1, cd * 4, dh.data(), cd * 4, H2D); aclrtMemcpy(wd2, cd * 4, dh.data(), cd * 4, H2D); aclrtMemcpy(bt, 4, &btv, 4, H2D); aclrtMemcpy(sp, 4, &spv, 4, H2D); aclrtMemcpy(su, 4, &suv, 4, H2D); aclrtMemcpy(out, on, oh.data(), on, H2D); uint64_t wsz = 0; aclOpExecutor* ex = nullptr; int ret = (int)aclnnQuantCompressorGetWorkspaceSize( T(x, xs, ACL_HIFLOAT8), T(w1, ws, ACL_HIFLOAT8), T(w2, ws, ACL_HIFLOAT8), T(sc, ss, ACL_FLOAT), T(ape, as, ACL_FLOAT), T(xd, {1}, ACL_FLOAT), T(wd1, {cd}, ACL_FLOAT), T(wd2, {cd}, ACL_FLOAT), T(bt, {B, 1}, ACL_INT32), nullptr, T(su, {B}, ACL_INT32), T(sp, {B}, ACL_INT32), 1, r, 2, 1, bs * 2 * cd, T(out, os, ACL_BF16), &wsz, &ex); if (ret == 0) { aclrtStream s = nullptr; aclrtCreateStream(&s); void* wsd = nullptr; if (wsz) aclrtMalloc(&wsd, wsz, MALLOC); ret = (int)aclnnQuantCompressor(wsd, wsz, ex, s); aclrtSynchronizeStream(s); } std::vector<uint8_t> back(on, 0); aclrtMemcpy(back.data(), on, out, on, D2H); size_t untouched = 0; for (auto b : back) if (b == 0xA5) ++untouched; printf("S=%lld -> exec_ret=%d cmpKv[%lldx%lld] 未写字节=%zu/%zu %s\n", (long long)S, ret, (long long)outRows, (long long)D, untouched, on, (untouched == on) ? "(整块未写)" : ""); } int main() { aclInit(nullptr); aclrtSetDevice(0); aclrtContext c = nullptr; aclrtCreateContext(&c, 0); aclrtSetCurrentContext(c); Run(1); // S=1 < cmpRatio=4 Run(2); Run(4); // S=4 == cmpRatio:整组,作对照 aclFinalize(); return 0; }实测输出(Ascend950PR,CANN 9.2.0-beta.2;编译方式同仓内 examples:
g++ -O2 -std=c++17 -I$ASC/x86_64-linux/include -I$ASC/x86_64-linux/include/aclnnop -I$ASC/x86_64-linux/include/aclnn <src> -o <bin> -Wl,--allow-shlib-undefined -Wl,--start-group $ASC/lib64/libopapi.so $ASC/lib64/libnnopbase.so $ASC/lib64/libascendcl.so $ASC/lib64/libge_common.so $ASC/lib64/libge_common_base.so $ASC/lib64/libge_executor.so $ASC/lib64/libge_compiler.so $ASC/lib64/libregister.so $ASC/lib64/libascend_protobuf.so $ASC/lib64/libplatform.so $ASC/lib64/libmmpa.so -Wl,--end-group -lstdc++ -lm):f3f3135a。