Closed
[Documentation|文档反馈]: aclnnQuantCompressor 资料未声明 cmpKv 的 pad 行内容语义(S<cmp_ratio 时整行不写) #6845
liuhanwen8Add on  18 days agoClosed at  11 days ago
liuhanwen8
liuhanwen8
18 days ago Create

Document Link(文档链接)

https://gitcode.com/cann/ops-transformer/blob/master/attention/quant_compressor/docs/aclnnQuantCompressor.md

Issues Section(问题文档片段)

输出参数表:

参数名 输入/输出 描述 维度(shape)
cmpKvOut(aclTensor*) 输出 表示压缩后的数据。支持 B=0,S=0,T=0 的空 Tensor。 BS非合轴:[B, ceil(S/cmp_ratio), D]

约束说明:

cmpKv,输出 shape 为 [B, ceil(S/cmp_ratio), D]:(compressed_tokens+pad0) + (compressed_tokens+pad1) + ... + (compressed_tokens+padN)。

Existing Issues(存在的问题)

资料用 compressed_tokens + pad 描述了 cmpKv 的行构成,但没有说明 pad 行的内容要求(是否必须写 0、是否可以保留调用前内存)。实测在某些合法入参下整行 pad 不会被写出:

  • x=[1,1,1024](S=1)、cmpRatio=4 → cmpKv 形状 [1,1,512],执行成功(ret=0)但该行 1024 字节全是调用前预填的内容,算子一个字节都没写;
  • S=2 同样整行未写;S=4(正好一个完整压缩组)→ 0 字节未写,正常写出。

官方 CPU 标杆的口径是"这些行无效、不参与比对":tests/pytest/quant_compressor_golden.py 的 cmp_kv_mask 只在凑满一个压缩组时置 1(第 764、767 行),比对时只取 cpu_out[cmp_kv_mask] 与 npu_out[cmp_kv_mask](第 1235-1236 行)。因此这不是数值错误,而是文档缺口:调用方若按输出 shape 整块消费(不自己维护有效行 mask),会读到未初始化内存。

建议在约束说明里补一句明确语义(例如"当 S < cmp_ratio 或尾部不足一个压缩组时,对应 cmpKv 行为 pad 行,其内容保证写 0 / 未定义(二选一)"),并同步到 cmpKv 参数表的"使用说明"列。

可执行复现(自包含 C++,S=1/2/4 三组,只有 S 不同;cmpKv 在 Execute 前整块预填 0xA5,执行后回读统计未写字节):

#include <cstdio>
#include <cstdint>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_quant_compressor.h"
#define MALLOC ACL_MEM_MALLOC_HUGE_FIRST
#define H2D ACL_MEMCPY_HOST_TO_DEVICE
#define D2H ACL_MEMCPY_DEVICE_TO_HOST

static aclTensor* T(void* p, std::vector<int64_t> s, aclDataType d) {
    std::vector<int64_t> st(s.size(), 1);
    for (int i = (int)s.size() - 2; i >= 0; --i) st[i] = s[i + 1] * st[i + 1];
    return aclCreateTensor(s.data(), s.size(), d, st.data(), 0, ACL_FORMAT_ND, s.data(), s.size(), p);
}

static void Run(int64_t S) {
    const int64_t B = 1, H = 1024, D = 512, cd = 1024, bs = 128, bn = 2, r = 4;
    int64_t outRows = (S + r - 1) / r;
    std::vector<int64_t> xs{B, S, H}, ws{cd, H}, ss{bn, bs, 2 * cd}, as{r, cd}, os{B, outRows, D};
    size_t xn = (size_t)B * S * H, on = (size_t)B * outRows * D * 2;
    void *x, *w1, *w2, *sc, *ape, *xd, *wd1, *wd2, *bt, *sp, *su, *out;
    aclrtMalloc(&x, xn, MALLOC); aclrtMalloc(&w1, cd * H, MALLOC); aclrtMalloc(&w2, cd * H, MALLOC);
    aclrtMalloc(&sc, bn * bs * 2 * cd * 4, MALLOC); aclrtMalloc(&ape, r * cd * 4, MALLOC);
    aclrtMalloc(&xd, 4, MALLOC); aclrtMalloc(&wd1, cd * 4, MALLOC); aclrtMalloc(&wd2, cd * 4, MALLOC);
    aclrtMalloc(&bt, 4, MALLOC); aclrtMalloc(&sp, 4, MALLOC); aclrtMalloc(&su, 4, MALLOC);
    aclrtMalloc(&out, on, MALLOC);
    std::vector<uint8_t> xh(xn, 0x08), wh(cd * H, 0x08), oh(on, 0xA5);
    std::vector<float> sh(bn * bs * 2 * cd, 0.5f), ah(r * cd, 0.1f), dh(cd, 0.5f);
    float xdv = 0.5f; int32_t spv = 0, btv = 1, suv = (int32_t)S;
    aclrtMemcpy(x, xn, xh.data(), xn, H2D);
    aclrtMemcpy(w1, cd * H, wh.data(), cd * H, H2D); aclrtMemcpy(w2, cd * H, wh.data(), cd * H, H2D);
    aclrtMemcpy(sc, bn * bs * 2 * cd * 4, sh.data(), bn * bs * 2 * cd * 4, H2D);
    aclrtMemcpy(ape, r * cd * 4, ah.data(), r * cd * 4, H2D); aclrtMemcpy(xd, 4, &xdv, 4, H2D);
    aclrtMemcpy(wd1, cd * 4, dh.data(), cd * 4, H2D); aclrtMemcpy(wd2, cd * 4, dh.data(), cd * 4, H2D);
    aclrtMemcpy(bt, 4, &btv, 4, H2D); aclrtMemcpy(sp, 4, &spv, 4, H2D);
    aclrtMemcpy(su, 4, &suv, 4, H2D); aclrtMemcpy(out, on, oh.data(), on, H2D);
    uint64_t wsz = 0; aclOpExecutor* ex = nullptr;
    int ret = (int)aclnnQuantCompressorGetWorkspaceSize(
        T(x, xs, ACL_HIFLOAT8), T(w1, ws, ACL_HIFLOAT8), T(w2, ws, ACL_HIFLOAT8),
        T(sc, ss, ACL_FLOAT), T(ape, as, ACL_FLOAT), T(xd, {1}, ACL_FLOAT),
        T(wd1, {cd}, ACL_FLOAT), T(wd2, {cd}, ACL_FLOAT), T(bt, {B, 1}, ACL_INT32),
        nullptr, T(su, {B}, ACL_INT32), T(sp, {B}, ACL_INT32),
        1, r, 2, 1, bs * 2 * cd, T(out, os, ACL_BF16), &wsz, &ex);
    if (ret == 0) {
        aclrtStream s = nullptr; aclrtCreateStream(&s);
        void* wsd = nullptr; if (wsz) aclrtMalloc(&wsd, wsz, MALLOC);
        ret = (int)aclnnQuantCompressor(wsd, wsz, ex, s);
        aclrtSynchronizeStream(s);
    }
    std::vector<uint8_t> back(on, 0); aclrtMemcpy(back.data(), on, out, on, D2H);
    size_t untouched = 0;
    for (auto b : back) if (b == 0xA5) ++untouched;
    printf("S=%lld -> exec_ret=%d  cmpKv[%lldx%lld] 未写字节=%zu/%zu %s\n", (long long)S, ret,
           (long long)outRows, (long long)D, untouched, on,
           (untouched == on) ? "(整块未写)" : "");
}

int main() {
    aclInit(nullptr); aclrtSetDevice(0);
    aclrtContext c = nullptr; aclrtCreateContext(&c, 0); aclrtSetCurrentContext(c);
    Run(1);    // S=1 < cmpRatio=4
    Run(2);
    Run(4);    // S=4 == cmpRatio:整组,作对照
    aclFinalize();
    return 0;
}

实测输出(Ascend950PR,CANN 9.2.0-beta.2;编译方式同仓内 examples:g++ -O2 -std=c++17 -I$ASC/x86_64-linux/include -I$ASC/x86_64-linux/include/aclnnop -I$ASC/x86_64-linux/include/aclnn <src> -o <bin> -Wl,--allow-shlib-undefined -Wl,--start-group $ASC/lib64/libopapi.so $ASC/lib64/libnnopbase.so $ASC/lib64/libascendcl.so $ASC/lib64/libge_common.so $ASC/lib64/libge_common_base.so $ASC/lib64/libge_executor.so $ASC/lib64/libge_compiler.so $ASC/lib64/libregister.so $ASC/lib64/libascend_protobuf.so $ASC/lib64/libplatform.so $ASC/lib64/libmmpa.so -Wl,--end-group -lstdc++ -lm):

S=1 -> exec_ret=0  cmpKv[1x512] 未写字节=1024/1024 (整块未写)
S=2 -> exec_ret=0  cmpKv[1x512] 未写字节=1024/1024 (整块未写)
S=4 -> exec_ret=0  cmpKv[1x512] 未写字节=0/1024
  • 环境:Ascend950PR(ascend950),CANN 9.2.0-beta.2,源码基线 f3f3135a。
likedislike
liuhanwen8liuhanwen8
18 days ago Added label: documentation
周云飞
周云飞Collaborators
18 days ago Comments:

您好,感谢提供完整的复现用例和对照结果。

问题分析

当前文档的 cmpKvOut 参数说明列出了输出形状和空 Tensor 支持情况,但没有说明 pad 行是否会被写入、是否保证为零,以及调用方应如何识别有效行。这确实存在使用说明上的缺口:输出形状说明了缓冲区大小,并不等于其中每一行都是有效的压缩结果。

您报告的 Ascend950PR、CANN 9.2.0-beta.2 测试中,cmpRatio=4,且起始位置为 0、实际参与压缩的 token 数等于 S。S=1、2 时,唯一输出行的 512 个 BFLOAT16 元素共 1024 字节均保留预填内容;S=4 时则正常写出。结合您提供的 CPU 标杆仅比对有效行的说明,这支持优先按“pad 行语义未说明”处理,而不能仅凭这些结果认定有效压缩数据计算错误。保留预填内容的现象也不能直接作为接口保证 pad 行始终保留原值的依据。

处理方向

一个可行的调整方向是在约束说明和 cmpKvOut 的“使用说明”中同步明确:有效行的判定规则、pad 行是否保证写入,以及调用方是否必须排除这些行。如果接口不保证 pad 行内容,应明确其不可作为有效结果消费;如果选择保证写零,则需要相应实现支持,不能只在文档中增加承诺。

有效行规则还需结合起始位置、实际参与压缩的 token 数及缓存状态确认,不宜直接将本例推广为所有场景下“S 小于压缩率就没有有效输出”。在 pad 行内容保证明确前,建议下游只消费已确认有效的行,不要仅按输出 shape 将整个缓冲区视为有效结果。我们会继续确认这些边界及适合补充到文档中的表述。

likedislike
周云飞
周云飞Collaborators
17 days ago Comments:

/assign @wangss21

likedislike
CANN-robotCANN-robotCollaborators
17 days ago Assign wangss21 as responsible person
CANN-robotCANN-robotCollaborators
11 days ago Close issue
CANN-robotCANN-robotCollaborators
11 days ago Added label: resolved
周云飞
周云飞Collaborators
6 days ago Comments:

处置结果

已在 aclnnQuantCompressor 文档注明 cmpKvOut 的 pad 行语义。尾部不足一个压缩组时,相应 pad 行内容未定义,算子不写入该行,调用方应只消费有效压缩行。

变更已合入 master,详见 PR #15124。

likedislike