Closed
[Bug-Report|缺陷反馈]: aclnnCompressorGrad 第一段未校验 dCmpKv/softmaxScore 的段数维,非法 shape 被静默接受 #6858
liuhanwen8Add on  18 days agoClosed at  11 days ago
liuhanwen8
liuhanwen8
18 days ago Create

[Bug-Report|缺陷反馈]: aclnnCompressorGrad 第一段未校验 dCmpKv/softmaxScore 的段数维,非法 shape 被静默接受

现象

aclnnCompressorGradGetWorkspaceSize 对 dCmpKv 与 softmaxScore 的段数维不做校验,
只校验末维 D 与 coff*cmp_ratio。把段数维从合法的 ceil(S/cmp_ratio)=1 改成 2 时:
第一段返回 0、第二段返回 0,dX 与合法基线在 6/4096 个元素上不同(最大 1.577x 超容差)。

即非法 shape 被放行,kernel 按 ceil(S/cmp_ratio) 只读第一段,多余的段被静默忽略。

期望

第一段返回 161002(ACLNN_ERR_PARAM_INVALID)。资料写明 dCmpKv 为 [B, ceil(S/cmp_ratio), D]、
softmaxScore 为 [B, ceil(S/cmp_ratio), coff*cmp_ratio, D];实现只校验了 dCmpKv 的 dim0/dim2
与 softmaxScore 的 dim0/dim2/dim3,dim1(段数)没有参与校验。

环境

  • 硬件:Ascend 950PR(Ascend950PR_9579)
  • CANN:9.2.0-beta.2(/usr/local/Ascend/cann-9.2.0-beta.2)
  • 算子仓:cann/ops-transformer,attention/compressor_grad @ 45a09b29
  • 接口:aclnnCompressorGrad(资料标注仅 950PR/950DT 支持)

复现步骤

  1. 按资料构造合法基线:B=1, S=4, H=1024, D=512, coff=1, cmpRatio=4,dCmpKv=[1,1,512]、softmaxScore=kv=[1,1,4,512]。
  2. 调两段并回读 dX 非零元素数(对照组)。
  3. 只把 dCmpKv 第 2 维从 1 改成 2(softmaxScore/kv 同步改,保持自洽),重复第 2 步。
  4. 观察两组都是 GetWorkspaceSize = 0、Execute = 0。

复现脚本

// g++ -std=c++17 -O2 -o repro repro.cpp -I$ASCEND_HOME_PATH/include -I$ASCEND_HOME_PATH/include/aclnnop \
//   -L$ASCEND_HOME_PATH/lib64 -lopapi -lnnopbase -lacl_rt -Wl,-rpath,$ASCEND_HOME_PATH/lib64 -Wl,--allow-shlib-undefined
#include <cstdio>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_compressor_grad.h"

static aclTensor *Mk(std::vector<int64_t> sh, aclDataType dt, void **dev, uint16_t bits) {
    int64_t n = 1; for (auto d : sh) n *= d;
    size_t esz = (dt == ACL_FLOAT) ? 4 : 2, bytes = (size_t)n * esz;
    aclrtMalloc(dev, bytes, ACL_MEM_MALLOC_HUGE_FIRST);
    std::vector<uint8_t> h(bytes, 0);
    if (dt == ACL_FLOAT) { float *p = (float *)h.data(); for (int64_t i = 0; i < n; ++i) p[i] = 0.1f; }
    else { uint16_t *p = (uint16_t *)h.data(); for (int64_t i = 0; i < n; ++i) p[i] = bits; }
    aclrtMemcpy(*dev, bytes, h.data(), bytes, ACL_MEMCPY_HOST_TO_DEVICE);
    std::vector<int64_t> st(sh.size(), 1);
    for (int64_t i = (int64_t)sh.size() - 2; i >= 0; --i) st[i] = sh[i + 1] * st[i + 1];
    return aclCreateTensor(sh.data(), sh.size(), dt, st.data(), 0, ACL_FORMAT_ND, sh.data(), sh.size(), *dev);
}

static void Run(const char *tag, int64_t seg, aclrtStream s) {
    void *dx = 0, *dwkv = 0, *dwgate = 0, *ddck = 0, *dsm = 0, *dkv = 0;
    void *odx = 0, *odwkv = 0, *odwgate = 0, *odape = 0;
    aclTensor *x = Mk({1, 4, 1024}, ACL_BF16, &dx, 0x3DCD);
    aclTensor *wkv = Mk({512, 1024}, ACL_BF16, &dwkv, 0x3DCD);
    aclTensor *wgate = Mk({512, 1024}, ACL_BF16, &dwgate, 0x3DCD);
    aclTensor *dck = Mk({1, seg, 512}, ACL_BF16, &ddck, 0x3DCD);
    aclTensor *sm = Mk({1, seg, 4, 512}, ACL_FLOAT, &dsm, 0);
    aclTensor *kv = Mk({1, seg, 4, 512}, ACL_FLOAT, &dkv, 0);
    aclTensor *ox = Mk({1, 4, 1024}, ACL_BF16, &odx, 0);
    aclTensor *owkv = Mk({512, 1024}, ACL_BF16, &odwkv, 0);
    aclTensor *owgate = Mk({512, 1024}, ACL_BF16, &odwgate, 0);
    aclTensor *oape = Mk({4, 512}, ACL_FLOAT, &odape, 0);
    uint64_t ws = 0; aclOpExecutor *ex = nullptr;
    aclnnStatus r1 = aclnnCompressorGradGetWorkspaceSize(x, wkv, wgate, dck, sm, kv, nullptr, nullptr,
                                                         nullptr, 4, 1, ox, owkv, owgate, oape, &ws, &ex);
    printf("[%s] GetWorkspaceSize = %d\n", tag, (int)r1);
    if (r1 != ACL_SUCCESS) return;
    void *w = nullptr; if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST);
    aclnnStatus r2 = aclnnCompressorGrad(w, ws, ex, s);
    printf("[%s] Execute = %d\n", tag, (int)r2);
    if (r2 == ACL_SUCCESS) {
        aclrtSynchronizeStream(s);
        std::vector<uint16_t> all(4096, 0);
        aclrtMemcpy(all.data(), 8192, odx, 8192, ACL_MEMCPY_DEVICE_TO_HOST);
        int64_t nz = 0; for (auto v : all) if ((v & 0x7F80) != 0) nz++;
        printf("  dX nonzero = %lld / 4096\n", (long long)nz);
    }
}

int main() {
    aclInit(nullptr); aclrtSetDevice(0);
    aclrtStream s = nullptr; aclrtCreateStream(&s);
    Run("对照组 CTRL", 1, s);
    Run("缺陷组 DEFECT", 2, s);
    aclrtDestroyStream(s); aclrtResetDevice(0); aclFinalize();
    return 0;
}

实测输出:

[对照组 CTRL] GetWorkspaceSize = 0
[对照组 CTRL] Execute = 0
  dX nonzero = 4096 / 4096
[缺陷组 DEFECT] GetWorkspaceSize = 0
[缺陷组 DEFECT] Execute = 0
  dX nonzero = 4096 / 4096

影响

  • 上层把段数算错(例如把 TH 的 min(T, T//cmp_ratio+B) 误用到 BSH、或 ceil 边界写错)时
    不会得到任何报错,而是静默按 ceil(S/cmp_ratio) 计算,多余或缺失的段被忽略。
  • 本算子位于训练反向路径,静默算错表现为 loss 不收敛或梯度异常,定位成本远高于一次 161002。
  • 同批实测中 softmaxScore 段数 +1 还带来 5/4096 个元素超差,说明该缺口不只是"多读一段"。

建议

在 op_host/compressor_grad_tiling.cpp 的 CheckShapeConsistency 里补两条一致性校验:
BSH 时 dCmpKv.dim1 == softmaxScore.dim1 == ceil(S/cmp_ratio);TH 时二者都等于
min(T, T/cmp_ratio + B)。现成的 LogErrorShapeConsistency(tensor, dimIdx, expectValue) 已支持
这种形式,与已有的 dCmpKv.dim2 == headDim、softmaxScore.dim2 == coff*cmpRatio 同构。

同族参考:cann/ops-transformer#6844(QuantCompressor 未校验 seqused<=S)与 #6822
(stateBlockTable 越界)都是"第一段校验缺项"这一类,但接口与参数均不同,本文不重复。

likedislike
liuhanwen8liuhanwen8
18 days ago Added label: bug-report
周云飞
周云飞Collaborators
18 days ago Comments:

感谢提供完整的环境信息和复现脚本。按您报告的 BSH 形状约束,S=4、cmpRatio=4 时段数应为 1,将其改为 2 的输入不应被当作合法形状接受。您提供的输出显示,两阶段接口均返回了 0;这反映的是非法输入未被拒绝,不能据此判断计算结果正确。

问题分析

如果段数检查只比较 dCmpKv、softmaxScore 和 kv 之间是否一致,那么同步扩大这些张量仍可能通过检查。关键是把它们的段数与输入序列长度、压缩比推导出的预期值比较,而不只是让几个张量彼此匹配。

目前提供的源码片段未包含 CheckShapeConsistency 的具体实现和 kernel 访问逻辑,因此尚不能独立确认漏检位置,也不能确认“只读取第一段”就是数值差异的原因。另外,所附脚本和日志只统计了 dX 的非零元素数,不能验证正文提到的逐元素超差。

处理方向

一个可行的方向是在 CheckShapeConsistency 中补齐段数检查:BSH 路径按 ceil(S/cmpRatio) 检查 dCmpKv 和 softmaxScore 的 dim1,同时确认 kv 的关联检查能拒绝同步扩大的非法输入。TH 路径需要单独核对段数公式和对应维度,不能直接套用 BSH 的 dim1 检查。还需要确认检查失败能够传递到 aclnnCompressorGradGetWorkspaceSize,并核对是否返回您期望的 161002,而不仅是内部报错。

在该行为确认前,建议调用侧先按对应布局检查段数,不要依赖执行成功来判断形状合法。若方便,请补充产生“6/4096 个元素不同、最大 1.577 倍超容差”的比较代码及容差设置,以便将形状漏检与数值差异分别验证。

likedislike
周云飞
周云飞Collaborators
17 days ago Comments:

/assign @wangss21

likedislike
CANN-robotCANN-robotCollaborators
17 days ago Assign wangss21 as responsible person
CANN-robotCANN-robotCollaborators
11 days ago Close issue
CANN-robotCANN-robotCollaborators
11 days ago Added label: resolved
周云飞
周云飞Collaborators
6 days ago Comments:

处置结果

已在 CompressorGrad tiling 阶段检查 dCmpKv、softmaxScore 和 kv 的段数维。BSH 按 ceil(S/cmpRatio) 校验,TH 按 min(T, T/cmpRatio+B) 的整数计算校验。PR 增加了 BSH 段数维不匹配的负向单测。

变更已合入 master,详见 PR #15124。

likedislike