Closed
[Bug-Report|缺陷反馈]: aclnnCompressorGrad 第一段未校验 dCmpKv/softmaxScore 的段数维,非法 shape 被静默接受 #6858
liuhanwen8Add on 18 days agoClosed at 11 days ago
18 days ago Added label: bug-report
周云飞
18 days ago Comments:
18 days ago Comments:
感谢提供完整的环境信息和复现脚本。按您报告的 BSH 形状约束,S=4、cmpRatio=4 时段数应为 1,将其改为 2 的输入不应被当作合法形状接受。您提供的输出显示,两阶段接口均返回了 0;这反映的是非法输入未被拒绝,不能据此判断计算结果正确。
问题分析
如果段数检查只比较 dCmpKv、softmaxScore 和 kv 之间是否一致,那么同步扩大这些张量仍可能通过检查。关键是把它们的段数与输入序列长度、压缩比推导出的预期值比较,而不只是让几个张量彼此匹配。
目前提供的源码片段未包含 CheckShapeConsistency 的具体实现和 kernel 访问逻辑,因此尚不能独立确认漏检位置,也不能确认“只读取第一段”就是数值差异的原因。另外,所附脚本和日志只统计了 dX 的非零元素数,不能验证正文提到的逐元素超差。
处理方向
一个可行的方向是在 CheckShapeConsistency 中补齐段数检查:BSH 路径按 ceil(S/cmpRatio) 检查 dCmpKv 和 softmaxScore 的 dim1,同时确认 kv 的关联检查能拒绝同步扩大的非法输入。TH 路径需要单独核对段数公式和对应维度,不能直接套用 BSH 的 dim1 检查。还需要确认检查失败能够传递到 aclnnCompressorGradGetWorkspaceSize,并核对是否返回您期望的 161002,而不仅是内部报错。
在该行为确认前,建议调用侧先按对应布局检查段数,不要依赖执行成功来判断形状合法。若方便,请补充产生“6/4096 个元素不同、最大 1.577 倍超容差”的比较代码及容差设置,以便将形状漏检与数值差异分别验证。


17 days ago Assign wangss21 as responsible person
11 days ago Close issue
11 days ago Added label: resolved
[Bug-Report|缺陷反馈]: aclnnCompressorGrad 第一段未校验 dCmpKv/softmaxScore 的段数维,非法 shape 被静默接受
现象
aclnnCompressorGradGetWorkspaceSize对dCmpKv与softmaxScore的段数维不做校验,只校验末维
D与coff*cmp_ratio。把段数维从合法的ceil(S/cmp_ratio)=1改成2时:第一段返回
0、第二段返回0,dX与合法基线在 6/4096 个元素上不同(最大 1.577x 超容差)。即非法 shape 被放行,kernel 按
ceil(S/cmp_ratio)只读第一段,多余的段被静默忽略。期望
第一段返回
161002(ACLNN_ERR_PARAM_INVALID)。资料写明dCmpKv为[B, ceil(S/cmp_ratio), D]、softmaxScore为[B, ceil(S/cmp_ratio), coff*cmp_ratio, D];实现只校验了dCmpKv的 dim0/dim2与
softmaxScore的 dim0/dim2/dim3,dim1(段数)没有参与校验。环境
Ascend950PR_9579)/usr/local/Ascend/cann-9.2.0-beta.2)attention/compressor_grad@45a09b29aclnnCompressorGrad(资料标注仅 950PR/950DT 支持)复现步骤
B=1, S=4, H=1024, D=512, coff=1, cmpRatio=4,dCmpKv=[1,1,512]、softmaxScore=kv=[1,1,4,512]。dX非零元素数(对照组)。dCmpKv第 2 维从1改成2(softmaxScore/kv同步改,保持自洽),重复第 2 步。GetWorkspaceSize = 0、Execute = 0。复现脚本
// g++ -std=c++17 -O2 -o repro repro.cpp -I$ASCEND_HOME_PATH/include -I$ASCEND_HOME_PATH/include/aclnnop \ // -L$ASCEND_HOME_PATH/lib64 -lopapi -lnnopbase -lacl_rt -Wl,-rpath,$ASCEND_HOME_PATH/lib64 -Wl,--allow-shlib-undefined #include <cstdio> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_compressor_grad.h" static aclTensor *Mk(std::vector<int64_t> sh, aclDataType dt, void **dev, uint16_t bits) { int64_t n = 1; for (auto d : sh) n *= d; size_t esz = (dt == ACL_FLOAT) ? 4 : 2, bytes = (size_t)n * esz; aclrtMalloc(dev, bytes, ACL_MEM_MALLOC_HUGE_FIRST); std::vector<uint8_t> h(bytes, 0); if (dt == ACL_FLOAT) { float *p = (float *)h.data(); for (int64_t i = 0; i < n; ++i) p[i] = 0.1f; } else { uint16_t *p = (uint16_t *)h.data(); for (int64_t i = 0; i < n; ++i) p[i] = bits; } aclrtMemcpy(*dev, bytes, h.data(), bytes, ACL_MEMCPY_HOST_TO_DEVICE); std::vector<int64_t> st(sh.size(), 1); for (int64_t i = (int64_t)sh.size() - 2; i >= 0; --i) st[i] = sh[i + 1] * st[i + 1]; return aclCreateTensor(sh.data(), sh.size(), dt, st.data(), 0, ACL_FORMAT_ND, sh.data(), sh.size(), *dev); } static void Run(const char *tag, int64_t seg, aclrtStream s) { void *dx = 0, *dwkv = 0, *dwgate = 0, *ddck = 0, *dsm = 0, *dkv = 0; void *odx = 0, *odwkv = 0, *odwgate = 0, *odape = 0; aclTensor *x = Mk({1, 4, 1024}, ACL_BF16, &dx, 0x3DCD); aclTensor *wkv = Mk({512, 1024}, ACL_BF16, &dwkv, 0x3DCD); aclTensor *wgate = Mk({512, 1024}, ACL_BF16, &dwgate, 0x3DCD); aclTensor *dck = Mk({1, seg, 512}, ACL_BF16, &ddck, 0x3DCD); aclTensor *sm = Mk({1, seg, 4, 512}, ACL_FLOAT, &dsm, 0); aclTensor *kv = Mk({1, seg, 4, 512}, ACL_FLOAT, &dkv, 0); aclTensor *ox = Mk({1, 4, 1024}, ACL_BF16, &odx, 0); aclTensor *owkv = Mk({512, 1024}, ACL_BF16, &odwkv, 0); aclTensor *owgate = Mk({512, 1024}, ACL_BF16, &odwgate, 0); aclTensor *oape = Mk({4, 512}, ACL_FLOAT, &odape, 0); uint64_t ws = 0; aclOpExecutor *ex = nullptr; aclnnStatus r1 = aclnnCompressorGradGetWorkspaceSize(x, wkv, wgate, dck, sm, kv, nullptr, nullptr, nullptr, 4, 1, ox, owkv, owgate, oape, &ws, &ex); printf("[%s] GetWorkspaceSize = %d\n", tag, (int)r1); if (r1 != ACL_SUCCESS) return; void *w = nullptr; if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST); aclnnStatus r2 = aclnnCompressorGrad(w, ws, ex, s); printf("[%s] Execute = %d\n", tag, (int)r2); if (r2 == ACL_SUCCESS) { aclrtSynchronizeStream(s); std::vector<uint16_t> all(4096, 0); aclrtMemcpy(all.data(), 8192, odx, 8192, ACL_MEMCPY_DEVICE_TO_HOST); int64_t nz = 0; for (auto v : all) if ((v & 0x7F80) != 0) nz++; printf(" dX nonzero = %lld / 4096\n", (long long)nz); } } int main() { aclInit(nullptr); aclrtSetDevice(0); aclrtStream s = nullptr; aclrtCreateStream(&s); Run("对照组 CTRL", 1, s); Run("缺陷组 DEFECT", 2, s); aclrtDestroyStream(s); aclrtResetDevice(0); aclFinalize(); return 0; }实测输出:
影响
min(T, T//cmp_ratio+B)误用到 BSH、或ceil边界写错)时不会得到任何报错,而是静默按
ceil(S/cmp_ratio)计算,多余或缺失的段被忽略。softmaxScore段数 +1 还带来 5/4096 个元素超差,说明该缺口不只是"多读一段"。建议
在
op_host/compressor_grad_tiling.cpp的CheckShapeConsistency里补两条一致性校验:BSH 时
dCmpKv.dim1 == softmaxScore.dim1 == ceil(S/cmp_ratio);TH 时二者都等于min(T, T/cmp_ratio + B)。现成的LogErrorShapeConsistency(tensor, dimIdx, expectValue)已支持这种形式,与已有的
dCmpKv.dim2 == headDim、softmaxScore.dim2 == coff*cmpRatio同构。同族参考:cann/ops-transformer#6844(QuantCompressor 未校验 seqused<=S)与 #6822
(stateBlockTable 越界)都是"第一段校验缺项"这一类,但接口与参数均不同,本文不重复。