Closed
[Bug-Report|缺陷反馈]: aclnnMlaPrologV2WeightNz 未校验 kvCacheRef 尾轴(Hckv),shape 不符仍返回成功(0/0) #6660
liuhanwen8Add on  22 days agoClosed at  11 days ago
liuhanwen8
liuhanwen8
22 days ago Create

现象

aclnnMlaPrologV2WeightNz 对 kvCacheRef 的尾轴(Hckv)不做校验:把每槽宽度从 512 改成 256,第一段、第二段仍都返回 0,任务正常完成。

组 kvCacheRef shape ret_gws ret_exec sync
对照组 [16,128,1,512](资料 shape) 0 0 0
缺陷组 [16,128,1,256] 0 0 0

期望

资料参数表对 kvCacheRef 的使用说明是 ND (BlockNum,BlockSize,Nkv,Hckv),且约束 Hckv=512;错误码表 161002 覆盖「参数 shape(维度/尺寸)不在接口支持范围内」。尾轴与 Hckv 不一致时应在第一段按 161002 拒绝。

算子内部按权重推导出的 Hckv=512 写每个命中槽位,而声明的 cache 每槽只有 256 个元素,等于每个槽写 2 倍长度,最后一槽必然越过张量末端(当前未崩溃只是因为 ACL 分配器按大页取整预留了余量)。

环境

  • 硬件:Atlas A2 910B2(单卡),CANN 9.2.0,驱动 26.1.1
  • 仓库:cann/ops-transformer,master 5f9cdcf3c868e4598893b8cfe75657f0055da5b7(2026-10-24 17:01 +0800)
  • 算子目录:attention/mla_prolog_v2(接口已标 deprecated,V3 继承同一套 cache 写入路径)

复现步骤

  1. source $ASCEND_HOME_PATH/set_env.sh
  2. 保存下方 repro.cpp 并编译
  3. ./repro
  4. 观察两行输出:kvCacheH=512 与 kvCacheH=256 的 ret_gws/ret_exec/sync 都是 0

复现脚本

#include <acl/acl.h>
#include <aclnnop/aclnn_mla_prolog_v2_weight_nz.h>
#include <cstdio>
#include <vector>
static aclTensor* mk(void* d, std::vector<int64_t> sh, aclDataType dt, bool nz = false) {
    std::vector<int64_t> st(sh.size()); int64_t acc = 1;
    for (int i = (int)sh.size() - 1; i >= 0; --i) { st[i] = acc; acc *= sh[i] ? sh[i] : 1; }
    return aclCreateTensor(sh.data(), sh.size(), dt, st.data(), 0,
        nz ? ACL_FORMAT_FRACTAL_NZ : ACL_FORMAT_ND, sh.data(), sh.size(), d); }
static void* z(std::vector<int64_t> sh, aclDataType dt) {
    int64_t n = 1; for (auto v : sh) n *= v; size_t b = (size_t)n * aclDataTypeSize(dt);
    void* d = nullptr; aclrtMalloc(&d, b, ACL_MEM_MALLOC_HUGE_FIRST); aclrtMemset(d, b, 0, b); return d; }
static int run(int64_t kvH) {
    aclrtStream s; aclrtCreateStream(&s);
    void* b[14] = {z({8,1,7168},ACL_BF16), z({7168,1536},ACL_BF16), z({1536,6144},ACL_BF16),
        z({32,128,512},ACL_BF16), z({7168,576},ACL_BF16), z({1536},ACL_BF16), z({512},ACL_BF16),
        z({8,1,64},ACL_BF16), z({8,1,64},ACL_BF16), z({8,1},ACL_INT64),
        z({16,128,1,kvH},ACL_BF16), z({16,128,1,64},ACL_BF16),
        z({8,1,32,512},ACL_BF16), z({8,1,32,64},ACL_BF16)};
    std::vector<int64_t> ci = {0,1,2,3,4,5,6,7};
    aclrtMemcpy(b[9], 64, ci.data(), 64, ACL_MEMCPY_HOST_TO_DEVICE);
    aclTensor* t[14] = {mk(b[0],{8,1,7168},ACL_BF16), mk(b[1],{7168,1536},ACL_BF16,true),
        mk(b[2],{1536,6144},ACL_BF16,true), mk(b[3],{32,128,512},ACL_BF16),
        mk(b[4],{7168,576},ACL_BF16,true), mk(b[5],{1536},ACL_BF16), mk(b[6],{512},ACL_BF16),
        mk(b[7],{8,1,64},ACL_BF16), mk(b[8],{8,1,64},ACL_BF16), mk(b[9],{8,1},ACL_INT64),
        mk(b[10],{16,128,1,kvH},ACL_BF16), mk(b[11],{16,128,1,64},ACL_BF16),
        mk(b[12],{8,1,32,512},ACL_BF16), mk(b[13],{8,1,32,64},ACL_BF16)};
    uint64_t ws = 0; aclOpExecutor* ex = nullptr;
    int r1 = (int)aclnnMlaPrologV2WeightNzGetWorkspaceSize(t[0],t[1],t[2],t[3],t[4],t[5],t[6],t[7],
        t[8],t[9],t[10],t[11],nullptr,nullptr,nullptr,nullptr,nullptr,nullptr,nullptr,
        1e-5,1e-5,(char*)"PA_BSND",t[12],t[13],nullptr,&ws,&ex);
    int r2 = -1, rs = -1;
    if (r1 == 0) { void* w = nullptr; if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST);
        r2 = (int)aclnnMlaPrologV2WeightNz(w, ws, ex, s); rs = (int)aclrtSynchronizeStream(s); }
    printf("kvCacheH=%lld ret_gws=%d ret_exec=%d sync=%d\n", (long long)kvH, r1, r2, rs);
    aclrtDestroyStream(s); return r1; }
int main() { aclInit(nullptr); aclrtSetDevice(0);
    run(512); run(256); aclrtResetDevice(0); aclFinalize(); return 0; }
g++ -std=c++17 -O2 repro.cpp -o repro -I$ASCEND_HOME_PATH/include \
    -L$ASCEND_HOME_PATH/lib64 -lascendcl -lopapi -lnnopbase && ./repro
# kvCacheH=512 ret_gws=0 ret_exec=0 sync=0
# kvCacheH=256 ret_gws=0 ret_exec=0 sync=0

影响

PA 形态的 KV cache 是长生命周期缓冲,通常由推理框架按 (BlockNum,BlockSize,Nkv,Hckv) 预分配后再交给算子原地更新。接口不校验尾轴时:调用方一旦把 Hckv 配错(例如切换到未量化的 512 宽 cache 却保留了量化 256 宽的描述),算子仍按 512 写,每个命中槽越界一倍,表现为相邻 block 被踩或越界写——属于难定位的静默内存破坏,而不是参数错误。

建议

在 op_host 的 kvCacheRef / krCacheRef 校验中补 dim[3] == Hckv(Hckv=512,krCacheRef 为 64),不一致按 161002 拒绝;同时给 cacheIndex 增加 < BlockNum*BlockSize 的值域校验(当前同样缺失)。

likedislike
liuhanwen8liuhanwen8
22 days ago Added label: bug-report
周云飞
周云飞Collaborators
22 days ago Comments:

感谢提供完整的对照结果和复现程序。您报告的关键问题是:在 Atlas A2 910B2、CANN 9.2.0 环境下,将 kvCacheRef 从 [16,128,1,512] 改为 [16,128,1,256] 后,第一段、执行段和流同步仍全部返回 0。按您引用的 Hckv=512 约束,这属于需要进一步确认的参数校验缺口;执行成功并不能证明缓存写入安全。

问题分析

对于示例中的 BF16 数据,256 个元素对应 512 字节,512 个元素对应 1024 字节。如果内核仍按 Hckv=512 写入,而缓存按尾轴 256 分配,写入宽度就与张量描述不一致,存在覆盖其他槽位或越过缓冲区边界的风险。不过,当前示例的 cacheIndex 为 0~7,并未覆盖最后一个槽位,因此还不能据此确认已经越过整个张量末端,也不能将未崩溃的原因确定为分配器预留了余量。实际写入位置和范围仍需结合内核寻址逻辑确认。

处理方向

一个可行的方向是在第一段可到达的形状检查中,补充 PA_BSND 模式下 kvCacheRef、krCacheRef 尾轴与对应计算宽度的一致性检查。对于您报告的未量化场景,分别检查 512 和 64 是合理的候选方案;其他量化模式应按各自支持的缓存形状处理,避免直接套用同一常量。您期望的 161002 返回码,还需核对内部检查失败如何传递到公开接口。

cacheIndex 的值域检查也值得单独确认。它涉及设备张量内容,不能仅靠形状检查完成;需要结合合法索引范围、是否允许特殊索引值,以及额外检查的执行开销选择实现方式。

目前尚缺少内部形状检查和缓存写入路径的直接证据,V3 是否存在相同问题也未确认。确认前,建议调用侧按该场景的 512 宽度分配并描述缓存,不要将返回 0 作为错误形状可安全使用的依据。

likedislike
周云飞
周云飞Collaborators
20 days ago Comments:

/assign @shasha_an

likedislike
CANN-robotCANN-robotCollaborators
20 days ago Assign shasha_an as responsible person
Sshasha_anCollaborators
17 days ago Assign wangss21 as responsible person
CANN-robotCANN-robotCollaborators
11 days ago Close issue
CANN-robotCANN-robotCollaborators
11 days ago Added label: resolved
周云飞
周云飞Collaborators
6 days ago Comments:

处置结果

已为 MlaPrologV2 的共享 tiling 校验补上 kvCacheRef 尾轴约束,要求其等于从权重推导的 Hckv。PR 增加了期望 512、实际传入 256 的负向 tiling 单测。

变更已合入 master,详见 PR #15124。

likedislike