感谢提供完整的对照结果和复现程序。您报告的关键问题是:在 Atlas A2 910B2、CANN 9.2.0 环境下,将 kvCacheRef 从 [16,128,1,512] 改为 [16,128,1,256] 后,第一段、执行段和流同步仍全部返回 0。按您引用的 Hckv=512 约束,这属于需要进一步确认的参数校验缺口;执行成功并不能证明缓存写入安全。
问题分析
对于示例中的 BF16 数据,256 个元素对应 512 字节,512 个元素对应 1024 字节。如果内核仍按 Hckv=512 写入,而缓存按尾轴 256 分配,写入宽度就与张量描述不一致,存在覆盖其他槽位或越过缓冲区边界的风险。不过,当前示例的 cacheIndex 为 0~7,并未覆盖最后一个槽位,因此还不能据此确认已经越过整个张量末端,也不能将未崩溃的原因确定为分配器预留了余量。实际写入位置和范围仍需结合内核寻址逻辑确认。
处理方向
一个可行的方向是在第一段可到达的形状检查中,补充 PA_BSND 模式下 kvCacheRef、krCacheRef 尾轴与对应计算宽度的一致性检查。对于您报告的未量化场景,分别检查 512 和 64 是合理的候选方案;其他量化模式应按各自支持的缓存形状处理,避免直接套用同一常量。您期望的 161002 返回码,还需核对内部检查失败如何传递到公开接口。
cacheIndex 的值域检查也值得单独确认。它涉及设备张量内容,不能仅靠形状检查完成;需要结合合法索引范围、是否允许特殊索引值,以及额外检查的执行开销选择实现方式。
目前尚缺少内部形状检查和缓存写入路径的直接证据,V3 是否存在相同问题也未确认。确认前,建议调用侧按该场景的 512 宽度分配并描述缓存,不要将返回 0 作为错误形状可安全使用的依据。


/assign @shasha_an


现象
aclnnMlaPrologV2WeightNz对kvCacheRef的尾轴(Hckv)不做校验:把每槽宽度从 512 改成 256,第一段、第二段仍都返回 0,任务正常完成。[16,128,1,512](资料 shape)[16,128,1,256]期望
资料参数表对
kvCacheRef的使用说明是ND (BlockNum,BlockSize,Nkv,Hckv),且约束 Hckv=512;错误码表 161002 覆盖「参数 shape(维度/尺寸)不在接口支持范围内」。尾轴与 Hckv 不一致时应在第一段按 161002 拒绝。算子内部按权重推导出的 Hckv=512 写每个命中槽位,而声明的 cache 每槽只有 256 个元素,等于每个槽写 2 倍长度,最后一槽必然越过张量末端(当前未崩溃只是因为 ACL 分配器按大页取整预留了余量)。
环境
cann/ops-transformer,master5f9cdcf3c868e4598893b8cfe75657f0055da5b7(2026-10-24 17:01 +0800)attention/mla_prolog_v2(接口已标 deprecated,V3 继承同一套 cache 写入路径)复现步骤
source $ASCEND_HOME_PATH/set_env.shrepro.cpp并编译./reprokvCacheH=512与kvCacheH=256的ret_gws/ret_exec/sync都是 0复现脚本
#include <acl/acl.h> #include <aclnnop/aclnn_mla_prolog_v2_weight_nz.h> #include <cstdio> #include <vector> static aclTensor* mk(void* d, std::vector<int64_t> sh, aclDataType dt, bool nz = false) { std::vector<int64_t> st(sh.size()); int64_t acc = 1; for (int i = (int)sh.size() - 1; i >= 0; --i) { st[i] = acc; acc *= sh[i] ? sh[i] : 1; } return aclCreateTensor(sh.data(), sh.size(), dt, st.data(), 0, nz ? ACL_FORMAT_FRACTAL_NZ : ACL_FORMAT_ND, sh.data(), sh.size(), d); } static void* z(std::vector<int64_t> sh, aclDataType dt) { int64_t n = 1; for (auto v : sh) n *= v; size_t b = (size_t)n * aclDataTypeSize(dt); void* d = nullptr; aclrtMalloc(&d, b, ACL_MEM_MALLOC_HUGE_FIRST); aclrtMemset(d, b, 0, b); return d; } static int run(int64_t kvH) { aclrtStream s; aclrtCreateStream(&s); void* b[14] = {z({8,1,7168},ACL_BF16), z({7168,1536},ACL_BF16), z({1536,6144},ACL_BF16), z({32,128,512},ACL_BF16), z({7168,576},ACL_BF16), z({1536},ACL_BF16), z({512},ACL_BF16), z({8,1,64},ACL_BF16), z({8,1,64},ACL_BF16), z({8,1},ACL_INT64), z({16,128,1,kvH},ACL_BF16), z({16,128,1,64},ACL_BF16), z({8,1,32,512},ACL_BF16), z({8,1,32,64},ACL_BF16)}; std::vector<int64_t> ci = {0,1,2,3,4,5,6,7}; aclrtMemcpy(b[9], 64, ci.data(), 64, ACL_MEMCPY_HOST_TO_DEVICE); aclTensor* t[14] = {mk(b[0],{8,1,7168},ACL_BF16), mk(b[1],{7168,1536},ACL_BF16,true), mk(b[2],{1536,6144},ACL_BF16,true), mk(b[3],{32,128,512},ACL_BF16), mk(b[4],{7168,576},ACL_BF16,true), mk(b[5],{1536},ACL_BF16), mk(b[6],{512},ACL_BF16), mk(b[7],{8,1,64},ACL_BF16), mk(b[8],{8,1,64},ACL_BF16), mk(b[9],{8,1},ACL_INT64), mk(b[10],{16,128,1,kvH},ACL_BF16), mk(b[11],{16,128,1,64},ACL_BF16), mk(b[12],{8,1,32,512},ACL_BF16), mk(b[13],{8,1,32,64},ACL_BF16)}; uint64_t ws = 0; aclOpExecutor* ex = nullptr; int r1 = (int)aclnnMlaPrologV2WeightNzGetWorkspaceSize(t[0],t[1],t[2],t[3],t[4],t[5],t[6],t[7], t[8],t[9],t[10],t[11],nullptr,nullptr,nullptr,nullptr,nullptr,nullptr,nullptr, 1e-5,1e-5,(char*)"PA_BSND",t[12],t[13],nullptr,&ws,&ex); int r2 = -1, rs = -1; if (r1 == 0) { void* w = nullptr; if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST); r2 = (int)aclnnMlaPrologV2WeightNz(w, ws, ex, s); rs = (int)aclrtSynchronizeStream(s); } printf("kvCacheH=%lld ret_gws=%d ret_exec=%d sync=%d\n", (long long)kvH, r1, r2, rs); aclrtDestroyStream(s); return r1; } int main() { aclInit(nullptr); aclrtSetDevice(0); run(512); run(256); aclrtResetDevice(0); aclFinalize(); return 0; }g++ -std=c++17 -O2 repro.cpp -o repro -I$ASCEND_HOME_PATH/include \ -L$ASCEND_HOME_PATH/lib64 -lascendcl -lopapi -lnnopbase && ./repro # kvCacheH=512 ret_gws=0 ret_exec=0 sync=0 # kvCacheH=256 ret_gws=0 ret_exec=0 sync=0影响
PA 形态的 KV cache 是长生命周期缓冲,通常由推理框架按
(BlockNum,BlockSize,Nkv,Hckv)预分配后再交给算子原地更新。接口不校验尾轴时:调用方一旦把 Hckv 配错(例如切换到未量化的 512 宽 cache 却保留了量化 256 宽的描述),算子仍按 512 写,每个命中槽越界一倍,表现为相邻 block 被踩或越界写——属于难定位的静默内存破坏,而不是参数错误。建议
在
op_host的kvCacheRef/krCacheRef校验中补dim[3] == Hckv(Hckv=512,krCacheRef 为 64),不一致按 161002 拒绝;同时给cacheIndex增加< BlockNum*BlockSize的值域校验(当前同样缺失)。