Closed
[Bug-Report|缺陷反馈]: aclnnRmsNormQuant 空 Tensor 两段式不一致(第一段返回 0,第二段 361001) #7402
liuhanwen8Add on 26 days agoClosed at 17 days ago
26 days ago Added label: bug-report
yuning_chen
26 days ago Comments:
26 days ago Comments:
初步分析
感谢反馈,我们已开始核对这个问题。
现象理解:文档反馈;aclnnRmsNormQuant 空 Tensor 两段式不一致(第一段返回 0,第二段 361001)。
当前判断:从描述看,这是资料/注释与实现口径不一致类文档反馈「aclnnRmsNormQuant 空 Tensor 两段式不一致(第一段返回 0,第二段 361001)」。需要对照接口文档、头文件注释与实现/实测结果核对哪一侧需修正。以上为初步判断,待复现确认,不能当成已确认根因。
涉及范围:aclnnRmsNormQuant、aclnnop、aclnn_rms_norm_quant
下一步:我们会先核对文档声明与实现/测试结果是否一致,再决定改资料还是改代码。


25 days ago Assign liujie12345678 as responsible person
yuning_chen
25 days ago Comments:
25 days ago Comments:
您好,问题已收到,当前 @liujie12345678 正在处理中。


25 days ago Assign liuyun_nj as responsible person
25 days ago Removed responsible person liujie12345678
17 days ago changed custom state from 进行中 to 已完成
17 days ago Close issue
chenjiayi_
11 days ago Comments:
11 days ago Comments:
补充说明本问题的修复结果:
结论:A2/A3(非 Regbase)路径现在对空 Tensor 走「成功空转」:第一段返回 0、workspaceSize 为 0,第二段不执行计算,不再出现第一段 0、第二段 361001 的矛盾。
修复内容:
norm/rms_norm_quant/op_host/op_api/aclnn_rms_norm_quant.cpp:aclnnRmsNormQuantGetWorkspaceSize()在非 Regbase 分支的CheckParams通过后判断x->IsEmpty(),命中时置*workspaceSize = 0、释放 executor 并返回ACLNN_SUCCESS(:491-497)。shape 校验已保证 y 与 x 同 shape,因此 y 必为空 Tensor。- 文档
norm/rms_norm_quant/docs/aclnnRmsNormQuant.md:删除「A2/A3/310P/310B 不支持空Tensor」,把 950 段的空 Tensor 说明扩展为全平台——「满足其余 shape、数据类型约束时,支持x与y均为空 Tensor,第一段接口返回 0 字节 workspace,第二段接口不执行计算。必选参数仍须提供 Tensor 对象。」 - 同 MR 还收紧了 A2/A3 的 INT4 声明口径:y 不支持直接声明 INT4,须用 INT32 承载(末维为 x 末维的 1/8),对应 #7403。
验证:
- op_api UT 增加空 Tensor 用例,断言第一段返回 0、
workspaceSize为 0;同时更新了 scale 长度、INT4/INT32 等用例的预期。
该 issue 已随修复合入关闭。


现象
x/y 为空 Tensor(x=[0,5]、y=[0,5])时,第一段返回 0 且
workspaceSize=0、executor 非空,第二段返回 361001(内部错误)。两种口径都不自洽:资料参数表写「支持空Tensor」,而同一份资料的 A2「约束说明」写「不支持空Tensor」。期望
资料
norm/rms_norm_quant/docs/aclnnRmsNormQuant.md两处口径之一:若按参数表「支持空Tensor」,第二段应成功且不写输出;若按 A2「约束说明·不支持空Tensor」,第一段就应返回 161002。环境
711a4f5dda0d(norm/rms_norm_quant),2026-10-26复现步骤
repro.cpp;g++ -O2 -std=c++17 repro.cpp -o repro -I$ASCEND_HOME_PATH/include \ -L$ASCEND_HOME_PATH/lib64 -lascendcl -lnnopbase -lopapi./repro ctrl 0、./repro empty 0;GetWorkspaceSize与第二段RmsNormQuant)。复现脚本
#include <cstdio> #include <cstdlib> #include <string> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_rms_norm_quant.h" static void* MkDev(size_t bytes) { void* p = nullptr; aclrtMalloc(&p, bytes, ACL_MEM_MALLOC_HUGE_FIRST); return p; } static aclTensor* MkTen(const std::vector<int64_t>& sh, aclDataType dt, void* dev, size_t esz) { int64_t n = 1; for (auto v : sh) n *= v; std::vector<int64_t> st(sh.size(), 1); for (int i = (int)sh.size() - 2; i >= 0; --i) st[i] = sh[i + 1] * st[i + 1]; return aclCreateTensor(sh.data(), sh.size(), dt, st.data(), 0, ACL_FORMAT_ND, sh.data(), sh.size(), dev); } int main(int argc, char** argv) { std::string sc = argc > 1 ? argv[1] : "ctrl"; std::vector<int64_t> xs{3,5}, gs{1,5}, bs{1,5}, ss{1}, os{1}, ys{3,5}; aclDataType ydt = ACL_INT8; if (sc == "gamma2d") gs = {3,5}; else if (sc == "scale2d") { ss = {1,1}; os = {1,1}; } else if (sc == "scalelen3") { ss = {3}; os = {3}; } else if (sc == "empty") { xs = {0,5}; ys = {0,5}; } else if (sc == "yint4") { xs = {3,16}; gs = {1,16}; bs = {1,16}; ys = {3,16}; ydt = ACL_INT4; } else if (sc == "yint32") { xs = {3,40}; gs = {1,40}; bs = {1,40}; ys = {3,5}; ydt = ACL_INT32; } else if (sc == "xyrank3") { xs = {1,3,5}; ys = {3,5}; } if (aclInit(nullptr) != ACL_SUCCESS) return 1; if (aclrtSetDevice(atoi(argc > 2 ? argv[2] : "0")) != ACL_SUCCESS) return 1; aclrtStream stm = nullptr; aclrtCreateStream(&stm); auto num = [](const std::vector<int64_t>& s) { int64_t n = 1; for (auto v : s) n *= v; return (int)(n > 0 ? n : 1); }; int nx = num(xs), ng = num(gs), nb = num(bs), ns = num(ss), no = num(os), ny = num(ys); std::vector<uint16_t> xh(nx), gh(ng), bh(nb), sh(ns); for (auto& v : xh) v = aclFloatToFloat16(-1.5f); for (auto& v : gh) v = aclFloatToFloat16(1.0f); for (auto& v : bh) v = aclFloatToFloat16(0.25f); for (int i = 0; i < ns; ++i) sh[i] = aclFloatToFloat16(sc == "scalelen3" ? std::vector<float>{0.01f,0.02f,0.05f}[i] : 0.01f); std::vector<int8_t> oh(no, 2), yh(ny * (ydt == ACL_INT4 ? 1 : 4), 0); void *dx = MkDev(nx*2), *dg = MkDev(ng*2), *db = MkDev(nb*2), *ds = MkDev(ns*2), *dof = MkDev(no), *dy = MkDev(yh.size()); aclrtMemcpy(dx, nx*2, xh.data(), nx*2, ACL_MEMCPY_HOST_TO_DEVICE); aclrtMemcpy(dg, ng*2, gh.data(), ng*2, ACL_MEMCPY_HOST_TO_DEVICE); aclrtMemcpy(db, nb*2, bh.data(), nb*2, ACL_MEMCPY_HOST_TO_DEVICE); aclrtMemcpy(ds, ns*2, sh.data(), ns*2, ACL_MEMCPY_HOST_TO_DEVICE); aclrtMemcpy(dof, no, oh.data(), no, ACL_MEMCPY_HOST_TO_DEVICE); aclTensor* x = MkTen(xs, ACL_FLOAT16, dx, 2); aclTensor* g = MkTen(gs, ACL_FLOAT16, dg, 2); aclTensor* b = MkTen(bs, ACL_FLOAT16, db, 2); aclTensor* s = MkTen(ss, ACL_FLOAT16, ds, 2); aclTensor* o = MkTen(os, ACL_INT8, dof, 1); aclTensor* y = MkTen(ys, ydt, dy, 1); uint64_t ws = 0; aclOpExecutor* ex = nullptr; auto r1 = aclnnRmsNormQuantGetWorkspaceSize(x, g, b, s, o, 1e-6, y, &ws, &ex); printf("[%s] GetWorkspaceSize = %d\n", sc.c_str(), (int)r1); if (r1 == 0) { void* p = ws > 0 ? MkDev((size_t)ws) : nullptr; auto r2 = aclnnRmsNormQuant(p, ws, ex, stm); printf("[%s] RmsNormQuant = %d\n", sc.c_str(), (int)r2); if (r2 == 0) { aclrtSynchronizeStream(stm); std::vector<int8_t> out(ny, 0); aclrtMemcpy(out.data(), ny, dy, ny, ACL_MEMCPY_DEVICE_TO_HOST); printf(" y[0..7]="); for (int i = 0; i < ny && i < 8; ++i) printf("%d ", out[i]); printf("\n"); } if (p) aclrtFree(p); } aclFinalize(); return 0; }实测输出:
影响
上层框架若按参数表传空 Tensor,第一段的 0 会被当成「合法」,随后在第二段拿到 361001 内部错误,既无法归因也无法在执行前拦截;空 Tensor 在 dynamic shape 与 padding 场景常见。规避方式:调用方自行判断 numel==0 并跳过调用。
建议
aclnn_rms_norm_quant.cpp的if (x->IsEmpty())早退分支只在IsRegbase()内;非 regbase 路径一路走到 kernel 启动才失败。建议在CheckParams里对非 regbase 的空 Tensor 显式返回 161002(同时请修正资料参数表与约束说明的矛盾,已另提文档 issue)。