Closed
[Bug-Report|缺陷反馈]: aclnnDeepNorm 未校验 meanOut/rstdOut 归约维(尾维)形状,非法 shape 两段返回 0/0 且越界写 #7296
liuhanwen8Add on  28 days agoClosed at  6 days ago
liuhanwen8
liuhanwen8
28 days ago Create

现象

aclnnDeepNorm 只校验了 meanOut / rstdOut 的前导维(x 的 xDimNum - gammaDimNum 维)与维数,没有校验归约维(尾维)必须为 1。把尾维写成非 1 或 0 时,第一段/第二段均返回 0/0,kernel 仍按「前导维乘积」个元素写入,导致输出只写一部分、甚至写出声明的元素范围之外。

输入 两段返回 meanOut 实测 说明
meanOut=[3,1,1](资料要求,合法) 0 / 0 [1, 2.2, 3.4],3/3 写入 对照组
meanOut=[3,1,2](尾维非 1) 0 / 0 [1, 2.2, 3.4, <未写>, <未写>, <未写>],只写 3/6 缺陷组 A
meanOut=[3,1,0](零元素) 0 / 0 声明的元素数为 0,仍被写入 1 缺陷组 B

缺陷组 B 用 mssanitizer --tool=memcheck 跑同一 kernel(DeepNorm_03_high_performance_18)报 6 次 illegal write of size 4(3 行 × mean/rstd):

====== ERROR: illegal write of size 4
======    at 0x12c0c001d008 on GM in DeepNorm_03_high_performance_18
======    in block aiv(2) on device 1

同族已记录于 #7039(aclnnDeepNormGrad 未校验 mean/rstd 归约维形状);本 issue 针对前向 aclnnDeepNorm,校验函数在 norm/deep_norm/op_host/deep_norm_shape_check.h::CheckDeepNormShapeValue()(arch22/arch35 共用),与反向算子不是同一处代码。

期望

资料 docs/aclnnDeepNorm.md 中 meanOut / rstdOut 的「使用说明」为:「shape与输入x满足broadcast关系(前几维的维度和输入x前几维的维度相同,前几维表示不需要norm的维度,其余维度大小为1)」;错误码表 161002 覆盖**「输入和输出的shape不匹配或者不在支持的维度范围内」**。因此尾维不为 1 时应返回 161002,不应放行并写入部分或越界数据。

环境

  • 硬件:Atlas A3 训练系列(npu-smi 26.1.1);越界写复现于 Atlas A2 910B2
  • CANN:9.2.0,openEuler 22.03 (LTS-SP4) aarch64,g++ 10.3.1
  • 仓库与提交:cann/ops-nn f834b617(git fetch 后 master),复现日期 2026-10-25

复现步骤

  1. 保存下方脚本为 repro.cpp,执行 g++ -std=c++17 -O2 repro.cpp -o repro -I$ASCEND_HOME_PATH/include -L$ASCEND_HOME_PATH/lib64 -Wl,-rpath,$ASCEND_HOME_PATH/lib64 -lopapi_nn -lopapi -lascendcl -lnnopbase
  2. ./repro
  3. 观察缺陷组两段返回均为 0,且 meanOut 第 4 个元素起保持金丝雀值 -12345
  4. 缺陷组 B 可用 mssanitizer --tool=memcheck --log-file=mc.log ./repro 复核越界写

复现脚本

#include <cstdio>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_deep_norm.h"

static aclTensor *mk(const std::vector<int64_t> &s, void *dev)
{
    std::vector<int64_t> st(s.size(), 1);
    for (int64_t i = (int64_t)s.size() - 2; i >= 0; --i) st[i] = s[i + 1] * st[i + 1];
    return aclCreateTensor(s.data(), s.size(), ACL_FLOAT, st.data(), 0, ACL_FORMAT_ND,
                           s.data(), s.size(), dev);
}

static void *up(const std::vector<float> &v)
{
    void *d = nullptr;
    aclrtMalloc(&d, v.size() * 4, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMemcpy(d, v.size() * 4, v.data(), v.size() * 4, ACL_MEMCPY_HOST_TO_DEVICE);
    return d;
}

static void run(const char *tag, std::vector<int64_t> meanShape)
{
    size_t mn = 1, i;
    for (auto d : meanShape) mn *= (size_t)d;
    std::vector<float> xd{1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12}, gxd(12, 0.25f);
    std::vector<float> bd(4, 0.1f), gd(4, 1.5f), yd(12, -12345.0f);
    std::vector<float> md(mn ? mn : 1, -12345.0f);
    void *dx = up(xd), *dgx = up(gxd), *db = up(bd), *dg = up(gd), *dy = up(yd);
    void *dm = up(md), *dr = up(md);
    std::vector<int64_t> xs{3, 1, 4}, gs{4};
    aclTensor *tx = mk(xs, dx), *tgx = mk(xs, dgx), *tb = mk(gs, db), *tg = mk(gs, dg);
    aclTensor *tm = mk(meanShape, dm), *tr = mk(meanShape, dr), *ty = mk(xs, dy);
    uint64_t ws = 0;
    aclOpExecutor *e = nullptr;
    aclnnStatus r1 = aclnnDeepNormGetWorkspaceSize(tx, tgx, tb, tg, 0.3, 1e-6, tm, tr, ty, &ws, &e);
    aclError r2 = ACL_SUCCESS;
    if (r1 == ACL_SUCCESS) {
        void *w = nullptr;
        if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST);
        r2 = aclnnDeepNorm(w, ws, e, nullptr);
        aclrtSynchronizeDevice();
    }
    std::vector<float> m(mn ? mn : 1);
    aclrtMemcpy(m.data(), (mn ? mn : 1) * 4, dm, (mn ? mn : 1) * 4, ACL_MEMCPY_DEVICE_TO_HOST);
    int keep = 0;
    for (i = 0; i < mn; ++i) if (m[i] == -12345.0f) keep++;
    printf("%-24s GetWorkspaceSize=%d Execute=%d meanOut=[", tag, (int)r1, (int)r2);
    for (float v : m) printf("%.4g ", v);
    printf("] 未写=%d/%zu\n", keep, mn);
}

int main()
{
    aclInit(nullptr);
    aclrtSetDevice(0);
    run("对照组 [3,1,1] 合法", {3, 1, 1});
    run("缺陷组 [3,1,2] 尾维非1", {3, 1, 2});
    run("缺陷组 [3,1,0] 零元素", {3, 1, 0});
    return 0;
}

实测输出:

对照组 [3,1,1] 合法 GetWorkspaceSize=0 Execute=0 meanOut=[1 2.2 3.4 ] 未写=0/3
缺陷组 [3,1,2] 尾维非1 GetWorkspaceSize=0 Execute=0 meanOut=[1 2.2 3.4 -1.234e+04 -1.234e+04 -1.234e+04 ] 未写=3/6
缺陷组 [3,1,0] 零元素 GetWorkspaceSize=0 Execute=0 meanOut=[1 ] 未写=0/0

影响

meanOut/rstdOut 按归一化维拼错时(例如照搬 LayerNorm 的 [N,1,1] 写成 [N,1,D]),调用方拿到 0 返回码,只有前 N 个统计量有效、其余是未初始化内存,而 yOut 仍按正确语义算出 —— 两份输出互相矛盾且无告警;当声明元素数少于前导维乘积(含 [N,1,0])时 kernel 写出声明范围,memcheck 报 illegal write。

建议

norm/deep_norm/op_host/deep_norm_shape_check.h 的 CheckDeepNormShapeValue() 目前只对 i < xDimNum - gammaDimNum 的前导维比较 rstd/mean 与 x(第 124-130 行),gammaDimNum 段只校验 gamma/beta(第 131-137 行),rstd/mean 的尾维完全没有参与比较。

建议对 i in [xDimNum-gammaDimNum, xDimNum) 断言 rstd/mean 对应维等于 1,不满足则按 OP_LOGE_FOR_INVALID_SHAPE_WITH_REASON 返回 GRAPH_FAILED(映射 161002)。该函数被 arch22/arch35 共用,改一处覆盖两侧。

likedislike
liuhanwen8liuhanwen8
28 days ago Added label: bug-report
yuning_chen
yuning_chenCollaborators
26 days ago Comments:

初步分析

感谢反馈,我们已开始核对这个问题。

现象理解:缺陷反馈;aclnnDeepNorm 未校验 meanOut/rstdOut 归约维(尾维)形状,非法 shape 两段返回 0/0 且越界写。
当前判断:从描述看,这是缺陷反馈「aclnnDeepNorm 未校验 meanOut/rstdOut 归约维(尾维)形状,非法 shape 两段返回 0/0 且越界写」(正文涉及返回码 161002)。正文已给出对照用例与期望/实际差异,更像参数校验、错误码语义或静默错值类问题。以上为初步判断,待复现确认,不能当成已确认根因。
涉及范围:aclnnDeepNorm、aclnnDeepNormGrad、aclnnop
下一步:我们会对照资料契约与实现路径继续定位,并按需补充回归用例。

likedislike
yuning_chenyuning_chenCollaborators
26 days ago Assign liujie12345678 as responsible person
yuning_chen
yuning_chenCollaborators
26 days ago Comments:

您好,问题已收到,当前 @liujie12345678 正在处理中。

likedislike
liujie12345678liujie12345678Collaborators
24 days ago Assign liuyun_nj as responsible person
liuyun_njliuyun_njCollaborators
11 days ago Associated pull request
liujie12345678liujie12345678Collaborators
10 days ago Removed responsible person liujie12345678
liuyun_njliuyun_njCollaborators
6 days ago changed custom state from 进行中 to 已完成
liuyun_njliuyun_njCollaborators
6 days ago Close issue
chenjiayi_chenjiayi_Collaborators
3 days ago Assign chenjiayi_ as responsible person
chenjiayi_
chenjiayi_Collaborators
3 days ago Comments:

补充说明本问题的后续处理:

已修复并随关联 PR 合入。

处理结果:

  • !14221:fix issue,add md doc,add check shape

验证:

  • 关联 PR(2026-11-13)已合入,变更可从 PR 记录追溯。
  • 本次以 PR 记录与 issue 讨论核对为主,未重新执行复现或真机验证。

说明:合入分支与版本以 PR 记录为准;如仍有问题,请重新提 issue 并附版本、shape 与日志。

如果还有后续需要,请重新提 issue。

likedislike
chenjiayi_chenjiayi_Collaborators
1 day ago Removed responsible person chenjiayi_