Closed
[Bug-Report|缺陷反馈]: aclnnInplaceAddRmsNorm 的 epsilon=NaN 未被拦截,两段均返回成功且输出全为 NaN #7397
liuhanwen8Add on  26 days agoClosed at  6 days ago
liuhanwen8
liuhanwen8
26 days ago Create

Describe the current behavior / 问题描述 (Mandatory / 必填)

aclnnInplaceAddRmsNorm 的两段式接口对属性 epsilon 只做 epsilon < 0 判断,NaN 与该比较恒为假,因此 epsilon=NaN 会被放行:

  • aclnnInplaceAddRmsNormGetWorkspaceSize 返回 0
  • aclnnInplaceAddRmsNorm 返回 0
  • 原地输出 x1Ref(应写入 y)与 rstdOut 全部元素为 NaN

即:一个明显非法的属性值被静默接受,并把整块输出污染成 NaN,调用方拿不到任何错误信号。

对照:epsilon 为负值时会被 tiling 拒绝(返回 561002),说明校验点存在,只是漏了非有限值。

Environment Information / 环境信息 (Mandatory / 必填)

  • 昇腾硬件型号:Ascend 910B3
  • CANN 版本:9.2.0
  • 驱动版本:26.1.1
  • 操作系统:openEuler(aarch64)
  • 编译器:g++ 10.3.1

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

  1. 把下面的 repro_nan.cpp 保存到任意目录(只用 CANN 公开头文件与 libascendcl/libopapi/libnnopbase)。
  2. 编译:g++ -std=c++17 -O2 -I$ASCEND_HOME/include -I$ASCEND_HOME/include/aclnnop repro_nan.cpp -L$ASCEND_HOME/lib64 -lascendcl -lopapi -lnnopbase -Wl,--allow-shlib-undefined -o repro_nan。
  3. source $ASCEND_HOME/set_env.sh 后执行 ./repro_nan。
  4. 程序依次跑两条用例:对照组用 epsilon=1e-6,缺陷组用 epsilon=NaN,其余参数完全相同(x1=x2=[2,16]、gamma=[16]、rstdOut=[2,1],fp32)。
#include <cmath>
#include <cstdio>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_inplace_add_rms_norm.h"

static int64_t Numel(const std::vector<int64_t>& s)
{
    int64_t n = 1;
    for (auto v : s) { n *= v; }
    return n;
}

static aclTensor* Make(const std::vector<int64_t>& shape, float v, void** p)
{
    int64_t n = Numel(shape);
    size_t bytes = (size_t)(n > 0 ? n : 1) * sizeof(float);
    if (aclrtMalloc(p, bytes, ACL_MEM_MALLOC_HUGE_FIRST) != ACL_SUCCESS) { return nullptr; }
    std::vector<float> h((size_t)(n > 0 ? n : 1), v);
    aclrtMemcpy(*p, bytes, h.data(), bytes, ACL_MEMCPY_HOST_TO_DEVICE);
    std::vector<int64_t> dims = shape.empty() ? std::vector<int64_t>{1} : shape;
    std::vector<int64_t> st(dims.size(), 1);
    for (int64_t i = (int64_t)dims.size() - 2; i >= 0; i--) { st[(size_t)i] = dims[(size_t)i + 1] * st[(size_t)i + 1]; }
    return aclCreateTensor(dims.data(), dims.size(), ACL_FLOAT, st.data(), 0, ACL_FORMAT_ND,
                           dims.data(), dims.size(), *p);
}

static void Case(const char* tag, double eps)
{
    aclrtStream stream = nullptr;
    aclrtCreateStream(&stream);
    void *p1 = nullptr, *p2 = nullptr, *pg = nullptr, *pr = nullptr;
    aclTensor* x1 = Make({2, 16}, 1.0f, &p1);
    aclTensor* x2 = Make({2, 16}, 2.0f, &p2);
    aclTensor* g = Make({16}, 0.5f, &pg);
    aclTensor* r = Make({2, 1}, 0.0f, &pr);
    uint64_t ws = 0;
    aclOpExecutor* ex = nullptr;
    int ret = (int)aclnnInplaceAddRmsNormGetWorkspaceSize(x1, x2, g, eps, r, &ws, &ex);
    printf("[%s] GetWorkspaceSize = %d\n", tag, ret);
    if (ret == 0) {
        void* wa = nullptr;
        if (ws > 0) { aclrtMalloc(&wa, ws, ACL_MEM_MALLOC_HUGE_FIRST); }
        printf("[%s] Execute = %d\n", tag, (int)aclnnInplaceAddRmsNorm(wa, ws, ex, stream));
        aclrtSynchronizeStream(stream);
        std::vector<float> out(32, -7.0f);
        aclrtMemcpy(out.data(), 32 * sizeof(float), p1, 32 * sizeof(float), ACL_MEMCPY_DEVICE_TO_HOST);
        int nanCnt = 0;
        for (auto v : out) { if (std::isnan(v)) { nanCnt++; } }
        printf("[%s] x1Ref[0..3] = %.6f %.6f %.6f %.6f;NaN 元素 %d/32\n",
               tag, out[0], out[1], out[2], out[3], nanCnt);
        if (wa) { aclrtFree(wa); }
    }
    aclDestroyTensor(x1); aclDestroyTensor(x2); aclDestroyTensor(g); aclDestroyTensor(r);
    aclrtFree(p1); aclrtFree(p2); aclrtFree(pg); aclrtFree(pr);
    aclrtDestroyStream(stream);
}

int main()
{
    aclInit(nullptr);
    aclrtSetDevice(0);
    Case("对照组 CTRL", 1e-6);
    Case("缺陷组 DEFECT", std::nan(""));
    aclrtResetDevice(0);
    aclFinalize();
    return 0;
}

Describe the expected behavior / 预期结果 (Mandatory / 必填)

epsilon 为非有限值(NaN/Inf)时应当按非法参数拒绝(返回 161002 一类参数校验错误码),而不是返回成功并写出全 NaN。
参考实现里同一校验点已存在(epsilon < 0 会被拒),只需把非有限值一并纳入判断。

实测输出(Ascend 910B3 / CANN 9.2.0):

[对照组 CTRL] GetWorkspaceSize = 0
[对照组 CTRL] Execute = 0
[对照组 CTRL] x1Ref[0..3] = 0.500000 0.500000 0.500000 0.500000;NaN 元素 0/32
[缺陷组 DEFECT] GetWorkspaceSize = 0
[缺陷组 DEFECT] Execute = 0
[缺陷组 DEFECT] x1Ref[0..3] = nan nan nan nan;NaN 元素 32/32

补充观测:

  • rstdOut(fp32,shape [2,1])同样全部为 NaN;python 侧同一构造结果一致(两段 0、32/32 全 NaN);
  • 关闭/开启确定性计算两种情况下表现一致;
  • 对照:epsilon=-1e-6 会在 tiling 阶段被拒(返回 561002),x1Ref 保持调用前的值。

Special notes for this issue/备注 (Optional / 选填)

  • 同族 aclnnAddRmsNorm 建议一并检查同一处 epsilon 校验;
  • 定级建议:P1(静默脏数据:返回成功但输出全为 NaN,调用方无法感知);
  • 影响:epsilon 由外部配置注入(如 JSON/YAML 解析出 NaN)时,整层输出被污染且无报错。
likedislike
liuhanwen8liuhanwen8
26 days ago Added label: bug-report
yuning_chen
yuning_chenCollaborators
26 days ago Comments:

初步分析

感谢反馈,我们已开始核对这个问题。

现象理解:缺陷反馈;aclnnInplaceAddRmsNorm 的 epsilon=NaN 未被拦截,两段均返回成功且输出全为 NaN。
当前判断:从描述看,这是缺陷反馈「aclnnInplaceAddRmsNorm 的 epsilon=NaN 未被拦截,两段均返回成功且输出全为 NaN」(正文涉及返回码 561002 / 161002)。正文已给出对照用例与期望/实际差异,更像参数校验、错误码语义或静默错值类问题。以上为初步判断,待复现确认,不能当成已确认根因。
涉及范围:aclnnInplaceAddRmsNorm、aclnnInplaceAddRmsNormGetWorkspaceSize、aclnnop
下一步:我们会对照资料契约与实现路径继续定位,并按需补充回归用例。

likedislike
yuning_chenyuning_chenCollaborators
25 days ago Assign liujie12345678 as responsible person
yuning_chen
yuning_chenCollaborators
25 days ago Comments:

您好,问题已收到,当前 @liujie12345678 正在处理中。

likedislike
liujie12345678liujie12345678Collaborators
24 days ago Assign liuyun_nj as responsible person
liujie12345678liujie12345678Collaborators
24 days ago Removed responsible person liujie12345678
liuyun_njliuyun_njCollaborators
11 days ago Associated pull request
liuyun_njliuyun_njCollaborators
6 days ago changed custom state from 进行中 to 已完成
liuyun_njliuyun_njCollaborators
6 days ago Close issue
chenjiayi_chenjiayi_Collaborators
3 days ago Assign chenjiayi_ as responsible person
chenjiayi_
chenjiayi_Collaborators
3 days ago Comments:

补充说明本问题的后续处理:

已修复并随关联 PR 合入。

处理结果:

  • !14221:fix issue,add md doc,add check shape

验证:

  • 关联 PR(2026-11-13)已合入,变更可从 PR 记录追溯。
  • 本次以 PR 记录与 issue 讨论核对为主,未重新执行复现或真机验证。

说明:合入分支与版本以 PR 记录为准;如仍有问题,请重新提 issue 并附版本、shape 与日志。

如果还有后续需要,请重新提 issue。

likedislike
chenjiayi_chenjiayi_Collaborators
1 day ago Removed responsible person chenjiayi_