Closed
[Bug-Report|缺陷反馈]: aclnnMultinomial 未校验 self 值域:负值/NaN 概率两段返回 0,同步段抛 507018 #3945
liuhanwen8Add on  27 days agoClosed at  3 days ago
liuhanwen8
liuhanwen8
27 days ago Create

现象

aclnnMultinomial 未校验 self 的元素值域(资料要求 >=0)。传入负值或 NaN 时,两段式接口都返回 0,
错误直到 aclrtSynchronizeStream 才以 507018(AICPU exception)暴露:

组 self[0] GetWorkspaceSize Execute Sync 说明
对照 0.4 0 0 0 正常抽样
缺陷 1 -0.1 0 0 507018 负概率未被拒
缺陷 2 NaN 0 0 507018 NaN 概率未被拒

期望

资料 random/stateless_sample_multinomial/docs/aclnnMultinomial.md 参数表 self 使用说明原文:
「self的取值范围需要大于等于0。」

负值/NaN 不在支持面内,应在第一段 aclnnMultinomialGetWorkspaceSize 返回
161002(ACLNN_ERR_PARAM_INVALID),不应进入执行段,更不应让 AICPU 抛异常。

环境

  • 硬件:Atlas A2 训练系列(Ascend 910B2),npu-smi 26.1.1
  • CANN:9.2.0,Linux aarch64,g++ 11.4.0
  • 仓库与提交:cann/ops-math master 584b2ea6cbaeba684a51a74296d82d4d50ab3b0f(git fetch origin master 后核对;
    random/stateless_sample_multinomial/op_api/aclnn_multinomial.cpp:210 的 CheckParams 只校验
    dtype/shape/numsamples/replacement/C<=2^24,没有 self 值域检查)

复现步骤

  1. 保存下方脚本为 repro.cpp。
  2. source $ASCEND_HOME_PATH/set_env.sh。
  3. g++ -std=c++17 -O2 repro.cpp -o repro -I$ASCEND_HOME_PATH/include -L$ASCEND_HOME_PATH/lib64 -lascendcl -lopapi -lnnopbase
  4. ./repro 0。
  5. 看输出:第 2、3 行应为 161002(实测 0/0/507018)。

复现脚本

#include <cmath>
#include <cstdio>
#include <cstdlib>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_multinomial.h"

static aclTensor* MkF(const std::vector<int64_t>& sh, const std::vector<float>& h, void** d, std::vector<int64_t>& st)
{
    st.assign(sh.size(), 1);
    size_t b = h.size() * sizeof(float);
    aclrtMalloc(d, b, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMemcpy(*d, b, h.data(), b, ACL_MEMCPY_HOST_TO_DEVICE);
    return aclCreateTensor(sh.data(), sh.size(), ACL_FLOAT, st.data(), 0, ACL_FORMAT_ND,
                           sh.data(), sh.size(), *d);
}
static aclTensor* MkI(const std::vector<int64_t>& sh, void** d, std::vector<int64_t>& st)
{
    st = {1};
    aclrtMalloc(d, sh[0] * 8, ACL_MEM_MALLOC_HUGE_FIRST);
    std::vector<int64_t> z(sh[0], 0);
    aclrtMemcpy(*d, sh[0] * 8, z.data(), sh[0] * 8, ACL_MEMCPY_HOST_TO_DEVICE);
    return aclCreateTensor(sh.data(), 1, ACL_INT64, st.data(), 0, ACL_FORMAT_ND, sh.data(), 1, *d);
}
static void Run(aclrtStream s, const char* tag, float first)
{
    std::vector<int64_t> sh = {4}, so = {1}, st1, st2;
    std::vector<float> self = {0.1f, 0.2f, 0.3f, 0.4f};
    self[0] = first;
    void *ds = nullptr, *do_ = nullptr;
    aclTensor* ts = MkF(sh, self, &ds, st1);
    aclTensor* to = MkI(so, &do_, st2);
    uint64_t ws = 0; aclOpExecutor* ex = nullptr;
    int r1 = aclnnMultinomialGetWorkspaceSize(ts, 1, true, 1, 0, to, &ws, &ex);
    int r2 = -1, r3 = -1;
    if (r1 == 0) {
        void* w = nullptr; if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST);
        r2 = aclnnMultinomial(w, ws, ex, s);
        r3 = aclrtSynchronizeStream(s);
        if (w) aclrtFree(w);
    }
    printf("%s: GetWorkspaceSize=%d Execute=%d Sync=%d\n", tag, r1, r2, r3);
    aclDestroyTensor(ts); aclDestroyTensor(to); aclrtFree(ds); aclrtFree(do_);
}
int main(int argc, char** argv)
{
    int32_t dev = argc > 1 ? atoi(argv[1]) : 0;
    aclrtStream s = nullptr;
    aclInit(nullptr); aclrtSetDevice(dev); aclrtCreateStream(&s);
    Run(s, "control(self[0]=0.4)", 0.4f);
    Run(s, "self[0]=-0.1       ", -0.1f);
    Run(s, "self[0]=nan        ", NAN);
    aclrtDestroyStream(s); aclrtResetDevice(dev); aclFinalize();
    return 0;
}

实测输出:

control(self[0]=0.4): GetWorkspaceSize=0 Execute=0 Sync=0
self[0]=-0.1       : GetWorkspaceSize=0 Execute=0 Sync=507018
self[0]=nan        : GetWorkspaceSize=0 Execute=0 Sync=507018

影响

  • 负概率/NaN 概率是随机初始化、归一化误差、上游除零等场景的常见副产物;接口不在首段拦截,
    会把参数错误变成 AICPU 异常,调用方只能从 aclrtSynchronizeStream 的 507018 反推,
    错误信息与真实原因(self 值域)没有关联;
  • 同进程后续调用可观察到异常/不稳定,影响批量推理与 fuzz 的可用性;
  • 与已开的 #3924(Bernoulli prob 越界触发 507018)属同一类「概率值域未校验」问题,
    建议按同一模式修复。

建议

  1. 在 aclnn_multinomial.cpp::CheckParams 增加 self 值域校验:device 张量可在 kernel 入口做
    self >= 0 && isfinite(self) 的断言并返回 161002,或在 host 侧对首/尾块采样预检;
  2. 全零行(概率和为 0)也应明确拒绝或定义行为,不要留给 kernel 触发异常;
  3. 补一条负值与一条 NaN 的 UT(期望 161002),与 numsamples<=0 的现有用例并列。
likedislike
liuhanwen8liuhanwen8
27 days ago Added label: bug-report
陈思
陈思Collaborators
26 days ago Comments:

您好,感谢提供负值和 NaN 的对照。按您报告的 584b2ea6cbaeba684a51a74296d82d4d50ab3b0f 核查,CheckValueRange/CheckParams确实没有读取 self 元素,只检查抽样数、类别数等参数;函数名中的“值域检查”并不包含概率权重内容。

问题分析

本例 self=[4] 的元素总数为 4,A2 上先满足 selfSize <= 5000 的 AICPU 分流条件,因此调用的是 MultinomialWithReplacement。即使 numsamples=1,也不会走后面的 DSA/ArgMax 组合路径。当前仓内未定位到这个 AICPU 算子的实际计算内核,故只能确认前置未检查元素与真实后端,不能据此认定设备内也完全没有检查,或把 507018 的具体原因归到某一行。

self 文档要求元素非负,负数和 NaN 不满足要求;但它没有明确非有限值、全零行及这类内容错误的报告时机,第一段错误表也未列该项,需要一并澄清。

这里还需区分设备内容与主机标量:self 是设备 Tensor,在 kernel 入口检查后返回一个参数状态,不会追溯改变已经返回的第一段状态;仅将 kernel 返回值写成 161002 不能实现这一目标。首尾块采样也可能漏掉中间位置的非法元素,不能作为完整合法性校验。

处理方向

可评估覆盖全部元素的 isfinite(x) && x >= 0 检查,并明确每行是否必须有正权重、全零行如何拒绝。这些条件应围绕权重有效性定义,不应额外要求每个值小于等于 1 或权重和必须等于 1。错误如何通过运行时状态或受支持的同步校验返回,需要结合框架协议确定;若要求第一段返回 161002,还须处理设备数据生产依赖、结果等待及性能成本,不能简单照搬主机标量 numsamples 的检查。

复验时建议把负值、NaN 分别放入独立进程:当前脚本在负值异常后复用同一 stream 运行 NaN,需要排除前次错误对后一组的影响。回归还应把非法元素放在中间位置,并覆盖 Inf、全零行及合法含零权重,分别记录两段返回、同步状态和实际 AICPU 错误日志。以上为源码核查,尚未独立设备复验,我们会继续核实目标内核的校验与上报机制。

likedislike
陈思陈思Collaborators
26 days ago Assign liu-wei as responsible person
陈思陈思Collaborators
26 days ago Added label: pending-confirmation
陈思陈思Collaborators
26 days ago Removed label: pending-confirmation
liu-weiliu-weiCollaborators
16 days ago Removed responsible person liu-wei
陈思陈思Collaborators
16 days ago Assign chen_0715 as responsible person
陈思陈思Collaborators
16 days ago Added label: pending-confirmation
chenyifengchenyifengCollaborators
15 days ago Assign zhuzemao as responsible person
chenyifengchenyifengCollaborators
15 days ago Removed responsible person chen_0715
CANN-robotCANN-robotCollaborators
3 days ago Close issue
CANN-robotCANN-robotCollaborators
3 days ago changed custom state from 进行中 to 已完成
CANN-robotCANN-robotCollaborators
3 days ago Added label: resolved