Closed
[Bug-Report|缺陷反馈]: aclnnSilentCheckV2 未校验 stepRef 负数,首段放行后 AICPU 抛 507018 #4339
liuhanwen8Add on  19 days agoClosed at  3 days ago
liuhanwen8
liuhanwen8
19 days ago Create

环境

  • 产品:Atlas A2 训练服务器(Ascend910B2,单卡)
  • CANN:9.2.0(/usr/local/Ascend/ascend-toolkit/latest,现网 run 包)
  • npu-smi:26.1.1;OS:Linux aarch64
  • 接口:aclnnSilentCheckV2(math/silent_check_v2)
  • 仓库最新提交(G4,git fetch 后):cann/ops-math origin/master = 9a37afeb6485(2026-10-30);
    该提交下 CheckParams() 只有「空指针 / dtype / rank」三项,没有 stepRef 的值域校验

现象

资料参数表 stepRef 的「使用说明」写明不支持负数,但首段接口对 stepRef=-1 返回 0
(放行),到第二段才在 AICPU 上抛异常 507018(aicpu exception),plog 里是
msg:convergence sensitivity feature abnormal,任务级失败。

也就是说:非法入参没有被第一段拦住,而是被带进 kernel,最终表现为「训练任务莫名失败」
而不是一条可判读的 161002。同样的形态也出现在 stepRef=[2](资料要求形状 [1]):
首段放行、stepRef 被当成 1 正常执行。

op_host/op_api/aclnn_silent_check_v2.cpp
  CheckDtypeValid(): stepRef ∈ {DT_INT64}          // 只校验 dtype
  CheckShape():      OP_CHECK_WRONG_DIMENSION(stepRef, 1)   // 只校验 rank,不校验 numel
  CheckAttrParams(): 只校验 cThreshL1>cThreshL2 与 beta1 范围   // 没有 stepRef >= 0

复现步骤

  1. 一台 Atlas A2(910B2)+ CANN 9.2.0,source /usr/local/Ascend/ascend-toolkit/set_env.sh。
  2. 存下面的 repro.cpp,按首行注释编译(实测 CANN 9.2.0 通过)。
  3. ./repro:期望首段 ret=161002,实际首段 ret=0、第二段 ret=507018。
  4. 把 step 初始值改成 1 再跑:两段都 ret=0(对照,证明其余参数合法)。

复现脚本

// g++ -O2 -std=c++17 repro.cpp -I$ASCEND_HOME_PATH/include -I$ASCEND_HOME_PATH/include/aclnnop \
//     -L$ASCEND_HOME_PATH/lib64 -lascendcl -lnnopbase -lopapi -o repro
#include <cstdio>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_silent_check_v2.h"

static aclTensor* mk(std::vector<double> v, std::vector<int64_t> shape, aclDataType dt, void** dev) {
    int64_t n = 1; for (auto s : shape) n *= s;
    std::vector<int64_t> st(shape.size(), 1);
    for (int i = (int)shape.size() - 2; i >= 0; --i) st[i] = shape[i + 1] * st[i + 1];
    size_t esz = (dt == ACL_INT64) ? 8 : 4;
    aclrtMalloc(dev, (size_t)n * esz, ACL_MEM_MALLOC_HUGE_FIRST);
    if (dt == ACL_FLOAT) { std::vector<float> f(v.begin(), v.end()); aclrtMemcpy(*dev, n * 4, f.data(), n * 4, ACL_MEMCPY_HOST_TO_DEVICE); }
    else if (dt == ACL_INT32) { std::vector<int32_t> s(v.begin(), v.end()); aclrtMemcpy(*dev, n * 4, s.data(), n * 4, ACL_MEMCPY_HOST_TO_DEVICE); }
    else { std::vector<int64_t> s(v.begin(), v.end()); aclrtMemcpy(*dev, n * 8, s.data(), n * 8, ACL_MEMCPY_HOST_TO_DEVICE); }
    return aclCreateTensor(shape.data(), shape.size(), dt, st.data(), 0, ACL_FORMAT_ND,
                           shape.data(), shape.size(), *dev);
}

int main() {
    aclInit(nullptr); aclrtSetDevice(0); aclrtStream stream; aclrtCreateStream(&stream);
    void *dv = nullptr, *dm = nullptr, *da = nullptr, *dg = nullptr, *ds = nullptr, *dr = nullptr;
    aclTensor* val = mk({0.5}, {1}, ACL_FLOAT, &dv);
    aclTensor* mx = mk({100}, {1}, ACL_FLOAT, &dm);
    aclTensor* avg = mk({100}, {1}, ACL_FLOAT, &da);
    aclTensor* grad = mk({1, -1, 0.5, -0.5, 0.25, -0.25}, {6}, ACL_FLOAT, &dg);
    aclTensor* step = mk({-1}, {1}, ACL_INT64, &ds);      // ← 触发点:stepRef = -1
    aclTensor* result = mk({-99}, {1}, ACL_INT32, &dr);
    int64_t szv[1] = {6}, stv[1] = {1}, offv[1] = {0};
    aclIntArray* sz = aclCreateIntArray(szv, 1);
    aclIntArray* st = aclCreateIntArray(stv, 1);
    aclIntArray* off = aclCreateIntArray(offv, 1);

    uint64_t ws = 0; aclOpExecutor* ex = nullptr;
    aclnnStatus r1 = aclnnSilentCheckV2GetWorkspaceSize(
        val, mx, avg, grad, step, sz, st, off,
        1000000.0f, 10000.0f, 0.99f, 1, result, &ws, &ex);
    aclnnStatus r2 = -1;
    if (r1 == ACL_SUCCESS) {
        void* wsa = nullptr; if (ws > 0) aclrtMalloc(&wsa, ws, ACL_MEM_MALLOC_HUGE_FIRST);
        r2 = aclnnSilentCheckV2(wsa, ws, ex, stream);
        if (r2 == ACL_SUCCESS) r2 = aclrtSynchronizeStream(stream);
    }
    printf("r1=%d r2=%d\n", (int)r1, (int)r2);
    return 0;
}

实测输出:r1=0 r2=507018;plog 同批记录
AI CPU kernel execution failed ... kernelName=SilentCheckV3 与
msg:convergence sensitivity feature abnormal。对照(step=1):r1=0 r2=0。

期望

首段接口对 stepRef<0 返回 161002(ACLNN_ERR_PARAM_INVALID),不进 kernel;
同时把 stepRef 的 numel 校验从「rank==1」收紧到「shape==[1]」([2] 同样应被拒)。

影响

stepRef 是训练步数计数器,负数通常来自
(a)计数器未初始化就被读、
(b)梯度累积/断点续训恢复时步数回绕。
这类输入本该在框架侧拿到一条明确的 161002 并停在下一次迭代前,现在变成 AICPU 侧异常
与任务失败:错误码不可判读、现场只剩 plog,排查成本从「一眼看出参数错」变成「查内核」。
stepRef=[2] 放行还会让第二个元素被静默忽略,计数器语义与调用方不一致。

建议

  1. CheckParams() 增加 stepRef 的值域校验(>= 0)与「numel == 1」校验;
  2. 资料错误码表 161002 的第二子项(shape 不满足要求)补一句「stepRef 形状必须为 [1]」,
    让「值域」这一条也有明确落点;
  3. 同轮另发现(已单独提交 #4338):result 传空指针 SIGSEGV。
likedislike
liuhanwen8liuhanwen8
19 days ago Added label: bug-report
陈思
陈思Collaborators
19 days ago Comments:

您好,感谢反馈!这里需要分别处理 stepRef 的形状约束和 device 数据的非负约束。

问题分析

核对 cann/ops-math 提交 212ce9d5460b1be26cfbee481aff1acbf5cc5c62 后,CheckShape确实仅检查 stepRef 的 rank 为 1,未检查该维长度。因此 [2] 可以通过这项检查,与参数表要求 [1]存在缺口。相关接口实现与您报告的 9a37afeb6485 一致。

负值方面,第一段没有读取 stepRef 的内容;该 tensor 直接传入 AICPU SilentCheckV3,并在执行路径中作为状态更新。您报告的执行/同步阶段 507018 还需结合底层负值处理及错误传播确认,当前接口源码不足以定位具体异常分支。

处理方向

形状检查可以直接在现有 rank 检查后增加长度为 1 的判断,并沿已有参数错误分支返回 ACLNN_ERR_PARAM_INVALID,同时明确文档中的形状条件。

stepRef>=0 则涉及 device 中的实际值及前序任务的更新顺序。在 GetWorkspaceSize 阶段回读该值会引入数据传输和同步成本,还需处理建图后值变化的问题。一个可行方向是在实际消费 stepRef 的执行路径增加非负检查,在阈值运算和状态更新前给出明确诊断;错误如何透出,需结合 AICPU 执行机制评估。这样也能保留正常计数与故障检测策略,避免通过截断负值改变其语义。

我们会继续确认负值异常的处理路径,并评估静态形状检查与运行期值域保护的调整方式。

likedislike
陈思陈思Collaborators
19 days ago Assign chen_0715 as responsible person
陈思陈思Collaborators
19 days ago Added label: pending-confirmation
陈思陈思Collaborators
17 days ago Removed label: pending-confirmation
CchenyifengCollaborators
16 days ago Assign VoyageZhou as responsible person
CchenyifengCollaborators
16 days ago Removed responsible person chen_0715
fitZepHYrfitZepHYrCollaborators
6 days ago Associated pull request
fitZepHYr
fitZepHYrCollaborators
6 days ago Comments:

感谢反馈,已核实并提交修复 PR:https://gitcode.com/cann/ops-math/merge_requests/7394

核实结论:

  1. stepRef 形状校验缺失属实。一阶段 CheckShape 只做了 OP_CHECK_WRONG_DIMENSION(stepRef, 1),即仅校验 rank=1,不校验 numel,因此 stepRef=[2] 会被放行,SilentCheckV3 内核只读取第 0 个元素,第二个元素被静默忽略,与资料"要求是[1]"不一致。同仓 aclnnSilentCheck 已用 GetDim(0) != 1 做该约束,V2 属于遗漏。PR 中已补齐该校验,非法形状返回 161002(ACLNN_ERR_PARAM_INVALID),并补充了 UT 用例与中英文文档。

  2. stepRef<0 无法在一阶段拦截。stepRef 的数值位于 Device 侧,aclnn 一阶段接口只持有 tensor 描述,读取张量内容需要 D2H 同步,与两段式接口的设计约束冲突,因此"首段返回 161002"不可实现。SilentCheckV3 AICPU 内核(canndev ops/built-in/aicpu/impl/kernels/normalized/pt-kernels/silent_check_v3.cc)已对 input_step < 0 打印 SilentCheckV3 invalid input step, should be >= 0 并返回 KERNEL_STATUS_PARAM_INVALID,失败在执行阶段以 AICPU 异常(507018)形式上报,这是 AICPU 内核错误的上报形态,并非 aclnn 参数校验缺失。PR 中已在资料使用说明补充该行为,避免误认为一阶段会拦截负值。

  3. 资料错误码表 161002 的 shape 子项已按建议补充"其中 stepRef 的 shape 必须为 [1]"。

兼容性评估:

  • stepRef 形状为 [1] 的正常调用行为不变;
  • 仅收紧此前被静默放行的 stepRef numel > 1 的非法输入(资料本就不支持),属于资料对齐;
  • stepRef 为空 tensor(shape [0])此前走空 tensor 分支返回成功(workspace=0),修复后返回 161002,与 aclnnSilentCheck 的既有行为一致。
likedislike
CANN-robotCANN-robotCollaborators
3 days ago Close issue
CANN-robotCANN-robotCollaborators
3 days ago changed custom state from 进行中 to 已完成
CANN-robotCANN-robotCollaborators
3 days ago Added label: resolved