您好,感谢反馈!这里需要分别处理 stepRef 的形状约束和 device 数据的非负约束。
问题分析
核对 cann/ops-math 提交 212ce9d5460b1be26cfbee481aff1acbf5cc5c62 后,CheckShape确实仅检查 stepRef 的 rank 为 1,未检查该维长度。因此 [2] 可以通过这项检查,与参数表要求 [1]存在缺口。相关接口实现与您报告的 9a37afeb6485 一致。
负值方面,第一段没有读取 stepRef 的内容;该 tensor 直接传入 AICPU SilentCheckV3,并在执行路径中作为状态更新。您报告的执行/同步阶段 507018 还需结合底层负值处理及错误传播确认,当前接口源码不足以定位具体异常分支。
处理方向
形状检查可以直接在现有 rank 检查后增加长度为 1 的判断,并沿已有参数错误分支返回 ACLNN_ERR_PARAM_INVALID,同时明确文档中的形状条件。
stepRef>=0 则涉及 device 中的实际值及前序任务的更新顺序。在 GetWorkspaceSize 阶段回读该值会引入数据传输和同步成本,还需处理建图后值变化的问题。一个可行方向是在实际消费 stepRef 的执行路径增加非负检查,在阈值运算和状态更新前给出明确诊断;错误如何透出,需结合 AICPU 执行机制评估。这样也能保留正常计数与故障检测策略,避免通过截断负值改变其语义。
我们会继续确认负值异常的处理路径,并评估静态形状检查与运行期值域保护的调整方式。


感谢反馈,已核实并提交修复 PR:https://gitcode.com/cann/ops-math/merge_requests/7394
核实结论:
-
stepRef 形状校验缺失属实。一阶段
CheckShape只做了OP_CHECK_WRONG_DIMENSION(stepRef, 1),即仅校验 rank=1,不校验 numel,因此stepRef=[2]会被放行,SilentCheckV3 内核只读取第 0 个元素,第二个元素被静默忽略,与资料"要求是[1]"不一致。同仓aclnnSilentCheck已用GetDim(0) != 1做该约束,V2 属于遗漏。PR 中已补齐该校验,非法形状返回 161002(ACLNN_ERR_PARAM_INVALID),并补充了 UT 用例与中英文文档。 -
stepRef<0 无法在一阶段拦截。stepRef 的数值位于 Device 侧,aclnn 一阶段接口只持有 tensor 描述,读取张量内容需要 D2H 同步,与两段式接口的设计约束冲突,因此"首段返回 161002"不可实现。SilentCheckV3 AICPU 内核(canndev
ops/built-in/aicpu/impl/kernels/normalized/pt-kernels/silent_check_v3.cc)已对input_step < 0打印SilentCheckV3 invalid input step, should be >= 0并返回KERNEL_STATUS_PARAM_INVALID,失败在执行阶段以 AICPU 异常(507018)形式上报,这是 AICPU 内核错误的上报形态,并非 aclnn 参数校验缺失。PR 中已在资料使用说明补充该行为,避免误认为一阶段会拦截负值。 -
资料错误码表 161002 的 shape 子项已按建议补充"其中 stepRef 的 shape 必须为 [1]"。
兼容性评估:
- stepRef 形状为
[1]的正常调用行为不变; - 仅收紧此前被静默放行的 stepRef numel > 1 的非法输入(资料本就不支持),属于资料对齐;
- stepRef 为空 tensor(shape
[0])此前走空 tensor 分支返回成功(workspace=0),修复后返回 161002,与aclnnSilentCheck的既有行为一致。


环境
/usr/local/Ascend/ascend-toolkit/latest,现网 run 包)aclnnSilentCheckV2(math/silent_check_v2)git fetch后):cann/ops-mathorigin/master=9a37afeb6485(2026-10-30);该提交下
CheckParams()只有「空指针 / dtype / rank」三项,没有stepRef的值域校验现象
资料参数表
stepRef的「使用说明」写明不支持负数,但首段接口对stepRef=-1返回 0(放行),到第二段才在 AICPU 上抛异常 507018(
aicpu exception),plog 里是msg:convergence sensitivity feature abnormal,任务级失败。也就是说:非法入参没有被第一段拦住,而是被带进 kernel,最终表现为「训练任务莫名失败」
而不是一条可判读的
161002。同样的形态也出现在stepRef=[2](资料要求形状[1]):首段放行、
stepRef被当成 1 正常执行。复现步骤
source /usr/local/Ascend/ascend-toolkit/set_env.sh。repro.cpp,按首行注释编译(实测 CANN 9.2.0 通过)。./repro:期望首段ret=161002,实际首段ret=0、第二段ret=507018。step初始值改成1再跑:两段都ret=0(对照,证明其余参数合法)。复现脚本
// g++ -O2 -std=c++17 repro.cpp -I$ASCEND_HOME_PATH/include -I$ASCEND_HOME_PATH/include/aclnnop \ // -L$ASCEND_HOME_PATH/lib64 -lascendcl -lnnopbase -lopapi -o repro #include <cstdio> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_silent_check_v2.h" static aclTensor* mk(std::vector<double> v, std::vector<int64_t> shape, aclDataType dt, void** dev) { int64_t n = 1; for (auto s : shape) n *= s; std::vector<int64_t> st(shape.size(), 1); for (int i = (int)shape.size() - 2; i >= 0; --i) st[i] = shape[i + 1] * st[i + 1]; size_t esz = (dt == ACL_INT64) ? 8 : 4; aclrtMalloc(dev, (size_t)n * esz, ACL_MEM_MALLOC_HUGE_FIRST); if (dt == ACL_FLOAT) { std::vector<float> f(v.begin(), v.end()); aclrtMemcpy(*dev, n * 4, f.data(), n * 4, ACL_MEMCPY_HOST_TO_DEVICE); } else if (dt == ACL_INT32) { std::vector<int32_t> s(v.begin(), v.end()); aclrtMemcpy(*dev, n * 4, s.data(), n * 4, ACL_MEMCPY_HOST_TO_DEVICE); } else { std::vector<int64_t> s(v.begin(), v.end()); aclrtMemcpy(*dev, n * 8, s.data(), n * 8, ACL_MEMCPY_HOST_TO_DEVICE); } return aclCreateTensor(shape.data(), shape.size(), dt, st.data(), 0, ACL_FORMAT_ND, shape.data(), shape.size(), *dev); } int main() { aclInit(nullptr); aclrtSetDevice(0); aclrtStream stream; aclrtCreateStream(&stream); void *dv = nullptr, *dm = nullptr, *da = nullptr, *dg = nullptr, *ds = nullptr, *dr = nullptr; aclTensor* val = mk({0.5}, {1}, ACL_FLOAT, &dv); aclTensor* mx = mk({100}, {1}, ACL_FLOAT, &dm); aclTensor* avg = mk({100}, {1}, ACL_FLOAT, &da); aclTensor* grad = mk({1, -1, 0.5, -0.5, 0.25, -0.25}, {6}, ACL_FLOAT, &dg); aclTensor* step = mk({-1}, {1}, ACL_INT64, &ds); // ← 触发点:stepRef = -1 aclTensor* result = mk({-99}, {1}, ACL_INT32, &dr); int64_t szv[1] = {6}, stv[1] = {1}, offv[1] = {0}; aclIntArray* sz = aclCreateIntArray(szv, 1); aclIntArray* st = aclCreateIntArray(stv, 1); aclIntArray* off = aclCreateIntArray(offv, 1); uint64_t ws = 0; aclOpExecutor* ex = nullptr; aclnnStatus r1 = aclnnSilentCheckV2GetWorkspaceSize( val, mx, avg, grad, step, sz, st, off, 1000000.0f, 10000.0f, 0.99f, 1, result, &ws, &ex); aclnnStatus r2 = -1; if (r1 == ACL_SUCCESS) { void* wsa = nullptr; if (ws > 0) aclrtMalloc(&wsa, ws, ACL_MEM_MALLOC_HUGE_FIRST); r2 = aclnnSilentCheckV2(wsa, ws, ex, stream); if (r2 == ACL_SUCCESS) r2 = aclrtSynchronizeStream(stream); } printf("r1=%d r2=%d\n", (int)r1, (int)r2); return 0; }实测输出:
r1=0 r2=507018;plog 同批记录AI CPU kernel execution failed ... kernelName=SilentCheckV3与msg:convergence sensitivity feature abnormal。对照(step=1):r1=0 r2=0。期望
首段接口对
stepRef<0返回161002(ACLNN_ERR_PARAM_INVALID),不进 kernel;同时把
stepRef的 numel 校验从「rank==1」收紧到「shape==[1]」([2]同样应被拒)。影响
stepRef是训练步数计数器,负数通常来自(a)计数器未初始化就被读、
(b)梯度累积/断点续训恢复时步数回绕。
这类输入本该在框架侧拿到一条明确的 161002 并停在下一次迭代前,现在变成 AICPU 侧异常
与任务失败:错误码不可判读、现场只剩 plog,排查成本从「一眼看出参数错」变成「查内核」。
stepRef=[2]放行还会让第二个元素被静默忽略,计数器语义与调用方不一致。建议
CheckParams()增加stepRef的值域校验(>= 0)与「numel == 1」校验;stepRef形状必须为[1]」,让「值域」这一条也有明确落点;
result传空指针 SIGSEGV。