Closed
[Bug-Report|缺陷反馈]: aclnnReflectionPad1dBackward 空 gradOutput 早退后 gradInput 未写,返回 SUCCESS 但输出为未初始化数据 #4525
liuhanwen8Add on  13 days agoClosed at  1 day ago
liuhanwen8
liuhanwen8
13 days ago Create

关联:#3553 的修复提交 d611059e7 已把 pad2d/pad3d/circular/unfold 的空态改成写零;本条差异:pad1d 的公共实现被漏改

现象

aclnnReflectionPad1dBackward 在 gradOutput 为空张量时两段接口都返回 0、workspaceSize=0,但 gradInput 一个字节都没有被写,仍是调用方预填的内容。

用例 入参 第一段 wsSize 第二段 gradInput 前 8 元素
对照组 gradOutput[2,5]=3,self[2,5]=1,padding{0,0} 0 512 0 3 3 3 3 3 3 3 3(已写)
缺陷组 只把 gradOutput 换成 [0,5] 0 0 0 0x7FC00001 ×8(全 NaN 金丝雀)

根因:conversion/pad_v3_grad_replicate/op_host/op_api/pad1d_backward_common.h:270-276 的空态分支只调 Pad1dBwdHandleEmptyTensor 做报错判定(:226-249:REFLECT 只看 self 的 dim1 是否为 0,本例 5≠0 直接放行),没有 Fill/ViewCopy;而同仓 aclnn_pad2d_backward.cpp:240-262 的同一分支末尾有 GetGradInputWithValueZero + ViewCopy(fillout, gradInput)。

期望

同仓 d611059e7(2026-10-20,issue #3553)标题为「修复pad系反向算子及UnfoldGrad空tensor输入早退时未初始化输出内存的问题」,已把 pad2d/pad3d/circular/unfold 的空态统一改成写全 0,即设计意图是空态输出写零。git log -S GetGradInputWithValueZero -- conversion/pad_v3_grad_replicate/op_host/op_api/pad1d_backward_common.h 零命中,说明同一次修复漏了 pad1d 这个兄弟实现。期望空 gradOutput 时 gradInput 被写成全 0。注意空张量 shape 必须写成 [0,5],写成 [0,0] 会被第一段以 161002 拒绝,走不到早退分支。

环境

  • 硬件 Ascend950PR_9579(A5);软件 CANN 9.3.0(B020),libopapi.so 构建 2026-10-28
  • 源码基线:cann/ops-math 分支 9.3.0-beta.1 @ 5bbae1cc784296c821e1c1aa897b91c8033c6601(2026-11-04);空态分支自 6c38a5f36(2026-08-10)起就没有 Fill
  • 跨版本一致性:同一二进制在 CANN 9.2.0-beta.2 与 9.3.0.B020 上均复现(缺陷组 rc=(0,0)、wsSize=0、gradInput 全金丝雀);对照组 wsSize 随 9.3.0 的 workspace 口径变化(9.2.0=16777728,9.3.0=512),输出一致

复现步骤

  1. A=/usr/local/Ascend/ascend-toolkit/latest; source /usr/local/Ascend/ascend-toolkit/set_env.sh; export ASCEND_RT_VISIBLE_DEVICES=<空闲卡号>
  2. 把 ## 复现脚本 的代码存为 probe.cpp
  3. g++ -std=c++17 -O2 -o probe probe.cpp -I$A/include -I$A/include/aclnnop -I$A/include/aclnnop/level2 -L$A/lib64 -lopapi -lnnopbase -lascendcl
  4. LD_LIBRARY_PATH=$A/lib64:$LD_LIBRARY_PATH ./probe
  5. 看 [缺陷组 gradOutput=0x5]:ret1=0 ret2=0 wsSize=0,gradInput 前 8 元素为 0x7FC00001,max|gradInput-expect| = 1.000000e+30
  6. 看 [对照组 gradOutput=2x5]:gradInput=3 3 3 3 …,max|gradInput-expect| = 0,用于排除环境问题

复现脚本

[对照组 gradOutput=2x5] ret1=0 ret2=0 wsSize=512 gradInput[0..7].bit=40400000 40400000 40400000 40400000 40400000 40400000 40400000 40400000
[对照组 gradOutput=2x5] max|gradInput-expect| = 0.000000e+00
[缺陷组 gradOutput=0x5] ret1=0 ret2=0 wsSize=0 gradInput[0..7].bit=7FC00001 7FC00001 7FC00001 7FC00001 7FC00001 7FC00001 7FC00001 7FC00001
// aclnnReflectionPad1dBackward 空 gradOutput 早退不写 gradInput:对照/缺陷双路探针(自包含,仅依赖 CANN 头,本文末尾为该脚本的实测输出)
// 编译: A=/usr/local/Ascend/ascend-toolkit/latest
//   g++ -std=c++17 -O2 -o probe probe.cpp -I$A/include -I$A/include/aclnnop \
//       -I$A/include/aclnnop/level2 -L$A/lib64 -lopapi -lnnopbase -lascendcl
// 运行: ASCEND_RT_VISIBLE_DEVICES=<空闲卡> LD_LIBRARY_PATH=$A/lib64:$LD_LIBRARY_PATH ./probe
// 契约: 同仓 d611059e7 修复「pad系反向算子空 tensor 输入早退时未初始化输出内存」,
//   pad2d/pad3d/circular 空态分支均 GetGradInputWithValueZero + ViewCopy 写零
//   => 空 gradOutput 时 gradInput 应写成全 0。grdInput 调用前整块填 NaN 0x7FC00001 作金丝雀。
// 注意: 空张量 shape 必须写成 [0,5],写成 [0,0] 会被第一段以 161002 拒绝,走不到早退分支。
#include <cstdio>
#include <cstdint>
#include <cstring>
#include <cmath>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/level2/aclnn_reflection_pad1d_backward.h"

static const uint32_t CANARY = 0x7FC00001u;
static void* Dev(int64_t bytes, const void* host) {
    void* p = nullptr;
    aclrtMalloc(&p, bytes, ACL_MEM_MALLOC_HUGE_FIRST);
    if (host) aclrtMemcpy(p, bytes, host, bytes, ACL_MEMCPY_HOST_TO_DEVICE);
    return p;
}
static aclTensor* T(std::vector<int64_t> d, std::vector<int64_t> s, void* p) {
    return aclCreateTensor(d.data(), d.size(), ACL_FLOAT, s.data(), 0, ACL_FORMAT_ND, d.data(), d.size(), p);
}
static double Diff(float o, float e) {
    uint32_t a = 0, b = 0;
    memcpy(&a, &o, 4); memcpy(&b, &e, 4);
    if (a == b) return 0.0;
    if (std::isfinite(o) && std::isfinite(e)) return std::fabs(double(o) - double(e));
    return 1e30;
}
static void Run(bool empty, aclrtStream stream, const char* tag) {
    const int64_t R = 2, C = 5, n = R * C;
    std::vector<int64_t> goDims{empty ? 0 : R, C}, selfDims{R, C}, st{C, 1};
    std::vector<float> hGo(n, 3.0f), hSelf(n, 1.0f), hExp(n, empty ? 0.0f : 3.0f), hOut(n, 0.0f);
    std::vector<uint32_t> canary(n, CANARY);
    int64_t pad[2] = {0, 0};
    void* dG = Dev(n * 4, hGo.data()); void* dS = Dev(n * 4, hSelf.data()); void* dO = Dev(n * 4, canary.data());
    aclTensor* tG = T(goDims, st, dG); aclTensor* tS = T(selfDims, st, dS); aclTensor* tO = T(selfDims, st, dO);
    aclIntArray* padding = aclCreateIntArray(pad, 2);
    uint64_t ws = 0; aclOpExecutor* exec = nullptr; double maxd = -1.0;
    int rc1 = int(aclnnReflectionPad1dBackwardGetWorkspaceSize(tG, tS, padding, tO, &ws, &exec));
    int rc2 = -1;
    if (rc1 == 0) {
        void* wsp = ws ? Dev(int64_t(ws), nullptr) : nullptr;
        rc2 = int(aclnnReflectionPad1dBackward(wsp, ws, exec, stream));
        aclrtSynchronizeStream(stream);
        aclrtMemcpy(hOut.data(), n * 4, dO, n * 4, ACL_MEMCPY_DEVICE_TO_HOST);
        maxd = 0.0;
        for (int64_t i = 0; i < n; ++i) { double d = Diff(hOut[i], hExp[i]); if (d > maxd) maxd = d; }
        if (wsp) aclrtFree(wsp);
    }
    printf("[%s] ret1=%d ret2=%d wsSize=%llu gradInput[0..7].bit=%08X %08X %08X %08X %08X %08X %08X %08X\n",
           tag, rc1, rc2, (unsigned long long)ws, *(uint32_t*)&hOut[0], *(uint32_t*)&hOut[1],
           *(uint32_t*)&hOut[2], *(uint32_t*)&hOut[3], *(uint32_t*)&hOut[4], *(uint32_t*)&hOut[5],
           *(uint32_t*)&hOut[6], *(uint32_t*)&hOut[7]);
    printf("[%s] max|gradInput-expect| = %.6e\n", tag, maxd);
    aclDestroyTensor(tG); aclDestroyTensor(tS); aclDestroyTensor(tO); aclDestroyIntArray(padding);
    aclrtFree(dG); aclrtFree(dS); aclrtFree(dO);
}
int main() {
    aclInit(nullptr); aclrtSetDevice(0);
    aclrtStream s = nullptr; aclrtCreateStream(&s);
    Run(false, s, "对照组 gradOutput=2x5");
    Run(true, s, "缺陷组 gradOutput=0x5");
    aclrtDestroyStream(s); aclrtResetDevice(0); aclFinalize();
    return 0;
}

影响

空梯度在 batch=0、序列被裁空的训练步里是常规形态。本条是 aclnn 两段式与图模式下的接口健壮性问题:C 直调与 GE 图模式可触达,torch 前端因上游形状检查(gradOutput 与 y 形状必须一致)而构造不出该组合。触达时调用方拿到 0 返回码后直接消费 gradInput(用于 weight.grad 累加),读到的是未初始化显存,表现为随机梯度污染;同仓 pad2d 在 2026-10-20 已修,pad1d 仍留着,属同一次修复的遗漏。

建议

在 :270 的空态分支末尾补一次 GetGradInputWithValueZero(gradInput, ...) + l0op::ViewCopy(fillout, gradInput, ...) 后再返回,与 pad2d 的实现对齐。

likedislike
liuhanwen8liuhanwen8
13 days ago Added label: bug-report
liuhanwen8liuhanwen8
13 days ago Modify description of issue
liuhanwen8liuhanwen8
13 days ago Modify description of issue
陈思
陈思Collaborators
13 days ago Comments:

您好,感谢反馈!

问题分析

实际ReflectionPad1dBackward包装调用共享Pad1dBackwardCompute。空态分支完成基本检查后,将workspace置0并成功返回,没有Fill或ViewCopy输出任务,与报告的非空gradInput保留旧值机制一致。但本例self=[2,5]、padding={0,0}的正向输出应为[2,5],gradOutput=[0,5]并不满足文档要求的正向输出形状。共享CheckShapeCommon仅比较rank、self与gradInput形状及最后一维的padding关系,缺少前导维一致性检查,因此这组不符合形状关系的输入能进入空态。2D实现已有零梯度填充可以作为参考,但不能据此推定所有空gradOutput均应接受并写零。

本轮核对 cann/ops-math 9.3.0-beta.1@5bbae1cc784296c821e1c1aa897b91c8033c6601。aclnn_reflection_pad1d_backward.cpp pad1d_backward_common.h aclnnReflectionPad1dBackward.md aclnn_pad2d_backward.cpp

处理方向

一个可行方向是先在L2补齐gradOutput完整形状与正向结果的关系检查,对本例不匹配的前导维返回参数错误;再分别定义产品实际支持的合法空梯度和空gradInput行为。若保留某类空梯度兼容路径且gradInput非空,应评估是否需要生成明确的零梯度写入任务,并验证其数学与接口语义。合法输出为空时无元素可写,也无需强制分配填充任务。这样可同时处理成功却留下旧数据的风险和非法输入被接受的问题,避免仅补Fill后将形状不匹配固化为支持能力。

likedislike
陈思陈思Collaborators
13 days ago Assign yangjinwen as responsible person
陈思陈思Collaborators
13 days ago Added label: pending-confirmation
陈思陈思Collaborators
12 days ago Removed label: pending-confirmation
yangjinwenCollaborators
2 days ago Comments:

/assign @onanfield

likedislike
CANN-robotCANN-robotCollaborators
2 days ago Assign onanfield as responsible person
yangjinwenCollaborators
2 days ago Comments:

/unassign @yangjinwen

likedislike
CANN-robotCANN-robotCollaborators
2 days ago Removed responsible person yangjinwen
OonanfieldCollaborators
2 days ago Associated pull request
CANN-robotCANN-robotCollaborators
1 day ago Close issue
CANN-robotCANN-robotCollaborators
1 day ago changed custom state from 进行中 to 已完成
CANN-robotCANN-robotCollaborators
1 day ago Added label: resolved