Closed
[Bug-Report|缺陷反馈]: aclnnIsInf 元素数超 2^31 时 int32 偏移溢出——返回 SUCCESS 但 out 尾部未写,且越界写坏只读输入 x(与 is_finite 逐行同构只差位宽) #4530
liuhanwen8Add on  13 days agoClosed at  4 days ago
liuhanwen8
liuhanwen8
13 days ago Create

现象

aclnnIsInf 的元素数超过 2^31 时,kernel 的 GM 偏移用 int32_t/uint32_t 计算并溢出,导致两个后果同时发生:

  1. out 尾部未写:仍为调用方预置值(本复现置 0,即"全非 inf"的错误结果)
  2. 输入 x 被越界写坏:int32_t 偏移变负,落点回到 x 区,把 out 的正确结果写进了输入

fp16,x 全 +inf(0x7C00),正确结果应是 out 全 1:

用例 元素数 execute out 错值数 x 被污染数
控制组 2^31 - 8192 0 0 0
缺陷组 2^31 + 8192 0 7296(首个 @2147484544) 3648(首个 @1073750464)

out 首个错值 2147484544 = 2^31 - 1 - 8191,精确落在 2^31 边界前;x 首个污染 1073750464 ≈ 2^31/2,符合 int32 偏移变负后的落点。

期望

  • fp16 元素数 2^31 仅需 4GB 输入 + 2GB 输出 = 6GB,A2/A3 均可达(已实测);资料未声明元素数上限。
  • 同族 math/is_finite/op_kernel/is_finite.h 逐行同构、只差位宽(perCoreDataCount/blockOffset 是 uint64_t,is_inf 是 uint32_t)。

→ 元素数超过 2^31 时应正确计算;若确实不支持,应返回参数错误,而不是「返回 SUCCESS 但输出错值 + 写坏输入」。

环境

  • 硬件:A2(Ascend910B3)/ CANN 9.2.0;A3(Ascend910_9362)/ CANN 9.3.0 复测一致。仓库:cann/ops-math be4f2d5fd14b0fe476684fa4c756c0a98844ac2a(master,2026-11-05 fetch)

复现步骤

  1. 保存下方脚本为 repro.cpp
  2. g++ -std=c++17 -O2 repro.cpp -o repro -I$ASCEND_HOME_PATH/include -L$ASCEND_HOME_PATH/lib64 -lascendcl -lopapi -lnnopbase -Wl,-rpath,$ASCEND_HOME_PATH/lib64 && ./repro
  3. 实测输出:控制组两行均 bad=0 firstBadIdx=-1;缺陷组 out(期待全1) bad=7296 firstBadIdx=2147484544、x(期待0x7C00) bad=3648 firstBadIdx=1073750464

复现脚本

#include <cstdio>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_is_inf.h"

static int Run(int64_t n, const char* tag)
{
    printf("--- %s  n=%lld\n", tag, (long long)n); fflush(stdout);
    size_t xb = (size_t)n * 2, yb = (size_t)n;
    void* base = nullptr;
    if (aclrtMalloc(&base, xb + yb, ACL_MEM_MALLOC_HUGE_FIRST) != ACL_SUCCESS) { printf("  oom\n"); return 1; }
    void* xDev = base;
    void* yDev = (char*)base + xb;          // 关键:x 与 out 同一块分配,才能检测"写回 x 区"
    std::vector<uint16_t> hx((size_t)n, 0x7C00);   // fp16 +inf,复用为读回缓冲
    aclrtMemcpy(xDev, xb, hx.data(), xb, ACL_MEMCPY_HOST_TO_DEVICE);
    aclrtMemset(yDev, yb, 0, yb);
    std::vector<int64_t> xs{n}, xst{1}, ys{n}, yst{1};
    aclTensor* x = aclCreateTensor(xs.data(), 1, ACL_FLOAT16, xst.data(), 0, ACL_FORMAT_ND, xs.data(), 1, xDev);
    aclTensor* y = aclCreateTensor(ys.data(), 1, ACL_BOOL,   yst.data(), 0, ACL_FORMAT_ND, ys.data(), 1, yDev);
    uint64_t ws = 0;
    aclOpExecutor* exe = nullptr;
    aclError r1 = aclnnIsInfGetWorkspaceSize(x, y, &ws, &exe);
    printf("  GetWorkspaceSize ret=%d\n", (int)r1);
    aclError r2 = -1;
    if (r1 == ACL_SUCCESS) {
        void* w = nullptr;
        if (ws > 0) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST);
        r2 = aclnnIsInf(w, ws, exe, nullptr);
        printf("  execute ret=%d sync=%d\n", (int)r2, (int)aclrtSynchronizeStream(nullptr));
        fflush(stdout); if (w) aclrtFree(w);
    }
    if (r2 == ACL_SUCCESS) {
        std::vector<uint8_t> hy((size_t)n);
        aclrtMemcpy(hy.data(), yb, yDev, yb, ACL_MEMCPY_DEVICE_TO_HOST);
        int64_t badOut = 0, firstOut = -1;
        for (int64_t k = 0; k < n; k++) if (hy[k] == 0) { if (firstOut < 0) firstOut = k; badOut++; }
        aclrtMemcpy(hx.data(), xb, xDev, xb, ACL_MEMCPY_DEVICE_TO_HOST);
        int64_t badX = 0, firstX = -1;
        for (int64_t k = 0; k < n; k++) if (hx[k] != 0x7C00) { if (firstX < 0) firstX = k; badX++; }
        printf("    out(期待全1)     bad=%lld firstBadIdx=%lld\n", (long long)badOut, (long long)firstOut);
        printf("    x(期待0x7C00)    bad=%lld firstBadIdx=%lld\n", (long long)badX, (long long)firstX);
    }
    aclDestroyTensor(x); aclDestroyTensor(y); aclrtFree(base);
    return 0;
}

int main()
{
    aclInit(nullptr); aclrtSetDevice(0);
    const int64_t P31 = 1LL << 31;
    Run(P31 - 8192, "[control] 2^31-8192");
    Run(P31 + 8192, "[defect ] 2^31+8192");
    aclrtResetDevice(0); aclFinalize();
}

影响

aclnnIsInf 用于混合精度训练中检测 inf。两种后果:①输出错值——返回 SUCCESS 但 2^31 之后的元素全为"非 inf",inf 检测静默失效;②写坏输入——x 被污染 3648 个元素,违反只读算子的输入不可变语义,若 x 是上游中继结果会污染整条链路且现象与 is_inf 无关。

建议

is_finite 与 is_inf 逐行同构,唯一差别就是位宽(这是最强的修复依据):

行 is_inf(缺陷) is_finite(正确)
变量声明 :64 uint32_t perCoreDataCount :67 uint64_t perCoreDataCount
变量声明 :65 uint32_t blockOffset :68 uint64_t blockOffset
CopyOut 形参 :38 int32_t offset :38 uint64_t offset
偏移计算 :211-212 uint32_t actualInOffset/actualOutOffset :190 uint64_t actualInOffset

同段逻辑(:96-118 vs :98-120)逐行对应,连 += DATA_BLOCK、*= selectInterval 都一样;而两边
loopCount/tailDataCount 都是 uint32_t(tile 计数不受影响)——说明维护者已精确区分哪些量需 64 位,is_inf 只是漏改。

host 侧另需改:is_inf_tiling.cpp:62 totalDataCount、is_inf_tiling_def.h:26-31 六个字段。

host 侧要特别注意 is_inf_tiling.cpp:90-96:uint32_t totalDataCount = 1; 后
totalDataCount *= shape->GetStorageShape().GetDim(i); —— 这不是"最后赋值截断",而是
每次乘法都在 uint32 域内回绕,故即使后续字段改 64 位这一句仍会算错。

另一处::117 的 blockOffset *= selectInterval 也在 uint32 域内;fp32 时 selectInterval=2 会让偏移减半,需更大 n 才触发(本复现用 fp16 故 selectInterval=1)。

likedislike
liuhanwen8liuhanwen8
13 days ago Added label: bug-report
liuhanwen8liuhanwen8
13 days ago Change title to "[Bug-Report|缺陷反馈]: aclnnIsInf 元素数超 2^31 时 int32 偏移溢出——返回 SUCCESS 但 out 尾部未写,且越界写坏只读输入 x(同族 is_finite kernel 已 64 位)", originally titled "[Bug-Report|缺陷反馈]: aclnnIsInf 元素数超 2^31 时 int32 偏移溢出——返回 SUCCESS 但 out 尾部未写,且越界写坏只读输入 x(同族 is_finite 已是 64 位)".
liuhanwen8liuhanwen8
13 days ago Modify description of issue
liuhanwen8liuhanwen8
13 days ago Change title to "[Bug-Report|缺陷反馈]: aclnnIsInf 元素数超 2^31 时 int32 偏移溢出——返回 SUCCESS 但 out 尾部未写,且越界写坏只读输入 x(与 is_finite 逐行同构只差位宽)", originally titled "[Bug-Report|缺陷反馈]: aclnnIsInf 元素数超 2^31 时 int32 偏移溢出——返回 SUCCESS 但 out 尾部未写,且越界写坏只读输入 x(同族 is_finite kernel 已 64 位)".
liuhanwen8liuhanwen8
13 days ago Modify description of issue
liuhanwen8
liuhanwen8
13 days ago Comments:

补充:与同仓库历史单的关系(机理不同)

本单与 #3925、#3930 同为 aclnnIsInf,但机理不同,请勿合并关闭:

issue 状态 机理 触发条件 修复点
#3925 closed 尾块按 32 字节整块搬运,GM 越界读写 31 字节 小 shape(numel=1 即触发) 改用 DataCopyPad
#3930 open 未校验 x 与 out 的 shape 一致 x=[1,4]、out=[4] op_api 层补 shape 一致性校验
本单 — int32_t/uint32_t 偏移在 2^31 溢出 大 shape(n ≥ 2^31+8192) 偏移与 tiling/host 字段改 64 位

#3925 的修复未触及偏移类型——用 git log -S "blockOffset" -- math/is_inf/op_kernel/is_inf.h 只命中 init 一个提交,
说明 a6d37f00a(#3925 的修复)改的是 DataCopy→DataCopyPad 的尾块对齐,与偏移位宽无关。

补充:同族 is_* 全族位宽对照

math/ 下有 6 个同族算子(is_close / is_finite / is_inf / is_nan / is_neg_inf / is_pos_inf),
其中只有 is_finite 和 is_inf 是独立的 .h 实现(其余走 arch35/ + _apt.cpp):

变量 is_finite is_inf
perCoreDataCount uint64_t (:67) uint32_t (:64)
blockOffset uint64_t (:68) uint32_t (:65)
CopyOut 形参 uint64_t (:38) int32_t (:38)
actualInOffset uint64_t (:190) uint32_t (:211)
loopCount / tailDataCount uint32_t (:188-189) uint32_t (:208-209) ✓ 一致

最后一行是关键:两边 loopCount/tailDataCount 都是 uint32_t,说明维护者在 is_finite 上
已经精确区分了"哪些量需要 64 位、哪些不需要"(tile 计数不需要)。is_inf 的差异只出现在
"需要 64 位的那些量"上,因此这是漏改而非设计选择。

likedislike
陈思
陈思Collaborators
12 days ago Comments:

您好,感谢反馈!已按您提供的 cann/ops-math 版本 be4f2d5fd14b0fe476684fa4c756c0a98844ac2a 核查 A2/A3 对应的普通实现路径,源码存在全局偏移位宽不足的问题;本轮核查的最新提交 dff679770b9c4fb72667a8f5f79ec46e3c184f9e 中,相关实现仍相同。

问题分析

is_inf.h 中,输出元素偏移 actualOutOffset 为 uint32_t,传入 CopyOut 时却转换为 int32_t。搬运块的起始偏移达到 2^31 后便超出该形参的正数表示范围;按报告表现转换成负值后,outputGM[offset] 的整块写入会落到输出基址之前,造成原定输出区未写,并可能覆盖相邻输入。CopyInX 虽然接收 int64_t 偏移,上游的全局偏移计算仍是 32 位,也需一并检查。

您提供的两处观测值与这条路径相符:首个输出错值位置 2147484544 = 2^31 + 896;在脚本 out = x + 2n 的布局下,该位置若以 k - 2^32 回写,对应的输入 half 索引恰为 1073750464。遗漏的 7296 个输出字节也对应 3648 个 half 元素。首个错误位置受实际分核和搬运块起点影响,所以不能据此推定 2^31 之后每个元素都必然未写。这是源码与报告数据的核对,尚未补充实机验证。

还需区分另一组边界:is_inf_tiling.cpp 的总量累计结果逐维写回 uint32_t,到 2^32 会丢失高位;接近该上界时,向上取整的加法也有回绕风险。对 FLOAT,输入用 int16_t 视图搬运,selectInterval = 2,约 2^31 元素的位置已对应 2^32 个输入半字,32 位输入偏移可能回绕,因此不能认为 FLOAT 必须到更大的元素数量才受影响。

处理方向

一个可行的解决方向是,把 host 总量计算、相关 tiling 覆盖量、kernel 全局偏移及 CopyOut 的偏移参数统一为足够宽的类型,同时检查乘法、向上取整和 FLOAT 的单位换算,保持 host 与 kernel 的 tiling 布局一致。UB 内局部长度和核数可依据实际范围保留 32 位。is_finite 的 64 位全局偏移实现可作为参考;还需结合 is_inf 自身的搬运和尾块处理验证,才能确认修正覆盖范围。

相关验证应覆盖 2^31 前后、2^32 附近的不同数据类型、跨边界搬运和尾块,并同时检查输出完整性及输入保持不变。若最终存在支持范围限制,也需要在执行前给出明确校验。该项按大张量偏移正确性问题继续跟踪。

likedislike
陈思陈思Collaborators
12 days ago Assign chen_0715 as responsible person
陈思陈思Collaborators
12 days ago Added label: pending-confirmation
陈思陈思Collaborators
11 days ago Removed label: pending-confirmation
CchenyifengCollaborators
7 days ago Assign VoyageZhou as responsible person
CchenyifengCollaborators
7 days ago Removed responsible person chen_0715
fitZepHYrfitZepHYrCollaborators
5 days ago Associated pull request
CANN-robotCANN-robotCollaborators
4 days ago Close issue
CANN-robotCANN-robotCollaborators
4 days ago changed custom state from 进行中 to 已完成
CANN-robotCANN-robotCollaborators
4 days ago Added label: resolved