Closed
[Documentation|文档反馈]: aclnnInplaceBernoulliTensor 资料表 3 的 selfRef 数据类型漏列 BFLOAT16(实现已支持) #3944
liuhanwen8Add on  27 days agoClosed at  3 days ago
liuhanwen8
liuhanwen8
27 days ago Create

现象

aclnnInplaceBernoulliTensor 的资料参数表(表 3)把 selfRef 的数据类型写成:

FLOAT16、FLOAT、DOUBLE、UINT8、INT8、INT16、INT32、INT64、BOOL

漏列 BFLOAT16;而同一份资料的表 2(aclnnBernoulliTensor 的 self / out)明确包含
BFLOAT16,且实测该原地接口在 A2 上 bf16 可正常执行:

组 selfRef dtype GetWorkspaceSize Execute Sync 输出
对照 FLOAT 0 0 0 0/1
缺陷 BFLOAT16 0 0 0 530/1024 为 1,其余 0,无越界值

期望

资料 random/stateless_bernoulli/docs/aclnnBernoulliTensor&aclnnInplaceBernoulliTensor.md:

  • 表 2(非原地)self 行(约 L109)与 out 行(约 L149)均声明 …、BOOL、BFLOAT16;
  • 表 3(原地)selfRef 行(约 L299)只到 BOOL。

同一接口族的支持面应自洽:既然非原地 self/out 支持 BFLOAT16、原地实现实测也支持,
表 3 应补 BFLOAT16(若某个产品不支持,按资料既有写法在该产品小节注明,
而不是从公共 dtype 列表里删掉)。

环境

  • 硬件:Atlas A2 训练系列(Ascend 910B2),npu-smi 26.1.1
  • CANN:9.2.0,Linux aarch64,g++ 11.4.0
  • 仓库与提交:cann/ops-math master 584b2ea6cbaeba684a51a74296d82d4d50ab3b0f(git fetch origin master 后核对)

复现步骤

  1. 保存下方脚本为 repro.cpp。
  2. source $ASCEND_HOME_PATH/set_env.sh。
  3. g++ -std=c++17 -O2 repro.cpp -o repro -I$ASCEND_HOME_PATH/include -L$ASCEND_HOME_PATH/lib64 -lascendcl -lopapi -lnnopbase
  4. ./repro 0。
  5. 看输出:GetWorkspaceSize=0 Execute=0 Sync=0 ones≈500 bad=0,说明 bf16 原地路径可执行。

复现脚本

#include <cstdio>
#include <cstdlib>
#include <vector>
#include "acl/acl.h"
#include "aclnnop/aclnn_bernoulli.h"

int main(int argc, char** argv)
{
    int32_t dev = argc > 1 ? atoi(argv[1]) : 0;
    aclrtStream s = nullptr;
    aclInit(nullptr); aclrtSetDevice(dev); aclrtCreateStream(&s);
    const int64_t n = 1024;
    std::vector<int64_t> sh = {n}, st = {1};
    std::vector<uint16_t> self(n, 0x3F80), prob(n, 0x3F00);  // bf16 1.0 / 0.5
    void *ds = nullptr, *dp = nullptr;
    aclrtMalloc(&ds, n * 2, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMemcpy(ds, n * 2, self.data(), n * 2, ACL_MEMCPY_HOST_TO_DEVICE);
    aclrtMalloc(&dp, n * 2, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMemcpy(dp, n * 2, prob.data(), n * 2, ACL_MEMCPY_HOST_TO_DEVICE);
    aclTensor* ts = aclCreateTensor(sh.data(), 1, ACL_BF16, st.data(), 0, ACL_FORMAT_ND, sh.data(), 1, ds);
    aclTensor* tp = aclCreateTensor(sh.data(), 1, ACL_BF16, st.data(), 0, ACL_FORMAT_ND, sh.data(), 1, dp);
    uint64_t ws = 0; aclOpExecutor* ex = nullptr;
    int r1 = aclnnInplaceBernoulliTensorGetWorkspaceSize(ts, tp, 1, 0, &ws, &ex);
    int r2 = -1, r3 = -1;
    if (r1 == 0) {
        void* w = nullptr; if (ws) aclrtMalloc(&w, ws, ACL_MEM_MALLOC_HUGE_FIRST);
        r2 = aclnnInplaceBernoulliTensor(w, ws, ex, s);
        r3 = aclrtSynchronizeStream(s);
        if (w) aclrtFree(w);
    }
    std::vector<uint16_t> out(n, 0xFFFF);
    aclrtMemcpy(out.data(), n * 2, ds, n * 2, ACL_MEMCPY_DEVICE_TO_HOST);
    int bad = 0, ones = 0;
    for (auto v : out) {
        if (v == 0x3F80) ones++;
        else if (v != 0x0000) bad++;
    }
    printf("bf16: GetWorkspaceSize=%d Execute=%d Sync=%d ones=%d bad=%d\n", r1, r2, r3, ones, bad);
    aclDestroyTensor(ts); aclDestroyTensor(tp); aclrtFree(ds); aclrtFree(dp);
    aclrtDestroyStream(s); aclrtResetDevice(dev); aclFinalize();
    return 0;
}

实测输出:

bf16: GetWorkspaceSize=0 Execute=0 Sync=0 ones=530 bad=0

影响

按资料表 3,调用方会认为原地伯努利不支持 BFLOAT16,从而在模型中使用 bf16 时绕开该接口
或额外插入 Cast;而实现实际支持,造成「资料比实现更保守」的兼容性误判。
对自动生成算子支持矩阵、算子选型与精度回归的工具链,这类表格漏项会直接产生错误的支持面结论。

建议

  1. 表 3 selfRef 的 dtype 列表补 BFLOAT16,与表 2 的 self/out 对齐;
  2. 若 Atlas训练系列产品 确实不支持 BFLOAT16,保留表尾的 npu="910" 小节说明即可,
    不要把该限制从公共列表里删除;
  3. 同步检查 random/dsa_gen_bit_mask、experimental/random/bernoulli 下的副本资料,
    避免同名文档多处漂移。
likedislike
liuhanwen8liuhanwen8
27 days ago Added label: documentation
liuhanwen8
liuhanwen8
27 days ago Comments:

同型问题第三例:aclnnInplaceDivMod(补充证据,供一并排查)

本 issue 报告的「原地接口主参数表 selfRef 漏列 BFLOAT16,但实现已支持」并非孤例。
在 cann/ops-math master 584b2ea6 上又确认到两处同型:

接口 位置 证据
aclnnInplaceBernoulliTensor random/stateless_bernoulli/docs/... 表 3 本 issue
aclnnInplaceRound math/round/op_api/aclnn_round.h:54 #3915
aclnnInplaceDivMod math/div/docs/aclnnDivMod&aclnnInplaceDivMod.md 主参数表 selfRef 行 本评论

aclnnInplaceDivMod 的具体情况

主参数表 selfRef 的 dtype 列写成 11 项,不含 BFLOAT16:

FLOAT、FLOAT16、DOUBLE、INT32、INT64、INT16、INT8、UINT8、BOOL、COMPLEX128、COMPLEX64

但同一份资料内部有两处反向表述:

  1. npu="950" id10 分组(文件 L351-352)明写:
    • 「mode 为 0 时,selfRef 数据类型支持 FLOAT、FLOAT16、DOUBLE、BFLOAT16」
    • 「mode 为 1 或 2 时,selfRef 数据类型支持 …、BOOL、BFLOAT16」
  2. npu="A3,910b" id11 分组(L450)讨论「FLOAT16/BFLOAT16 数据类型精度有限…」——
    既在讨论 bf16 的舍入误差,即默认 bf16 被支持。

这说明 aclnnInplaceDivMod 的漏列比 #3944 更明确:同一份文件内部就自相矛盾,
不需要跨表对比。

实测(Atlas A3 / 910_93,CANN 9.2.0)

selfRef/other 均为 BFLOAT16,shape [4,8],输入 2.0 / 1.5,三个 mode 全跑:

mode GetWorkspaceSize Execute Sync 输出(bf16 raw) 语义校验
0(真除) 0 0 0 0x3fab ≈ 1.34 2.0/1.5 ✔
1(trunc) 0 0 0 0x3f80 = 1.0 trunc(1.333) ✔
2(floor) 0 0 0 0x3f80 = 1.0 floor(1.333) ✔

三行的 Execute 与 Sync 都是 0 且数值符合各 mode 语义,可排除「bf16 进了意外回退路径」。

最小复现:

#include <acl/acl.h>
#include <aclnnop/aclnn_div.h>
#include <cstdio>
#include <vector>
#define CK(x, m) do { int _r = (x); if (_r != ACL_SUCCESS) { \
    printf("  [ERR] %s ret=%d\n", m, _r); return _r; } } while (0)
class Buf {
 public:
  void* p = nullptr; aclTensor* t = nullptr;
  ~Buf() { if (t) aclDestroyTensor(t); if (p) aclrtFree(p); }
};
static int MakeBf16(Buf& b, const std::vector<int64_t>& sh, uint16_t bits) {
  int64_t n = 1; for (size_t i = 0; i < sh.size(); ++i) n *= sh[i];
  size_t by = (size_t)n * sizeof(uint16_t);
  std::vector<uint16_t> h((size_t)n, bits);
  CK(aclrtMalloc(&b.p, by, ACL_MEM_MALLOC_HUGE_FIRST), "malloc");
  CK(aclrtMemcpy(b.p, by, h.data(), by, ACL_MEMCPY_HOST_TO_DEVICE), "h2d");
  std::vector<int64_t> st(sh.size(), 1);
  for (int i = (int)sh.size() - 2; i >= 0; --i) st[i] = sh[i + 1] * st[i + 1];
  b.t = aclCreateTensor(sh.data(), sh.size(), ACL_BF16, st.data(), 0, ACL_FORMAT_ND,
                        sh.data(), sh.size(), b.p);
  return b.t ? 0 : -1; }
static int One(const char* tag, int mode) {
  std::vector<int64_t> sh = {4, 8};
  Buf A, B;
  if (MakeBf16(A, sh, 0x4000) || MakeBf16(B, sh, 0x3FC0)) {  // 2.0 / 1.5
    printf("  [%s] SETUP_FAIL\n", tag); return -1; }
  uint64_t ws = 0; aclOpExecutor* ex = nullptr;
  int r1 = (int)aclnnInplaceDivModGetWorkspaceSize(A.t, B.t, mode, &ws, &ex);
  if (r1 != 0) { printf("  [%s] GetWorkspaceSize=%d\n", tag, r1); return r1; }
  void* wsp = nullptr; if (ws > 0) aclrtMalloc(&wsp, ws, ACL_MEM_MALLOC_HUGE_FIRST);
  aclrtStream s = nullptr; aclrtCreateStream(&s);
  int r2 = (int)aclnnInplaceDivMod(wsp, ws, ex, s);
  int r3 = (int)aclrtSynchronizeStream(s);
  if (wsp) aclrtFree(wsp); aclrtDestroyStream(s);
  uint16_t v = 0; aclrtMemcpy(&v, 2, A.p, 2, ACL_MEMCPY_DEVICE_TO_HOST);
  printf("  [%s] GetWS=0 Exec=%d Sync=%d out=0x%04x\n", tag, r2, r3, (unsigned)v);
  return 0; }
int main() {
  CK(aclInit(nullptr), "aclInit"); CK(aclrtSetDevice(0), "setDevice");
  One("mode=0", 0); One("mode=1", 1); One("mode=2", 2);
  aclrtResetDevice(0); aclFinalize(); return 0; }

建议

既然已经出现 3 个接口 4 处同型漏列,建议不只逐条补字,而是:

  1. 做一次兜底排查:对本仓所有 aclnnInplace* 接口,比对「主参数表 selfRef dtype 列」与
    「同文件内 npu= 分组说明 + 非原地对应接口 self 列 + op_api 实现里实际接受的 dtype」三者;
  2. 把结果用一条追踪单挂起,避免后续继续逐条提。

我这边可以配合提供批量比对脚本的输出(静态三向对比 + 真机逐个验证),如有需要请告知。

likedislike
liuhanwen8liuhanwen8
27 days ago Change title to "[Documentation|文档反馈]: aclnnInplaceBernoulliTensor 资料表 3 的 selfRef 数据类型漏列 BFLOAT16(实现已支持)", originally titled "[Bug-Report|缺陷反馈]: [Documentation|文档反馈]: aclnnInplaceBernoulliTensor 资料表 3 的 selfRef 数据类型漏列 BFLOAT16(实现已支持)".
陈思
陈思Collaborators
26 days ago Comments:

您好,感谢反馈!

问题分析

在 cann/ops-math@584b2ea6 中,原地接口主表的 selfRef 确实漏列 BFLOAT16,而非原地的 self/out 已包含该类型。原地参数表、非原地参数表。源码中的 910B 类型表同时允许输出和 prob 使用 BFLOAT16,原地入口又直接复用非原地 Tensor 路径,以 selfRef 作为输出;这支持按资料漏项处理,与您报告的 A2 执行结果一致。类型检查、原地复用路径。

旧 Atlas 训练系列(npu="910")仍有明确的 BFLOAT16 限制,应保留该产品条件,不能把 A2 的结论推广到全部产品。产品限制。

评论补充的 aclnnInplaceDivMod 也存在同文件不一致:selfRef 主表未列 BFLOAT16,950 产品的 mode 说明却明确包含它,A2/A3 小节也讨论了 BFLOAT16 的取整精度。主表与 mode 说明、A2/A3 精度说明。这些证据说明资料需要对齐,但不能仅凭一组输入的执行结果判断所有类型组合或内部计算路径。

处理方向

可行的修正方向是补全原地 BernoulliTensor 的 BFLOAT16 列项,同时保留产品限制;已核对的 experimental 同名资料也存在相同漏项,可纳入一致性整理。副本文档。DivMod 则需同时对齐主表、产品说明和 mode 约束,保留类型推导、原地输出及精度条件。

您提出的“主表—产品分组—实现”三向比对适合作为批量排查方向,但差异仍需按接口和产品确认,不能把列表差异直接转成全平台支持声明。我们会继续评估相关资料的一致性整理范围。

likedislike
陈思陈思Collaborators
26 days ago Assign liu-wei as responsible person
陈思陈思Collaborators
26 days ago Added label: pending-confirmation
陈思陈思Collaborators
26 days ago Removed label: pending-confirmation
陈思陈思Collaborators
16 days ago Assign FelixTang7 as responsible person
liu-weiliu-weiCollaborators
16 days ago Removed responsible person liu-wei
chenyifengchenyifengCollaborators
15 days ago Assign zhuzemao as responsible person
chenyifengchenyifengCollaborators
15 days ago Removed responsible person FelixTang7
CANN-robotCANN-robotCollaborators
3 days ago Close issue
CANN-robotCANN-robotCollaborators
3 days ago changed custom state from 进行中 to 已完成
CANN-robotCANN-robotCollaborators
3 days ago Added label: resolved