Closed
[Bug-Report|缺陷反馈]: BNInference 第三轮 L2 异常测例的 GE 接口预期与测试因子需校准 #8097
raoliang_sacAdd on  18 days agoClosed at  17 days ago
raoliang_sac
raoliang_sacCollaborators
18 days ago Create

问题描述

接管 BNInference 第三轮完整 996 条回归时,发现 38 条 L2 异常测例的预期与 GE 图接口及已发布约束存在不一致,需要单独校准测例,避免把正确拒绝、测试工具拦截或合法图适配混为算子缺陷。

来源是用户交接的 BNInference_l2_exception.csv,SHA256 456e0470cede29e01dfdaa445484a57043bf2108e36f3edca67a0f8a33764e7d。首次归因时的代码 046a862c1c3fbcfd1a4eb49207cfccb7939a815f,TTK 8f50c96868d36d11f413f4acaa369ed03280fe2a,CANN 9.3.0 C25B114 / Ascend950PR_9579,GEIR --pc=1。原 CSV、golden 和判定结果全部保留。

已确认的具体问题:

  1. 错误码预期没有按调用接口区分。 算子 README 明确没有 ACLNN 单算子接口,仅支持 GE 图模式。CSV 备注却统一要求 ACL_ERROR_DTYPES_NOT_MATCH / ACL_ERROR_FORMAT_NOT_SUPPORT / ACL_ERROR_SHAPE_NOT_MATCH / ACL_ERROR_INVALID_DIMENSION 等名字;上述名字在当前安装的公共 ACL 头文件中未查到。本轮 dtype 001/002/004/005/007/008/010/011 实际被 GE 明确以 EZ3004 拒绝,错误消息分别指出 x、mean、variance 或 momentum 的 BOOL/COMPLEX128 不受支持;不应把返回正确的 GE 错误判成算子漏检。
  2. 非法值放在缺失的可选输入上。 013/014 的 scale 是 None,017/018 的 offset 是 None,却试图测试这些缺失输入上的非法 dtype/format。接口规定缺失 Tensor 的 dtype 不参与匹配。013 的实测拒绝原因是 EZ0012:5D x 使用 NCHW;014/017 的实测拒绝原因是 EZ0017:y 与 x 格式不同,均不属于备注声称的目标 dtype 覆盖。
  3. 同一例同时破坏多个约束,首错无法对应测试因子。 例如 format_006 想测 mean 的 FRACTAL_NZ,但实际先因 y=NCDHW、x=NHWC 被 EZ0017 拒绝;format_009/012/015 也实际先被 y/x 格式不一致拒绝。拒绝本身合理,但不能把它们记成预期参数分支已覆盖。
  4. 所谓“维度上溢/下溢”没有对应接口上限。 例如 029 的 x=(2,2,971,2,269)、ND 格式、参数长度 C=2 本身没有 shape 溢出。026/029/030/031/032/033/038 的静态形状都没有违反 README 的 rank/channel 规则;其中 dtype 组合、输出描述或 GE 自动转换仍须按实际日志单独判断,不能仅凭随机生成器的维度区间要求算子拒绝。算子公开约束采用 64 位 shape/元素数,实际可分配规模受环境内存限制。
  5. 输出错误 shape 的构造会先碰到工具限制。 022/023 把 y 声明为 (999,999,999,999) / (999,999,999,999,999)。TTK 的形状容量预检查会在调用算子前拦截;022、023 均已在当前版本实际执行,分别由 TTK 解析期以 shape is out of bound: limit=30GB 拒绝;没有进入算子。算子的 GE InferShape 又会将 yShape 设置为 xShape,因此需先确认“用户输出 descriptor 不同”在该 GE 通路的有效测试方式,不能把工具层拦截计为算子拒绝通过。

需要明确及修正的内容

  • 按 GE 接口记录实际拒绝阶段、错误类别与可稳定核对的错误码/关键消息;不要套用不存在的 ACLNN 预期。
  • 从合法 dtype 联合组合、合法 layout/shape 和实际存在的目标输入出发,每个负向例只改变一个约束;保留已确认的原始证据,修正后另列验证结果,不覆盖旧 FAIL。
  • 将超大 shape 的资源边界验证和明确违反接口约束的异常验证分开;合法维度不得为了匹配测试备注而人为增加算子限制。

首次归因阶段的结果保留如下,最终代码的新增复测进度见文末;资源未完成项、工具前置拒绝和精度通过分别记录。本 Issue 不要求调整数值 golden/阈值。

相关数值修复 PR:https://gitcode.com/cann/ops-nn/merge_requests/13598 。本问题独立于该 PR 已修复的数值问题,不应随该 PR 自动关闭。

029 首次归因时的实际结果

BNInference_L2_exc_dimval_029 已在上述首次归因版本 GEIR 实际完成:precision=SUPPRESSED、precision_status=SKIP(golden 明确关闭),存在完整的 NPU output_dynamic_0_bfloat16.npy,以及 5 份输入 NPY,均已记录 SHA256。它没有因所谓“维度上溢”被拒绝。该记录只证明 GE 调用完成,不是数值精度 PASS;原始联合 dtype/输出 dtype 是否由 GE 适配需要与原生 kernel 约束分开解释。

最终代码 0761accf6c 的两方回归及负向复测

截至 2026-11-05T13:47:25,epoch two_party_v1_20261105 的原始 38 条负向已有 37 条本版本执行记录,待完成 1 条:34 条由 GE 拒绝,2 条由 TTK 前置容量检查拦截,1 条 GE 接受但原负向预期需校准。负向使用 GEIR、golden Disable、--pc=1,不计作数值精度 PASS,也未将实际错误码改写为 CSV 备注中的 ACL 错误码。

GE 拒绝细分:不支持 dtype 9 条、格式约束 17 条、rank 约束 7 条、缺失必选输入 1 条。上一轮已执行的 37 条拒绝/接受归因全部一致。

020 仍受内存预算限制,尚未完成本版本实际执行;不计为算子拒绝或通过。

022/023 仍由 TTK 的 limit=30GB 预检查拒绝,没有进入算子。029 再次完成 GE 执行,全部输入及输出 SHA256 与上一轮逐份相同;其 shape 未违反已发布约束,golden 关闭,不能称为精度通过。

同版本正向当前 mixed PASS 936、精度 FAIL 0,仍有 22 条未完成数值验证。原始 CSV、CPU golden、容差和公共 TTK 均未修改。GPU 参考方案的独立修正见数值 PR;本轮按用户要求不采集 GPU 三方数据。

原 full_v4 的 882 条正向(880 三方通过、229/873 三方失败)、37 条负向及资源缺口仍作为旧版本历史记录保留,不计入当前覆盖。证据:validation/bni_round3_20261104/two_party_v1_20261105/negative_disposition.json。本 Issue 的测例预期和工具限制仍需独立处理,保持 open,不随数值修复 PR 自动关闭。

最终代码的原始负向清单复核

受测提交 1c6e1b0697acc8f6d8f96790c64fd2e9cae8fd9f,epoch full_v8_20261106_cf_grouped,TTK 显式 --pc=1。原始 38 条均已重新处理:35 条由 GE 拒绝,2 条由 TTK 的 30 GB 输入容量检查拦截,1 条 GE 接受但原始负向预期不成立。没有将这些结果计为数值精度 PASS。

原来受内存限制的 020 已完成本版本执行,结果为 TENSOR_RANK_VALIDATION_REJECTED,阶段 GE_RUNGRAPH_PARAMETER_VALIDATION,实际错误码 EZ0012。该行虽然命名为 dtype 用例,但请求的 rank 与格式先发生冲突;此结果不证明原备注中的 dtype/ACL 错误码预期成立。此前已有记录的 37 条拒绝/接受归因全部一致。

022/023 仍在 TTK 解析阶段被容量限制拒绝,未进入算子。029 的输入 shape 不违反已发布约束;本次输入及输出实际张量字节与旧记录逐份相同。新版 TTK 的 BF16 npy 描述符由 <V2 改成 |V2,因此文件哈希不同,但数据载荷没有变化。029 关闭 golden,本记录不证明其数值精度。

本 Issue 当前已关闭,2026-11-05 的关闭说明讨论的是 golden 位宽及 GPU inf;本次原始负向清单仍重现上述独立的测例预期和工具容量限制,不能由关闭状态推断测例已修正。本次补充验证证据并保留既有 Issue 状态。原始 CSV、shape 和预期错误码均未改写。

修复 PR:https://gitcode.com/cann/ops-nn/merge_requests/13781

证据:validation/bni_round3_20261104/full_v8_20261106_cf_grouped/negative_disposition.json、negative029_history_check.json。

likedislike
raoliang_sacraoliang_sacCollaborators
18 days ago Added label: question
raoliang_sacraoliang_sacCollaborators
18 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
18 days ago Modify description of issue
yuning_chenyuning_chenCollaborators
18 days ago Assign yourealize as responsible person
yuning_chen
yuning_chenCollaborators
18 days ago Comments:

初步分析

感谢反馈,我们已开始核对这个问题。

现象理解:接管 BNInference 第三轮 996 条回归时,发现 38 条 L2 异常测例的预期与 GE 图接口及已发布约束不一致,需要把「正确拒绝、测试工具拦截、合法图适配」与真实算子缺陷区分开。

当前判断:初步判断属测例预期与当前对外约束不同步,需要逐条对齐 GE 接口声明后才能判定哪些该算测例问题、哪些要算到算子头上,暂不下结论。

涉及范围:BNInference 在 Ascend 950 上的 GE 图接口约束,以及第三轮 L2 异常测例集(BNInference_l2_exception.csv)。

下一步:我们会按该 CSV 分组核对每条用例的预期错误码与现行约束,给出需要校准的测例清单。

likedislike
yuning_chen
yuning_chenCollaborators
18 days ago Comments:

您好,该问题已收到,当前问题 @yourealize 正在处理中

likedislike
raoliang_sacraoliang_sacCollaborators
17 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
17 days ago Modify description of issue
raoliang_sacraoliang_sacCollaborators
17 days ago Modify description of issue
raoliang_sac
raoliang_sacCollaborators
17 days ago Comments:

已沟通 golden有位宽提升不一致,导致GPU出现 不符合预期的inf

likedislike
raoliang_sacraoliang_sacCollaborators
17 days ago changed custom state from 进行中 to 已完成
raoliang_sacraoliang_sacCollaborators
17 days ago Close issue
raoliang_sacraoliang_sacCollaborators
16 days ago Modify description of issue
CANN-robotCANN-robotCollaborators
16 days ago Added label: resolved
chenjiayi_chenjiayi_Collaborators
10 days ago Change title to "[Bug-Report|缺陷反馈]: BNInference 第三轮 L2 异常测例的 GE 接口预期与测试因子需校准", originally titled "[Question|问题咨询]: BNInference 第三轮 L2 异常测例的 GE 接口预期与测试因子需校准".
chenjiayi_chenjiayi_Collaborators
10 days ago Added label: bug-report; Removed label: question