Closed
[Bug-Report|缺陷反馈]: A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出 #8437
zihan0007Add on  12 days agoClosed at  3 days ago
zihan0007
zihan0007Collaborators
12 days ago Create

问题概述

在 A5 上逐例运行 TQBMM 仓内 Torch API 文档的 7 个调用示例:5 个完成调用,2 个失败;其中 HIFP8 eager/graph 虽完成调用,但输出含非有限值,不能作为精度验证通过。

验证环境与版本

项目 实测配置
验证日期 2026-11-06
设备 Ascend950PR_958b,NPU 0(共享环境)
驱动 7.0.t9.0.B887;ascendhal 7.35.23
运行 CANN 完整 CANN 9.3.0,组件时间戳 20261028_000328247
主框架 Torch 2.14.0+cpu / TorchNPU 2.14.0,使用其附带的 TorchAir
对照框架 Torch/TorchNPU 2.10.0,用于 HIFP8 scale 类型兼容性检查
ops-nn 58b49724faff021d82b6bc8e04adc1201bf3a82a,自建 ascend950 AOT 包
Blaze bd67625e6457ad01e4558ffb55bcb64442b6dcce
构建依赖 CANN 9.3.0 weekly 20261021 编译器和 SDK TensorAPI

原例来自 torchapi_transpose_quant_batch_mat_mul.md,该文档在 NN58 版本未改变。原始代码保留,仅提取为独立脚本,检查时增加设备同步和输出回拷。以下 7 例在 SDK 内置算子库和 NN58 自建 AOT 库上得到相同的调用通过/失败结果。

环境前提:NN58 wheel 漏收 TransposeBatchMatMul 的 _perm_defaults.py,会连带导致父级 matmul 导入失败;本轮在私有安装目录补齐同版本辅助文件后验证。没有修改 TQBMM kernel/tiling 或原始 demo。

逐例结果

原始示例 实测结果
eager MXFP8 失败:同步报 507014 / aicore timeout
eager MXFP4 调用通过,输出有限;原例无 CPU 参考断言
eager K-C FP8 调用通过,输出有限;原例无 CPU 参考断言
eager HIFP8 调用完成,但输出含 Inf/NaN
graph K-C FP8 调用通过,输出有限;原例无 CPU 参考断言
graph HIFP8 2.14 环境调用完成,但输出含 Inf/NaN
graph MXFP8+MXFP4 失败:torch.ops.aten.randint.low ge_converter is not supported!

问题 1:MXFP8 eager 原例在设备执行阶段超时

复现代码与原例参数一致;synchronize() 用于显式暴露异步执行错误:

import torch
import torch_npu
import cann_ops_nn

M, B, K, N = 64, 16, 128, 256
x1 = torch.randn(M, B, K).to(torch.float8_e4m3fn).npu()
x2 = torch.randn(B, K, N).to(torch.float8_e4m3fn).npu()
x1_scale = torch.ones(M, B, K // 64, 2, dtype=torch.float8_e8m0fnu).npu()
x2_scale = torch.ones(B, K // 64, N, 2, dtype=torch.float8_e8m0fnu).npu()
y = cann_ops_nn.transpose_quant_batch_mat_mul(
    x1, x2, dtype=27,
    x1_scale=x1_scale, x2_scale=x2_scale,
    group_sizes=[1, 1, 32],
)
print(y.shape, y.dtype)
torch.npu.synchronize()
print(torch.isfinite(y.cpu()).all())
  • 输入检查通过、接口返回并打印 shape 后,实际同步失败。
  • x1/x2 format 枚举均为 2(ND);两侧 scale 为 E8M0、shape 分别为 (64,16,2,2)、(16,2,256,2),本次记录到的 scale format 枚举均为 0。
  • SDK 内置算子与 NN58 自建 AOT 均复现。
  • 额外将 scale 显式转为 ND 的诊断未在 120 秒内完成,不能作为已验证修复方案。

**目前仅确认该用例在上述环境失败,根因未定位,不能据此判定所有 MXFP8 场景不支持。**请协助定位并提供可在配套环境稳定通过的示例或修复。

问题 2:混合图在 forward 内生成随机数据,当前 converter 不支持

原混合图在被编译函数内执行:

x1_mxfp4 = torch.randint(0, 256, (64, 16, 64), dtype=torch.uint8).npu()

对应报错:

torch.ops.aten.randint.low ge_converter is not supported!

建议将随机数据生成、编码、类型转换及设备搬运放在图外,作为 forward 参数或 buffer 传入。改成 Module 本身不会自动解决 converter 缺失。

将原 MXFP8+MXFP4 改写为图外准备输入后,Meta/FX 结构检查通过,能看到两个 TQBMM 节点;但由于问题 1,尚未完成该组合的设备执行验收。

问题 3:HIFP8 随机原码包含特殊值,不适合作为数值示例

原 eager/graph 示例使用 torch.randint(0,128,...,dtype=torch.uint8) 构造 HIF8 原码。范围包含正无穷编码 0x6F,还包括可能引发 FP16 输出溢出的较大有限值;本轮输出的 finite=false。

建议使用已知有限的 HIF8 编码数据、非单位 scale,并增加 CPU 预期结果断言。调用成功和 shape 正确不能等价于数值正确。这里是示例数据构造问题,不据此认定 HIFP8 kernel 精度错误。

兼容性补充:本轮 2.10 自带 TorchAir 对原例 uint64 scale 图输入报 Unsupported ge dtype 10;2.14 可完成调用。用 int64 承载相同 float32 scale 位模式的有限数据 Module 版,在两套环境均通过 eager/静态完整图及数值检查。此结论限定到实测包版本。

补充验证及待处理项

  • 三个调整后的完整示例脚本:K-C、HIFP8、K-C+MXFP4 混合 Module,均在上述 A5 环境复跑通过,eager 和静态图输出与 CPU 预期结果精确一致。
  • 另有 K-C 8 组、MXFP4 8 组、HIFP8 24 组受控数值用例通过;未将 MXFP8 计入这些通过结果。
  • **仍需定位 MXFP8 原例超时。**原 MXFP8+MXFP4 同图设备执行也尚未验收。
  • 未验证 A6 或动态 shape 图,不能将静态图通过扩展到这些范围。

原例逐例 JSON、设备报错日志和推荐版记录已归档,包含 working214_source_original、working214_sdk_original、final_eager_numeric、doc_module_pr 四组结果,可进一步提供用于定位。

likedislike
zihan0007zihan0007Collaborators
12 days ago Modify description of issue
yuning_chenyuning_chenCollaborators
11 days ago Assign sxb154714 as responsible person
yuning_chen
yuning_chenCollaborators
11 days ago Comments:

您好,该问题已收到,当前问题 @sxb154714 正在处理中

likedislike
yuning_chen
yuning_chenCollaborators
11 days ago Comments:

初步分析

感谢反馈,我们已开始核对这个问题。

现象理解:A5 上按 TQBMM Torch 文档 demo 实测:MXFP8 eager 同步超时、混合图内 randint converter 不支持,以及 HIFP8 示例输出含非有限值。
当前判断:初步判断,待复现确认——MXFP8 超时需定位 kernel/tiling 或数据布局;混合图问题更像示例把随机生成放进图内;HIFP8 更像示例原码包含特殊值,未必等于 kernel 精度缺陷。
涉及范围:matmul/transpose_quant_batch_mat_mul Torch API 文档与 A5 实现
下一步:我们将按你提供的环境与脚本核对 MXFP8 超时路径,并评估文档示例改写建议。

likedislike
yuning_chenyuning_chenCollaborators
10 days ago Assign gitcode-chenjiao as responsible person, remove original responsible person: sxb154714
zihan0007
zihan0007Collaborators
10 days ago Comments:

/assign

likedislike
CANN-robotCANN-robotCollaborators
10 days ago Assign zihan0007 as responsible person
yuning_chenyuning_chenCollaborators
10 days ago Assign chaotang233 as responsible person, remove original responsible person: gitcode-chenjiao、zihan0007
yuning_chenyuning_chenCollaborators
10 days ago Assign luzx66 as responsible person, remove original responsible person: chaotang233
zihan0007zihan0007Collaborators
9 days ago Assign zihan0007 as responsible person
CANN-robotCANN-robotCollaborators
3 days ago Close issue
CANN-robotCANN-robotCollaborators
3 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
3 days ago Added label: resolved
chenjiayi_chenjiayi_Collaborators
2 days ago Change title to "[Bug-Report|缺陷反馈]: A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出", originally titled "[TQBMM][Torch] A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出".
chenjiayi_chenjiayi_Collaborators
2 days ago Added label: bug-report
chenjiayi_chenjiayi_Collaborators
2 days ago changed custom category from 任务 to 缺陷