Closed
[Bug-Report|缺陷反馈]: A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出 #8437
zihan0007Add on 12 days agoClosed at 3 days ago
12 days ago Modify description of issue
11 days ago Assign sxb154714 as responsible person
yuning_chen
11 days ago Comments:
11 days ago Comments:
您好,该问题已收到,当前问题 @sxb154714 正在处理中


yuning_chen
11 days ago Comments:
11 days ago Comments:
初步分析
感谢反馈,我们已开始核对这个问题。
现象理解:A5 上按 TQBMM Torch 文档 demo 实测:MXFP8 eager 同步超时、混合图内 randint converter 不支持,以及 HIFP8 示例输出含非有限值。
当前判断:初步判断,待复现确认——MXFP8 超时需定位 kernel/tiling 或数据布局;混合图问题更像示例把随机生成放进图内;HIFP8 更像示例原码包含特殊值,未必等于 kernel 精度缺陷。
涉及范围:matmul/transpose_quant_batch_mat_mul Torch API 文档与 A5 实现
下一步:我们将按你提供的环境与脚本核对 MXFP8 超时路径,并评估文档示例改写建议。


10 days ago Assign gitcode-chenjiao as responsible person, remove original responsible person: sxb154714
10 days ago Assign gitcode-chenjiao as responsible person, remove original responsible person: sxb154714
zihan0007
10 days ago Comments:
10 days ago Comments:
/assign


10 days ago Assign zihan0007 as responsible person
10 days ago Assign chaotang233 as responsible person, remove original responsible person: gitcode-chenjiao、zihan0007
10 days ago Assign chaotang233 as responsible person, remove original responsible person: gitcode-chenjiao、zihan0007
10 days ago Assign luzx66 as responsible person, remove original responsible person: chaotang233
10 days ago Assign luzx66 as responsible person, remove original responsible person: chaotang233
9 days ago Assign zihan0007 as responsible person
3 days ago Close issue
3 days ago changed custom state from 待办的 to 已完成
3 days ago Added label: resolved
2 days ago Change title to "[Bug-Report|缺陷反馈]: A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出", originally titled "[TQBMM][Torch] A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出".
2 days ago Change title to "[Bug-Report|缺陷反馈]: A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出", originally titled "[TQBMM][Torch] A5 文档 demo 实测:MXFP8 超时、混合图转换失败及 HIFP8 非有限输出".
2 days ago Added label: bug-report
2 days ago changed custom category from 任务 to 缺陷
问题概述
在 A5 上逐例运行 TQBMM 仓内 Torch API 文档的 7 个调用示例:5 个完成调用,2 个失败;其中 HIFP8 eager/graph 虽完成调用,但输出含非有限值,不能作为精度验证通过。
验证环境与版本
原例来自 torchapi_transpose_quant_batch_mat_mul.md,该文档在 NN58 版本未改变。原始代码保留,仅提取为独立脚本,检查时增加设备同步和输出回拷。以下 7 例在 SDK 内置算子库和 NN58 自建 AOT 库上得到相同的调用通过/失败结果。
环境前提:NN58 wheel 漏收 TransposeBatchMatMul 的
_perm_defaults.py,会连带导致父级 matmul 导入失败;本轮在私有安装目录补齐同版本辅助文件后验证。没有修改 TQBMM kernel/tiling 或原始 demo。逐例结果
507014 / aicore timeouttorch.ops.aten.randint.low ge_converter is not supported!问题 1:MXFP8 eager 原例在设备执行阶段超时
复现代码与原例参数一致;
synchronize()用于显式暴露异步执行错误:import torch import torch_npu import cann_ops_nn M, B, K, N = 64, 16, 128, 256 x1 = torch.randn(M, B, K).to(torch.float8_e4m3fn).npu() x2 = torch.randn(B, K, N).to(torch.float8_e4m3fn).npu() x1_scale = torch.ones(M, B, K // 64, 2, dtype=torch.float8_e8m0fnu).npu() x2_scale = torch.ones(B, K // 64, N, 2, dtype=torch.float8_e8m0fnu).npu() y = cann_ops_nn.transpose_quant_batch_mat_mul( x1, x2, dtype=27, x1_scale=x1_scale, x2_scale=x2_scale, group_sizes=[1, 1, 32], ) print(y.shape, y.dtype) torch.npu.synchronize() print(torch.isfinite(y.cpu()).all())(64,16,2,2)、(16,2,256,2),本次记录到的 scale format 枚举均为 0。**目前仅确认该用例在上述环境失败,根因未定位,不能据此判定所有 MXFP8 场景不支持。**请协助定位并提供可在配套环境稳定通过的示例或修复。
问题 2:混合图在 forward 内生成随机数据,当前 converter 不支持
原混合图在被编译函数内执行:
x1_mxfp4 = torch.randint(0, 256, (64, 16, 64), dtype=torch.uint8).npu()对应报错:
建议将随机数据生成、编码、类型转换及设备搬运放在图外,作为 forward 参数或 buffer 传入。改成 Module 本身不会自动解决 converter 缺失。
将原 MXFP8+MXFP4 改写为图外准备输入后,Meta/FX 结构检查通过,能看到两个 TQBMM 节点;但由于问题 1,尚未完成该组合的设备执行验收。
问题 3:HIFP8 随机原码包含特殊值,不适合作为数值示例
原 eager/graph 示例使用
torch.randint(0,128,...,dtype=torch.uint8)构造 HIF8 原码。范围包含正无穷编码0x6F,还包括可能引发 FP16 输出溢出的较大有限值;本轮输出的finite=false。建议使用已知有限的 HIF8 编码数据、非单位 scale,并增加 CPU 预期结果断言。调用成功和 shape 正确不能等价于数值正确。这里是示例数据构造问题,不据此认定 HIFP8 kernel 精度错误。
兼容性补充:本轮 2.10 自带 TorchAir 对原例 uint64 scale 图输入报
Unsupported ge dtype 10;2.14 可完成调用。用 int64 承载相同 float32 scale 位模式的有限数据 Module 版,在两套环境均通过 eager/静态完整图及数值检查。此结论限定到实测包版本。补充验证及待处理项
原例逐例 JSON、设备报错日志和推荐版记录已归档,包含
working214_source_original、working214_sdk_original、final_eager_numeric、doc_module_pr四组结果,可进一步提供用于定位。