已关闭
【API一致性任务】: Ascend for PyTorch API 一致性开发说明:float8_e4m3fnuz 测试用例及资料验证 #3844
AZT创建于  29 天前关闭于  10 天前
AZT
AZT
29 天前 创建

在提交新问题之前,请确保您已经在社区中搜索过相关问题,并使用了社区中提供的资源/工具后,仍未找到满意的解决方式。

环境信息

操作系统 :Linux
昇腾硬件信息: Ascend 910B(soc 223)
CANN软件版本:随 torch_npu 版本发布
安装的对应软件版本:torch 2.7.1/2.11.0/2.12.0 + torch_npu 对应版本

关联issue:https://gitcode.com/Ascend/pytorch/issues/3743

使用场景及问题

一、验证范围
本次验证了 float8_e4m3fnuz 在 NPU 环境下的适用性分析:

  1. API功能:将 UntypedStorage 转换为 float8_e4m3fnuz 类型的 TypedStorage
  2. 依赖分析:内部通过 tensor.to(float8_e4m3fnuz) 完成类型转换,依赖 CANN 对 float8_e4m3fnuz dtype 的支持

二、处理方式(按最新验收标准 3.1)
该 API 因 NPU/CANN 不支持 float8_e4m3fnuz dtype 而无法在 NPU 上验证,属于上游实现/硬件对特定 dtype 的依赖问题:

  1. Ascend NPU/CANN 使用自有的 hifloat8 / float8_e8m0fnu 格式,不支持 PyTorch 标准 float8_e4m3fnuz dtype
  2. 实测在 NPU 上调用 float8_e4m3fnuz() 报错:RuntimeError: Float8_e4m3fnuz has not been supported
  3. 按最新验收标准 3.1:不再新增 patch,仅提交本 issue 说明,该问题将通过 PyTorch 社区特性硬件解耦任务跟踪实现
  4. native_api 资料中未收录 torch.UntypedStorage.float8_e4m3fnuz 条目,属于 NPU/CANN 不支持的 dtype

三、验证结果
该 API 无法在 NPU 上通过验证,原因如下:

验证项 说明
API 功能 将 UntypedStorage 转换为 float8_e4m3fnuz TypedStorage
硬件依赖 float8_e4m3fnuz dtype 需 CANN 算子支持
实测结果 NPU 报错 RuntimeError: Float8_e4m3fnuz has not been supported
处理方式 按验收标准 3.1 提交 issue 说明,不再新增 patch,走 PyTorch 社区硬件解耦跟踪

image.png

四、结论

  1. float8_e4m3fnuz 依赖 float8_e4m3fnuz dtype,NPU/CANN 不支持
  2. 按最新验收标准 3.1,不再新增 patch,以本 issue 说明为准,将通过 PyTorch 社区特性硬件解耦任务跟踪实现

欢迎加入社区,感谢您对社区的贡献 🎉!

likedislike
AZTAZT
29 天前 关联了看板:FrameworkPTAdapter 版本issue看板
AZTAZT
29 天前 修改标题为 “[Usage]: Ascend for PyTorch API 一致性开发说明:float8_e4m3fnuz 测试用例及资料验证”,原标题为“[API一致性] torch.UntypedStorage.float8_e4m3fnuz 支持情况说明”
AZTAZT
29 天前 修改了issue 的描述
ascend-robotascend-robot成员
29 天前 添加了label:usage
群青世界成员
29 天前 评论:

最好能给一个报错信息证明

likedislike
AZTAZT
29 天前 修改了issue 的描述
TorchNPU-BotTorchNPU-Bot成员
28 天前 添加了label:event: api-consistencybot-triaged
TorchNPU-Bot
TorchNPU-Bot成员
28 天前 评论:

检测到社区任务相关 issue,自动添加标签:event: api-consistency

likedislike
AZTAZT
25 天前 修改标题为 “【API一致性任务】: Ascend for PyTorch API 一致性开发说明:float8_e4m3fnuz 测试用例及资料验证”,原标题为“[Usage]: Ascend for PyTorch API 一致性开发说明:float8_e4m3fnuz 测试用例及资料验证”
AZTAZT
24 天前 修改了issue 的描述
AZTAZT
24 天前 修改了issue 的描述
chenrayray
chenrayray成员
18 天前 评论:

需在文档中增加该API并标记为不支持

likedislike
AZTAZT
18 天前 关联了pull request:[docs]: add native API support info for torch.UntypedStorage.float8_e4m3fnuz and float8_e5m2fnuz (issues #3844 #3845)
AZT
AZT
18 天前 评论:

需在文档中增加该API并标记为不支持

@chenrayray

https://gitcode.com/Ascend/pytorch/pull/45030 已新增

likedislike
ascend-robotascend-robot成员
10 天前 关闭了 issue
ascend-robotascend-robot成员
10 天前 添加了label:resolved