Closed
[Requirement|需求建议]: torch_extension 新增 HiF4 量化与反量化接口 #8000
F0rty-tw0Add on  18 days agoClosed at  18 days ago
F0rty-tw0
F0rty-tw0Collaborators
18 days ago Create

Backgroud(背景信息)

为 ops-nn 已有 HiF4 量化与反量化算子补充 PyTorch 调用入口,使用户能够通过 cann_ops_nn 使用相关 ACLNN 算子,并提供 Meta 推导和 TorchAir GE converter。

本需求覆盖四个接口:

  • dynamic_hi_f4_quant
  • dynamic_block_hi_f4_quant
  • grouped_dynamic_hi_f4_quant
  • anti_hi_f4_quant

Origin(信息来源)

由关联 PR 的提交者提出,用于跟踪 HiF4 算子的 torch_extension 接入工作。

Benefit / Necessity(价值/作用)

补齐 HiF4 算子在 PyTorch 扩展中的调用方式,提供统一的接口注册、输出形状推导、图转换和使用文档,方便调用方集成。

Design(设计方案)

  1. 所有交付内容集中在顶层 torch_extension/cann_ops_nn/,按现有结构提供 C++ ACLNN 封装、Python 注册、Builder、Meta 推导、TorchAir GE converter 和接口说明。
  2. 在公共 aclnn_common.h 中增加 ACL_HIFLOAT4 的 4-bit 类型识别,并补充 DType::HIFLOAT4、DType::HIFLOAT4_SCALE 枚举,使打包 HiF4 Tensor 使用已有的逻辑 shape、stride 和 storage offset 转换。
  3. 使用正确的 Builder __init__ 和模块 __all__ 声明;文档区分 torch 存储 dtype 与 ACL 逻辑 dtype,并说明 grouped scale 布局的使用限制。
  4. 修改范围为 torch_extension 接入代码和文档,不涉及算子 kernel、tiling 或计算算法。

验证情况

关联 PR 已完成 Python AST、Ruff、clang-format 和 git diff --check 静态检查。尚未编译 C++、构建 wheel 或执行 NPU/TorchAir 测试;构建和运行结果需通过后续验证确认。

关联 PR

!13394:feat(torch_extension): 新增 HiF4 量化与反量化接口

likedislike
F0rty-tw0F0rty-tw0Collaborators
18 days ago Added label: requirement
F0rty-tw0F0rty-tw0Collaborators
18 days ago Associated pull request
yuning_chenyuning_chenCollaborators
18 days ago Assign F0rty-tw0 as responsible person
CANN-robotCANN-robotCollaborators
18 days ago Close issue
CANN-robotCANN-robotCollaborators
18 days ago Added label: resolved