| Files | Last commit | Last update |
|---|---|---|
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 1 month ago | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 1 month ago | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 1 month ago | |
DynamicHiF4QuantOpti Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !13887 merge DynamicHiF4QauntOpti into master DynamicHiF4QuantOpti Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对DynamicHiF4Quant和GroupedDynamicHiF4Quant两个算子进行性能优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8995 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地通过精度和性能验证;DynamicHiF4Quant算子非尾轴模板平均提升30.8%;GroupedDynamicHiF4Quant算子10us内小shape平均提升20%,10us以上大shape平均提升44.6%; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!13887 | 3 days ago | |
DynamicHiF4QuantOpti Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !13887 merge DynamicHiF4QauntOpti into master DynamicHiF4QuantOpti Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对DynamicHiF4Quant和GroupedDynamicHiF4Quant两个算子进行性能优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8995 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地通过精度和性能验证;DynamicHiF4Quant算子非尾轴模板平均提升30.8%;GroupedDynamicHiF4Quant算子10us内小shape平均提升20%,10us以上大shape平均提升44.6%; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!13887 | 3 days ago | |
DynamicHiF4QuantOpti Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !13887 merge DynamicHiF4QauntOpti into master DynamicHiF4QuantOpti Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对DynamicHiF4Quant和GroupedDynamicHiF4Quant两个算子进行性能优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8995 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地通过精度和性能验证;DynamicHiF4Quant算子非尾轴模板平均提升30.8%;GroupedDynamicHiF4Quant算子10us内小shape平均提升20%,10us以上大shape平均提升44.6%; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!13887 | 3 days ago | |
feat(torch_extension): 新增 HiF4 量化与反量化接口 Co-authored-by: F0rty-tw0<jiangzhongbin3@huawei.com> # message auto-generated for no-merge-commit merge: !13394 merge feat/torch-extension-hif4-master-20261102 into master feat(torch_extension): 新增 HiF4 量化与反量化接口 Created-by: F0rty-tw0 Commit-by: F0rty-tw0 Merged-by: cann-robot Description: ## 描述 为已有 HiF4 算子新增 PyTorch 调用入口,提供 dynamic_hi_f4_quant、dynamic_block_hi_f4_quant、grouped_dynamic_hi_f4_quant 和 anti_hi_f4_quant 四个接口,包含 C++ ACLNN 封装、Python 注册、Meta 推导及 TorchAir GE converter。所有交付文件集中放在顶层 torch_extension/cann_ops_nn/。 公共封装增加 ACL_HIFLOAT4 的 4-bit 判断,以及 DType::HIFLOAT4、DType::HIFLOAT4_SCALE 枚举,使打包 HiF4 Tensor 进入已有逻辑 shape、stride 和 storage offset 转换。修正 Builder 构造函数和 __all__ 导出声明。本次不修改算子 kernel、tiling 或计算算法。 ## 关联的Issue 关联 Issue [#8000](https://gitcode.com/cann/ops-nn/issues/8000)。 ## 测试 - 13 个 Python 文件静态 AST 解析通过。 - Ruff 0.14.14 check、format 检查通过。 - 4 个 C++ 文件和 1 个公共头文件通过 clang-format 18.1.8 检查。 - git diff --check 通过。 - 本地仅完成静态检查;未编译 C++、构建 wheel、导入执行本次接口或运行 NPU/TorchAir 测试。 ## 文档更新 新增四个接口的说明和示例,明确 torch 存储 dtype 与 ACL 逻辑 dtype 的关系。纠正 grouped 量化方向、补全 scale_alg=0 原型,并说明 grouped scale 布局不能直接用于当前反量化接口。 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 - [x] AI辅助编写 See merge request: cann/ops-nn!13394 | 18 days ago | |
DynamicHiF4QuantOpti Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !13887 merge DynamicHiF4QauntOpti into master DynamicHiF4QuantOpti Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 对DynamicHiF4Quant和GroupedDynamicHiF4Quant两个算子进行性能优化。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/8995 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地通过精度和性能验证;DynamicHiF4Quant算子非尾轴模板平均提升30.8%;GroupedDynamicHiF4Quant算子10us内小shape平均提升20%,10us以上大shape平均提升44.6%; ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!13887 | 3 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 3 days ago | ||
| 3 days ago | ||
| 3 days ago | ||
| 18 days ago | ||
| 3 days ago |