| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 | |
新增4个HiFloat4量化算子 Co-authored-by: TH<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !12451 merge hif4_quant into master 新增4个HiFloat4量化算子 Created-by: TH_HW Commit-by: TH Merged-by: cann-robot Description: ## 描述 (对应 HEAD 提交 feat: 拆分新增4个HiFloat4量化算子,共改动 120 个文件,+14755)新增 4 个 **HiFloat4(HiF4)量化**算子。4 个算子均基于 HiFloat4(S1P2,4-bit)三层缩放架构(Block Scale Ea / Sub-block Scale Eb / Micro-block Scale Ec),目标平台为 ascend960dt。 主要改动如下: 1. **新增 4 个 HiFloat4 量化算子** - aclnnAntiHiF4Quant(AntiHiF4Quant):将 HiF4(S1P2)量化数据按三层缩放因子(Ea/Eb/Ec)反量化为 FP16/BF16,按 scale shape 自动判定 PER_CHANNEL / PER_HEAD 模式。 - aclnnDynamicHiF4Quant(DynamicHiF4Quant):沿指定 axis 按 Block=64 / Sub-block=8 / Micro-block=4 三层缩放的在线动态量化,继承 DynamicMxQuant 架构。 - aclnnDynamicBlockHiF4Quant(DynamicBlockHiF4Quant):同时沿 -1、-2 轴按 64×64 基本块(Sub-block 8×8、Micro-block 4×4)三层缩放动态量化,分别输出 -1/-2 轴的 scale1、scale2。 - aclnnGroupedDynamicHiF4Quant(GroupedDynamicHiF4Quant):按 group_index 分组、组内按 64 元素为一块的三层缩放动态量化。 - 每个算子均包含:op_api(aclnn 对外接口 + 内部 l0op 接口)、op_graph(proto)、op_host(def / infershape / arch35 tiling,含 tail 与 not_tail 分支)、op_kernel(arch35 内核,含 common / tail / not_tail / struct / tilingdata)、docs(aclnn API 文档)、examples/arch92、tests/ut(op_host 的 infershape/tiling + op_kernel)、README,以及 op_host/config/ascend960dt 下的 *_binary.json 与 *_simplified_key.ini。 - 算子原型使用 ge::DT_HIFLOAT4 / DT_HIFLOAT4_SCALE,并在 *_def.cpp 中注册 ascend960dt。 ## 关联的Issue 无。 ## 测试 - 新增各算子 op_host UT(infershape、tiling)与 op_kernel UT。 - 新增各算子的 aclnn 示例(examples/arch92/test_aclnn_*_hi_f4_quant.cpp)。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新 无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!12451 | 26 天前 |