Star0

Star0

cann-robotDynamicQuant等22个算子支持Ascend960dt

17a151b0Add on 22 days agoHistory

Files	Last commit	Last update
docs	删除源码链接 Co-authored-by: fwx1169505<fengying27@h-partners.com> # message auto-generated for no-merge-commit merge: !12106 merge master into master 删除源码链接 Created-by: fengying555682 Commit-by: fwx1169505 Merged-by: cann-robot Description: ## 描述删除源码链接 ## 关联的Issue [#6769](https://gitcode.com/cann/ops-nn/issues/6769) ## 测试仅涉及文档修改，已经测试md文档语法 ## 文档更新 activation和quant目录下的md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!12106	24 days ago
examples	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
op_api	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
op_graph	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
op_host	DynamicQuant等22个算子支持Ascend960dt Co-authored-by: TH_HW<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !11335 merge backBlue into master DynamicQuant等22个算子支持Ascend960dt Created-by: TH_HW Commit-by: TH_HW Merged-by: cann-robot Description: ## 描述（+17812 / -2151）为一批 ops-nn 算子补齐 Ascend 960DT（NPU Arch 9201）平台支持，并重构 GeGluV2 arch35 内核、为 Erfinv 增加 inplace 通路。主要改动如下： 1. Ascend960DT 平台适配（22 个算子） - `activation`：Relu、ReluV2、ReluGrad、ReluGradV2、Sigmoid、SigmoidGrad、PRelu、PReluGradUpdate、SiluGrad、Softplus、Swish、SwishGrad、SwiGluGrad、GeGluV2。 - `index`：MapIndex、SparseSlice、QuantUpdateScatter。 - `quant`：Quantize、DynamicQuant、DynamicQuantV2、AntiMxQuant、GroupedDynamicMxQuant。 - 具体做法：`CMakeLists.txt` 的 `SUPPORT_COMPUTE_UNIT` / `SUPPORT_TILING_DIR` 增加 `ascend960dt`；`_def.cpp` 增加 `AddConfig("ascend960dt", ...)`；aclnn/op_api 与 infershape 增加 `NpuArch::DAV_9201` / `Ascend960DT` 分支；kernel 增加 `__NPU_ARCH__ == 9201` 分支；新增 `op_host/config/ascend960dt/` 下的算子二进制配置（共 22 个，如 `relu_binary.json`、`p_relu.json` 等）；`scripts/kernel/binary_config/ascendc_config.json` 为相关算子登记 ascend960dt 计算单元与编译选项。 2. GeGluV2 arch35 内核重构* - 将 arch35 模板按 `erf` / `tanh` 两类拆分，并补齐 `align`、`align_last_axis_big`、`vreduce` × `fp16/bf16/fp32` 变体，统一命名 `_arch35.h`。 - tiling 新增 RegBase per-template per-element UB 预算模型（`GetRegbasePerElem`），并支持 ascend960dt。 - `aclnnGeGlu` 参数校验重构（`CheckShape` 支持 0D 输入与 dim 范围校验），新增 ST 用例（`all_aclnnGeGlu(.V3).json`）并调整 UT。 3. Erfinv 支持 inplace：新增 inplace dtype 支持列表与校验（`GetInplaceDtypeSupportList` / `CheckInplaceDtypeValid`），并补充 op_api UT。 4. 内核与接口修复* - `SparseSlice`：9201 路径改用 `SetValue` 写入 sliceStart/sliceEnd（替代 `DataCopy`），`Reg::Reduce` 使用完整命名空间限定。 - `QuantUpdateScatter`：9201 增加 `FLOAT_OVERFLOW_MODE_CTRL` 保护。 - `ReluV2` infershape：Ascend960DT 不支持 NC1HWC0，UINT1 支持列表加入 Ascend960DT。 - `DynamicQuant` / Mx 量化：9201 上 fp8 scale 改为 bf16 乘法后再 cast 到 e8m0。 5. 代码规范：统一 License 头注释格式、补齐文件末尾换行、调整 quant 系列 UT 的 CMakeLists；新增 `MapIndex`、`SparseSlice` 的 GE IR 图模式示例。 ## 关联的Issue 无。 ## 测试 - 新增 GeGluV2 ST 用例与 Erfinv inplace UT，补充/调整 GeGluV2 相关 UT。 - 新增 MapIndex / SparseSlice 的 GE IR 示例（`examples/test_geir_*.cpp`）。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!11335	22 days ago
op_kernel	DynamicQuant等22个算子支持Ascend960dt Co-authored-by: TH_HW<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !11335 merge backBlue into master DynamicQuant等22个算子支持Ascend960dt Created-by: TH_HW Commit-by: TH_HW Merged-by: cann-robot Description: ## 描述（+17812 / -2151）为一批 ops-nn 算子补齐 Ascend 960DT（NPU Arch 9201）平台支持，并重构 GeGluV2 arch35 内核、为 Erfinv 增加 inplace 通路。主要改动如下： 1. Ascend960DT 平台适配（22 个算子） - `activation`：Relu、ReluV2、ReluGrad、ReluGradV2、Sigmoid、SigmoidGrad、PRelu、PReluGradUpdate、SiluGrad、Softplus、Swish、SwishGrad、SwiGluGrad、GeGluV2。 - `index`：MapIndex、SparseSlice、QuantUpdateScatter。 - `quant`：Quantize、DynamicQuant、DynamicQuantV2、AntiMxQuant、GroupedDynamicMxQuant。 - 具体做法：`CMakeLists.txt` 的 `SUPPORT_COMPUTE_UNIT` / `SUPPORT_TILING_DIR` 增加 `ascend960dt`；`_def.cpp` 增加 `AddConfig("ascend960dt", ...)`；aclnn/op_api 与 infershape 增加 `NpuArch::DAV_9201` / `Ascend960DT` 分支；kernel 增加 `__NPU_ARCH__ == 9201` 分支；新增 `op_host/config/ascend960dt/` 下的算子二进制配置（共 22 个，如 `relu_binary.json`、`p_relu.json` 等）；`scripts/kernel/binary_config/ascendc_config.json` 为相关算子登记 ascend960dt 计算单元与编译选项。 2. GeGluV2 arch35 内核重构* - 将 arch35 模板按 `erf` / `tanh` 两类拆分，并补齐 `align`、`align_last_axis_big`、`vreduce` × `fp16/bf16/fp32` 变体，统一命名 `_arch35.h`。 - tiling 新增 RegBase per-template per-element UB 预算模型（`GetRegbasePerElem`），并支持 ascend960dt。 - `aclnnGeGlu` 参数校验重构（`CheckShape` 支持 0D 输入与 dim 范围校验），新增 ST 用例（`all_aclnnGeGlu(.V3).json`）并调整 UT。 3. Erfinv 支持 inplace：新增 inplace dtype 支持列表与校验（`GetInplaceDtypeSupportList` / `CheckInplaceDtypeValid`），并补充 op_api UT。 4. 内核与接口修复* - `SparseSlice`：9201 路径改用 `SetValue` 写入 sliceStart/sliceEnd（替代 `DataCopy`），`Reg::Reduce` 使用完整命名空间限定。 - `QuantUpdateScatter`：9201 增加 `FLOAT_OVERFLOW_MODE_CTRL` 保护。 - `ReluV2` infershape：Ascend960DT 不支持 NC1HWC0，UINT1 支持列表加入 Ascend960DT。 - `DynamicQuant` / Mx 量化：9201 上 fp8 scale 改为 bf16 乘法后再 cast 到 e8m0。 5. 代码规范：统一 License 头注释格式、补齐文件末尾换行、调整 quant 系列 UT 的 CMakeLists；新增 `MapIndex`、`SparseSlice` 的 GE IR 图模式示例。 ## 关联的Issue 无。 ## 测试 - 新增 GeGluV2 ST 用例与 Erfinv inplace UT，补充/调整 GeGluV2 相关 UT。 - 新增 MapIndex / SparseSlice 的 GE IR 示例（`examples/test_geir_*.cpp`）。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!11335	22 days ago
tests	modify anti_mx_quant kernel ut Co-authored-by: pyq17870581669<pengyongqiang5@huawei.com> # message auto-generated for no-merge-commit merge: !9977 merge AntiMxQuant0907 into master modify anti_mx_quant kernel ut Created-by: pyq17870581669 Commit-by: pyq17870581669 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> kernel UT 零校验——输入未初始化、输出不校验，需要修改 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/5610 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地UT测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!9977	2 months ago
CMakeLists.txt	DynamicQuant等22个算子支持Ascend960dt Co-authored-by: TH_HW<taohai2@huawei.com> # message auto-generated for no-merge-commit merge: !11335 merge backBlue into master DynamicQuant等22个算子支持Ascend960dt Created-by: TH_HW Commit-by: TH_HW Merged-by: cann-robot Description: ## 描述（+17812 / -2151）为一批 ops-nn 算子补齐 Ascend 960DT（NPU Arch 9201）平台支持，并重构 GeGluV2 arch35 内核、为 Erfinv 增加 inplace 通路。主要改动如下： 1. Ascend960DT 平台适配（22 个算子） - `activation`：Relu、ReluV2、ReluGrad、ReluGradV2、Sigmoid、SigmoidGrad、PRelu、PReluGradUpdate、SiluGrad、Softplus、Swish、SwishGrad、SwiGluGrad、GeGluV2。 - `index`：MapIndex、SparseSlice、QuantUpdateScatter。 - `quant`：Quantize、DynamicQuant、DynamicQuantV2、AntiMxQuant、GroupedDynamicMxQuant。 - 具体做法：`CMakeLists.txt` 的 `SUPPORT_COMPUTE_UNIT` / `SUPPORT_TILING_DIR` 增加 `ascend960dt`；`_def.cpp` 增加 `AddConfig("ascend960dt", ...)`；aclnn/op_api 与 infershape 增加 `NpuArch::DAV_9201` / `Ascend960DT` 分支；kernel 增加 `__NPU_ARCH__ == 9201` 分支；新增 `op_host/config/ascend960dt/` 下的算子二进制配置（共 22 个，如 `relu_binary.json`、`p_relu.json` 等）；`scripts/kernel/binary_config/ascendc_config.json` 为相关算子登记 ascend960dt 计算单元与编译选项。 2. GeGluV2 arch35 内核重构* - 将 arch35 模板按 `erf` / `tanh` 两类拆分，并补齐 `align`、`align_last_axis_big`、`vreduce` × `fp16/bf16/fp32` 变体，统一命名 `_arch35.h`。 - tiling 新增 RegBase per-template per-element UB 预算模型（`GetRegbasePerElem`），并支持 ascend960dt。 - `aclnnGeGlu` 参数校验重构（`CheckShape` 支持 0D 输入与 dim 范围校验），新增 ST 用例（`all_aclnnGeGlu(.V3).json`）并调整 UT。 3. Erfinv 支持 inplace：新增 inplace dtype 支持列表与校验（`GetInplaceDtypeSupportList` / `CheckInplaceDtypeValid`），并补充 op_api UT。 4. 内核与接口修复* - `SparseSlice`：9201 路径改用 `SetValue` 写入 sliceStart/sliceEnd（替代 `DataCopy`），`Reg::Reduce` 使用完整命名空间限定。 - `QuantUpdateScatter`：9201 增加 `FLOAT_OVERFLOW_MODE_CTRL` 保护。 - `ReluV2` infershape：Ascend960DT 不支持 NC1HWC0，UINT1 支持列表加入 Ascend960DT。 - `DynamicQuant` / Mx 量化：9201 上 fp8 scale 改为 bf16 乘法后再 cast 到 e8m0。 5. 代码规范：统一 License 头注释格式、补齐文件末尾换行、调整 quant 系列 UT 的 CMakeLists；新增 `MapIndex`、`SparseSlice` 的 GE IR 图模式示例。 ## 关联的Issue 无。 ## 测试 - 新增 GeGluV2 ST 用例与 Erfinv inplace UT，补充/调整 GeGluV2 相关 UT。 - 新增 MapIndex / SparseSlice 的 GE IR 示例（`examples/test_geir_*.cpp`）。 - 通过 ascend960dt 编译与静态检查。 ## 文档更新无。 ## 类型标签 <!-- [x] 表示选中 --> - [x] 新特性 - [ ] Bug修复 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!11335	22 days ago
README.md	修改产品名 Co-authored-by: fwx1169505<fengying27@h-partners.com> # message auto-generated for no-merge-commit merge: !11017 merge master into master 修改产品名 Created-by: fengying555682 Commit-by: fwx1169505 Merged-by: cann-robot Description: ## 描述修改quant和activation文件夹中的md文档涉及的产品名称 ## 关联的Issue [#6056](https://gitcode.com/cann/ops-nn/issues/6056) ## 测试已经完成文档语法和链接一致性检测 ## 文档更新 quant和activation文件夹中的md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!11017	1 month ago

AntiMxQuant

产品支持情况

产品	是否支持
Ascend 950PR&950DT系列产品	√
Atlas A3系列产品	×
Atlas A2系列产品	×
Atlas 200I/500 A2推理产品	×
Atlas推理系列产品	×
Atlas训练系列产品	×

功能说明

算子功能：将调用DynamicMxQuant量化得到的FLOAT4/FLOAT8的Tensor反量化为FLOAT16/BFLOAT16/FLOAT32格式。
反量化公式：

$Xdq=Xq×2sf−biasX_{dq} = X_q \times 2^{sf - bias}$
- 其中 $s f$ 是缩放因子，由输入mxscale提供； $b i a s$ 是指数位的偏移，对于FLOAT8_E8M0格式， $b i a s = 127$ ； $X_q$ 是量化得到的FLOAT4/FLOAT8张量； $X_{dq}$ 是反量化得到的FLOAT16/BFLOAT16/FLOAT32张量。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	待反量化的数据。由DynamicMxQuant量化得到的FLOAT4/FLOAT8张量。	FLOAT4_E2M1、FLOAT4_E1M2、FLOAT8_E4M3FN、FLOAT8_E5M2	ND
mxscale	输入	调用DynamicMxQuant计算得到的量化尺度。	FLOAT8_E8M0	ND
axis	属性	指定反量化轴。	INT64	-
dst_type	属性	指定反量化后输出y的类型。	INT64	-
y	输出	输入x反量化后的对应结果。shape与x一致。	FLOAT16、BFLOAT16、FLOAT32	ND

约束说明

关于x、mxscale的shape约束说明如下：
- 如果输入x的数据类型是float4_e2m1或float4_e1m2，x.shape[-1]必须是偶数。
- axis_change = axis if axis >= 0 else axis + rank(x)。
- mxscale.shape[axis_change] = (ceil(x.shape[axis] / 32) + 2 - 1) / 2。
- mxscale.shape[-1] = 2。
- rank(mxscale) = rank(x) + 1。
- 其它维度与输入x一致。

调用说明

调用方式	调用样例	说明
aclnn调用	test_aclnn_anti_mx_quant	通过aclnnAntiMxQuant接口方式调用AntiMxQuant算子。