Star0
0
代码
代码
Issues
Pull Requests1
Actions
项目讨论
Wiki
分析
Star0
0
cann-robotcann-robotModify the aclnn and readme issue
f8c7e63f创建于 3月30日历史提交
文件最后提交记录最后更新时间
docs
更新aclnn文档模板 Co-authored-by: yuanbin22<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !2249 merge modifyAclnnMd into master 更新aclnn文档模板 Created-by: yuanbin_22 Commit-by: yuanbin22 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/1277 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新aclnnInplaceQuantScatterV2.md/aclnnDynamicQuantV3.md/aclnnGroupedDynamicMxQuant.md文档 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!2249
6 个月前
examples
index_fill_d index_put_v2 grouped_dynamic_mx_quant update Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !524 merge master into master index_fill_d index_put_v2 grouped_dynamic_mx_quant update Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!524
8 个月前
op_api
swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !831 merge master into master swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1、swish相关代码整改 2、quant类请支持FP4_E2M1等数据类型 3、quant支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!831
7 个月前
op_graph
index_fill_d index_put_v2 grouped_dynamic_mx_quant update Co-authored-by: daiwei18<daiwei18@huawei.com> # message auto-generated for no-merge-commit merge: !524 merge master into master index_fill_d index_put_v2 grouped_dynamic_mx_quant update Created-by: daiwei18 Commit-by: daiwei18 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!524
8 个月前
op_host
fix: 注释错误 Co-authored-by: 丛吉钰<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !3216 merge master into master fix: 注释错误 Created-by: cong-jiyu Commit-by: 丛吉钰 Merged-by: cann-robot Description: ## 描述 更新了注释中opc，改为asc_opc ## 关联的Issue [#1716](https://gitcode.com/cann/ops-nn/issues/1716) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 更新了注释中opc，改为asc_opc ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3216
5 个月前
op_kernel
adapt 3101 to 3510 Co-authored-by: 张磊<zhanglei121@huawei.com> # message auto-generated for no-merge-commit merge: !1158 merge master into master adapt 3101 to 3510 Created-by: zl_hw Commit-by: 张磊 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1158
6 个月前
tests
【新增需求】use npuarch to replace socversion Co-authored-by: 黄强<huangqiang3@huawei.com> # message auto-generated for no-merge-commit merge: !1480 merge master into master 【新增需求】use npuarch to replace socversion Created-by: huang-qiang Commit-by: 黄强 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 优化代码对芯片版本的判断逻辑，使用arch替换芯片名字，提升维护性 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/818 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1480
7 个月前
CMakeLists.txt
Arch编码更新 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !1116 merge ut_test into master Arch编码更新 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 Arch编码更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1116
7 个月前
README.md
Modify the aclnn and readme issue Co-authored-by: zhouwenfang<zhouwenfang3@h-partners.com> # message auto-generated for no-merge-commit merge: !3314 merge master into master Modify the aclnn and readme issue Created-by: zhouwenfang Commit-by: zhouwenfang Merged-by: cann-robot Description: ## 描述 Modify the aclnn and readme issue ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 已对齐 ## 文档更新 Modify the aclnn and readme issue ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3314
5 个月前
README

GroupedDynamicMxQuant

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT √
Atlas A3 训练系列产品/Atlas A3 推理系列产品 ×
Atlas A2 训练系列产品/Atlas A2 推理系列产品 ×
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×

功能说明

  • 接口功能：根据传入的分组索引的起始值，对传入的数据进行分组的float8的动态量化。

  • 计算公式：

    • 将输入x在第0维上先按照groupIndex进行分组，每个group内按k = blocksize个数分组，一组k个数 {{xi}i=1k} 计算出这组数对应的量化尺度mxscale_pre, {mxscale_pre, {Pi}i=1k}, 计算公式为下面公式(1)(2)。

    shared_exp=floor(log2(maxi(∣Vi∣)))−emax(1)shared\_exp = floor(log_2(max_i(|V_i|))) - emax \tag{1}

    mxscale_pre=2shared_exp(2)mxscale\_pre = 2^{shared\_exp} \tag{2}

    • 这组数每一个除以mxscale，根据round_mode转换到对应的dst_type，得到量化结果y, 计算公式为下面公式(3)。

    Pi=cast_to_dst_type(Vi/mxscale,round_mode), i from 1 to blocksize(3)P_i = cast\_to\_dst\_type(V_i/mxscale, round\_mode), \space i\space from\space 1\space to\space blocksize \tag{3}

    量化后的Pi按对应的xi的位置组成输出y，mxscale_pre按对应的groupIndex分组，分组内第一个维度pad为偶数，组成输出mxscale。

    • emax: 对应数据类型的最大正则数的指数位。

      DataType emax
      FLOAT8_E4M3FN 8
      FLOAT8_E5M2 15

参数说明

参数名 输入/输出 描述 数据类型 数据格式
x 输入 Device侧的aclTensor，计算公式中的输入x。shape仅支持2维。支持非连续的Tensor，支持空Tensor。 FLOAT16、BFLOAT16 ND
groupIndex 输入 Device侧的aclTensor，量化分组的起始索引。shape仅支持1维。支持非连续的Tensor，支持空Tensor。 INT32 ND
roundMode 输入 host侧的string，公式中的round_mode，数据转换的模式，仅支持"rint"模式。 - -
dstType 输入 host侧的int64_t，公式中的dst_type，指定数据转换后y的类型，输入范围为{35, 36}，分别对应输出y的数据类型为{35: FLOAT8_E5M2, 36: FLOAT8_E4M3FN}。 - -
blocksize 输入 host侧的int64_t，公式中的blocksize，指定每次量化的元素个数，仅支持32。 - -
y 输出 Device侧的aclTensor，公式中的输出y，输入x量化后的对应结果。需与dstType对应，shape仅支持2维，支持空Tensor，Shape和输入x一致。 FLOAT8_E4M3FN、FLOAT8_E5M2 ND
mxscale 输出 Device侧的aclTensor，公式中的mxscale_pre组成的输出mxscale，每个分组对应的量化尺度。需与dstType对应，shape仅支持3维，支持空Tensor，Shape和输入x一致。假设x的shape为 $[m,n]$，groupedIndex的shape为 $[g]$，则mxscale的shape为 $[(m/(blocksize * 2)+g), n, 2]$ FLOAT8_E8M0 ND

约束说明

无

调用说明

调用方式 调用样例 说明
aclnn调用 test_aclnn_grouped_dynamic_mx_quant 通过aclnnGroupedDynamicMxQuant接口方式调用GroupedDynamicMxQuant算子。