| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
修改quant算子aclnn的文档 Co-authored-by: transformer910<tianye82@h-partners.com> # message auto-generated for no-merge-commit merge: !4582 merge br_quant_md_fix into master 修改quant算子aclnn的文档 Created-by: transformer910 Commit-by: transformer910 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. 修改aclnnQuantize.md 2. 修改aclnnDynamicQuantV2.md ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!4582 | 3 个月前 | |
代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!450 | 8 个月前 | |
nn类onnx算子插件支持 Co-authored-by: x00842564<xuyanke@huawei.com> Co-authored-by: ouyangxiantian<ouyangxiantian@h-partners.com> # message auto-generated for no-merge-commit merge: !452 merge master into master nn类onnx算子插件支持 Created-by: yanke-xu Commit-by: x00842564;ouyangxiantian Merged-by: cann-robot Description: ## 描述 涉及的onnx插件算子列表: 1. Elu 2. NPUFastGelu 3. NPUGeglu 4. NPUGeluV2 5. HardSigmoid 6. LeakyRelu 7. Mish 8. Selu 9. Shrink 10. NPUSoftmaxCrossEntropyWithLogits 11. Softmax 12. ThresholdedRelu 13. AdaCast 14. AdaptiveAvgPool2d 15. AdaptiveMaxPool2d 16. AscendAntiQuant 17. AscendDequant 18. AscendDequantS16 19. AscendQuant 20. AscendRequant 21. AscendRequantS16 22. BasicGRUInplaceFillWindowCache 23. BasicLSTMInplaceFillWindowCache 24. BatchMatMul 25. BatchNormalization 26. Celu 27. ConstantOfShape 28. DynSeqOuter 29. GlobalLpPool 30. GlobalMaxPool 31. GroupNormRelu 32. GRU 33. Hardmax 34. If 35. InstanceNormalization 36. Int8Dequantize 37. Int8GivenIntTensorFill 38. Int8Quantize 39. Int8Transpose 40. LogSoftmax 41. LRN 42. LSTM 43. LSTMP 44. MatMul 45. MeanVarianceNormalization 46. MovingSumWithSigmoid 47. NPUAnchorResponseFlags 48. NPUDropoutWithAddSoftmax 49. NPUGru 50. Resize 51. Size 52. SoftmaxCrossEntropyLoss 53. TopK 54. Unique 55. Shape 56. GatherElements 57. GatherND 58. Compress 59. Gather 60. NonZero 61. NPUScatter 62. ScatterElements 63. Scatter 64. QuantBatchMatMul 65. WeightQuantBatchMatmulV2 66. NPUAddRmsNorm 67. NPUGroupNormSilu 68. LpNormalization 69. NPURmsNorm 70. NPUAntiQuant 71. NPUAscendQuantV2 72. NPUDynamicQuant 73. NPUDynamicQuantV2 74. NPUGroupQuant 75. NPUQuantize ## 关联的Issue None ## 测试 编译构建、冒烟测试、静态扫描 ## 文档更新 None ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!452 | 8 个月前 | |
swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Co-authored-by: ASCEND222<dongfei16@h-partners.com> # message auto-generated for no-merge-commit merge: !831 merge master into master swish相关代码整改&quant类问题修复及支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant Created-by: ASCEND222 Commit-by: ASCEND222 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1、swish相关代码整改 2、quant类请支持FP4_E2M1等数据类型 3、quant支持dynamic_mx_quant_with_dual_axis/dynamic_dual_level_mx_quant ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!831 | 7 个月前 | |
删除quantize中多余注册原型 Co-authored-by: ywx1080114<yuanbin22@huawei.com> # message auto-generated for no-merge-commit merge: !4407 merge QuantizeProto into master 删除quantize中多余注册原型 Created-by: yuanbin_22 Commit-by: ywx1080114 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 删除quantize中多余注册原型 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2424 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!4407 | 4 个月前 | |
remove simplified_key, default value is 0 Co-authored-by: cong-jiyu<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !4892 merge master into master remove simplified_key, default value is 0 Created-by: cong-jiyu Commit-by: cong-jiyu Merged-by: cann-robot Description: ## 描述 当simplified_key中属性只有default=0,且ascendc_config中配置了算子,那么simplified_key.ini文件可以删除,因为默认值为0. 修改了ascendc_config.json文件,将算子host/config中配置了soc,但是未在ascendc_config.json中的算子补充上去。 ## 关联的Issue [#1985](https://gitcode.com/cann/ops-nn/issues/1985) ## 测试 编译950、910bpass ## 文档更新 更新了ascendc_config.json配置了算子的simplified_key的ini文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!4892 | 3 个月前 | |
adapt 3101 to 3510 Co-authored-by: 张磊<zhanglei121@huawei.com> # message auto-generated for no-merge-commit merge: !1158 merge master into master adapt 3101 to 3510 Created-by: zl_hw Commit-by: 张磊 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!1158 | 5 个月前 | |
整改st目录下的atk用例统一目录格式 Co-authored-by: yue-ma<mayue54@huawei.com> # message auto-generated for no-merge-commit merge: !4782 merge master into master 整改st目录下的atk用例统一目录格式 Created-by: yue-ma Commit-by: yue-ma Merged-by: cann-robot Description: ## 描述 整改st目录下的atk用例统一目录格式 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/2671 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:st用例目录整改 See merge request: cann/ops-nn!4782 | 3 个月前 | |
Arch编码更新 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !1116 merge ut_test into master Arch编码更新 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 Arch编码更新 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!1116 | 7 个月前 | |
Modify the aclnn and readme issue Co-authored-by: zhouwenfang<zhouwenfang3@h-partners.com> # message auto-generated for no-merge-commit merge: !3314 merge master into master Modify the aclnn and readme issue Created-by: zhouwenfang Commit-by: zhouwenfang Merged-by: cann-robot Description: ## 描述 Modify the aclnn and readme issue ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> ## 测试 已对齐 ## 文档更新 Modify the aclnn and readme issue ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!3314 | 5 个月前 |
Quantize
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | √ |
| Atlas 训练系列产品 | √ |
功能说明
-
算子功能:对输入张量x进行量化处理。
-
计算公式:
out=round((x/scales)+zeroPoints)out=round((x/scales)+zeroPoints) out=round((x/scales)+zeroPoints)
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x | 输入 | 公式中的x | FLOAT、FLOAT16、BFLOAT16 | ND |
| scales | 输入 | 公式中的scales | FLOAT、BFLOAT16 | ND |
| zero_points | 输入 | 公式中的zeroPoints | FLOAT、INT32、INT8、UINT8、BFLOAT16 | - |
| y | 输出 | 公式中的输出张量out | INT8、UINT8、INT32、HIFLOAT8、FLOAT8_E5M2、FLOAT8_E4M3FN | ND |
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| aclnn接口 | test_aclnn_quantize.cpp | 通过aclnnQuantize.md接口方式调用算子。 |