Star773

Star773

cann-robotModify the aclnn

e1804c69创建于 4月7日历史提交

文件	最后提交记录	最后更新时间
docs	Modify the aclnn Co-authored-by: zhouwenfang<zhouwenfang3@h-partners.com> # message auto-generated for no-merge-commit merge: !3572 merge 9.0.0-beta.2 into 9.0.0-beta.2 Modify the aclnn Created-by: zhouwenfang Commit-by: zhouwenfang Merged-by: cann-robot Description: ## 描述 Modify the aclnn ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试已对齐 ## 文档更新 Modify the aclnn ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3572	3 个月前
examples	代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450	6 个月前
framework	nn类onnx算子插件支持 Co-authored-by: x00842564<xuyanke@huawei.com> Co-authored-by: ouyangxiantian<ouyangxiantian@h-partners.com> # message auto-generated for no-merge-commit merge: !452 merge master into master nn类onnx算子插件支持 Created-by: yanke-xu Commit-by: x00842564;ouyangxiantian Merged-by: cann-robot Description: ## 描述涉及的onnx插件算子列表： 1. Elu 2. NPUFastGelu 3. NPUGeglu 4. NPUGeluV2 5. HardSigmoid 6. LeakyRelu 7. Mish 8. Selu 9. Shrink 10. NPUSoftmaxCrossEntropyWithLogits 11. Softmax 12. ThresholdedRelu 13. AdaCast 14. AdaptiveAvgPool2d 15. AdaptiveMaxPool2d 16. AscendAntiQuant 17. AscendDequant 18. AscendDequantS16 19. AscendQuant 20. AscendRequant 21. AscendRequantS16 22. BasicGRUInplaceFillWindowCache 23. BasicLSTMInplaceFillWindowCache 24. BatchMatMul 25. BatchNormalization 26. Celu 27. ConstantOfShape 28. DynSeqOuter 29. GlobalLpPool 30. GlobalMaxPool 31. GroupNormRelu 32. GRU 33. Hardmax 34. If 35. InstanceNormalization 36. Int8Dequantize 37. Int8GivenIntTensorFill 38. Int8Quantize 39. Int8Transpose 40. LogSoftmax 41. LRN 42. LSTM 43. LSTMP 44. MatMul 45. MeanVarianceNormalization 46. MovingSumWithSigmoid 47. NPUAnchorResponseFlags 48. NPUDropoutWithAddSoftmax 49. NPUGru 50. Resize 51. Size 52. SoftmaxCrossEntropyLoss 53. TopK 54. Unique 55. Shape 56. GatherElements 57. GatherND 58. Compress 59. Gather 60. NonZero 61. NPUScatter 62. ScatterElements 63. Scatter 64. QuantBatchMatMul 65. WeightQuantBatchMatmulV2 66. NPUAddRmsNorm 67. NPUGroupNormSilu 68. LpNormalization 69. NPURmsNorm 70. NPUAntiQuant 71. NPUAscendQuantV2 72. NPUDynamicQuant 73. NPUDynamicQuantV2 74. NPUGroupQuant 75. NPUQuantize ## 关联的Issue None ## 测试编译构建、冒烟测试、静态扫描 ## 文档更新 None ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!452	6 个月前
op_graph	代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450	6 个月前
op_host	refactor common headers for op_host/op_api Co-authored-by: 丛吉钰<congjiyu@h-partners.com> # message auto-generated for no-merge-commit merge: !1807 merge master into master refactor common headers for op_host/op_api Created-by: cong-jiyu Commit-by: 丛吉钰 Merged-by: cann-robot Description: ## 描述迁移common目录下的文件到op_api/op_host中 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1807	4 个月前
op_kernel	add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Co-authored-by: zengjuan<zengjuan2@huawei.com> # message auto-generated for no-merge-commit merge: !1414 merge master into master add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt Created-by: zengjuan Commit-by: zengjuan Merged-by: cann-robot Description: ## 描述 add kirin9030 ops: quant vfusion scripts tests build.sh CMakeLists.txt quant/ascend_quant_v2 quant/dequant_bias quant/dequant_swiglu_quant quant/dynamic_quant quant/dynamic_quant_update_scatter quant/dynamic_quant_update_scatter_v2 quant/dynamic_quant_v2 quant/fake_quant_affine_cachemask quant/group_quant quant/swi_glu_quant quant/trans_quant_param_v2 vfusion/scaled_masked_softmax_v2 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/723 ## 测试蓝区门禁、黄区门禁、算子二级冒烟 ## 文档更新无 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1414	5 个月前
tests	【新增需求】use npuarch to replace socversion Co-authored-by: 黄强<huangqiang3@huawei.com> # message auto-generated for no-merge-commit merge: !1480 merge master into master 【新增需求】use npuarch to replace socversion Created-by: huang-qiang Commit-by: 黄强 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 优化代码对芯片版本的判断逻辑，使用arch替换芯片名字，提升维护性 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/818 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1480	5 个月前
CMakeLists.txt	Format update: Adjusted the license description format in all relevant files. Co-authored-by: jiangqi<jiangqi47@h-partners.com> # message auto-generated for no-merge-commit merge: !366 merge license6 into master Format update: Adjusted the license description format in all relevant files. Created-by: jiangqi2025 Commit-by: jiangqi Merged-by: turing_project1 Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #123--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!366	7 个月前
README.md	Modify the aclnn Co-authored-by: zhouwenfang<zhouwenfang3@h-partners.com> # message auto-generated for no-merge-commit merge: !3572 merge 9.0.0-beta.2 into 9.0.0-beta.2 Modify the aclnn Created-by: zhouwenfang Commit-by: zhouwenfang Merged-by: cann-robot Description: ## 描述 Modify the aclnn ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试已对齐 ## 文档更新 Modify the aclnn ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3572	3 个月前

GroupQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	×
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

算子功能：对输入x进行分组量化操作。
计算公式：
$y = r o u n d ((x * s c a l e) + o f f s e t O p t i o n a l)$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	需要执行量化的输入，对应公式中的`x`。shape支持2维。	FLOAT32、FLOAT16、BFLOAT16	ND
scale	输入	量化中的scale值，对应公式中的`scale`。shape支持2维，且第2维与x shape的第2维相等。	FLOAT32、FLOAT16、BFLOAT16	ND
group_index	输入	量化中的groupIndex值。shape支持1维，且维度与scale shape的第1维相等。	INT32、INT64	ND
offset	可选输入	量化中的offset值，对应公式中的`offsetOptional`。并且数据类型与`scale`一致。`offsetOptional`为1个数。	FLOAT32、FLOAT16、BFLOAT16	ND
dst_type	可选属性	指定输出的数据类型，支持取值2，29，分别表示INT8，INT4。默认值为DT_INT8。	INT	-
y	输出	表示分组量化后的输出，对应公式中的y。shape与`x`的shape一致。	INT4、INT8	ND

Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。

约束说明

输入scale与输入offset的数据类型一致。
如果属性dst_type为29(INT4)，那么输出y的shape的最后一维需要能被2整除。
输入group_index必须是非递减序列，最大值必须与输入x的shape的第1维大小相等。
输入offset的shape当前仅支持[1, ]或[]。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_group_quant	通过aclnnGroupQuant接口方式调用GroupQuant算子。
图模式	-	通过算子IR构图方式调用GroupQuant算子。