cann-robotfix: 调整拦截wqbmmv2 weight(fp8)时pertensor且n非1的场景，qbmmv4 CUBE_INNER_ERR_REPORT、VECTOR_INNER_ERR_REPORT_TILIING 改为 OP_LOGE 或 OP_LOGE_FOR_xx， reason的句尾.防止双句号，修复qbmmv4其他format打印

5a73d95d创建于 6月24日历史提交

文件	最后提交记录	最后更新时间
docs	qbmmv4和wqbmmv2新增异常拦截 Co-authored-by: zhangquanxin<zhangquanxin7@h-partners.com> # message auto-generated for no-merge-commit merge: !6245 merge 9.1.0 into 9.1.0 qbmmv4和wqbmmv2新增异常拦截 Created-by: zhangquanxin Commit-by: zhangquanxin Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 删除quant_batch_matmul_v4算子信息库A8W4场景数据输出类型为float16场景的信息库配置。信息库配置文件的匹配根据必选参数和出参确定，当必选参数和出参组合已存在时，多余的可选参考的不同的配置是重复的。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> issue https://gitcode.com/cann/ops-nn/issues/3354 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 二级冒烟，本地测试 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> matmul/weight_quant_batch_matmul_v2/docs/aclnnWeightQuantBatchMatmulV2.md matmul/weight_quant_batch_matmul_v2/docs/aclnnWeightQuantBatchMatmulV3.md ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!6245	1 个月前
examples	aclnnQuantMatmulV5接口与aclnnWeightQuantBatchMatmulV2接口添加NZ场景拦截 Co-authored-by: xuxiongjie<xuxiongjie@huawei.com> # message auto-generated for no-merge-commit merge: !2214 merge DTSInterCeptNzAclnn into master aclnnQuantMatmulV5接口与aclnnWeightQuantBatchMatmulV2接口添加NZ场景拦截 Created-by: xuxiongjie Commit-by: xuxiongjie Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 当前 aclnn_weight_quant_batch_matmul_v2.h 与 aclnn_weight_quant_batch_matmul_nz.h 均已支持 FORMAT_FRACTAL_NZ（NZ）格式的权重输入。类似地，aclnn_quant_matmul_weight_nz.h 和 aclnn_quant_matmul_v5.h 也具备对 NZ 格式权重的支持能力。然而，在 aclnn_weight_quant_batch_matmul_v2.h 与 aclnn_quant_matmul_v5.h 的实现中，尚未对权重为 NZ 格式的情况进行有效拦截和处理，存在潜在的兼容性风险。为此，本次修改在上述aclnn_weight_quant_batch_matmul_v2.h， aclnn_quant_matmul_v5.h中新增对 weight 为 FORMAT_FRACTAL_NZ 格式的拦截逻辑，确保仅在ND的场景下才允许调用，从而保障计算正确性与运行稳定性。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/1366 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 使用example中实例进行验证，共4个测试样例，通过4个 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了：aclnnQuantMatmulWeightNz.md ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!2214	5 个月前
framework	nn类onnx算子插件支持 Co-authored-by: x00842564<xuyanke@huawei.com> Co-authored-by: ouyangxiantian<ouyangxiantian@h-partners.com> # message auto-generated for no-merge-commit merge: !452 merge master into master nn类onnx算子插件支持 Created-by: yanke-xu Commit-by: x00842564;ouyangxiantian Merged-by: cann-robot Description: ## 描述涉及的onnx插件算子列表： 1. Elu 2. NPUFastGelu 3. NPUGeglu 4. NPUGeluV2 5. HardSigmoid 6. LeakyRelu 7. Mish 8. Selu 9. Shrink 10. NPUSoftmaxCrossEntropyWithLogits 11. Softmax 12. ThresholdedRelu 13. AdaCast 14. AdaptiveAvgPool2d 15. AdaptiveMaxPool2d 16. AscendAntiQuant 17. AscendDequant 18. AscendDequantS16 19. AscendQuant 20. AscendRequant 21. AscendRequantS16 22. BasicGRUInplaceFillWindowCache 23. BasicLSTMInplaceFillWindowCache 24. BatchMatMul 25. BatchNormalization 26. Celu 27. ConstantOfShape 28. DynSeqOuter 29. GlobalLpPool 30. GlobalMaxPool 31. GroupNormRelu 32. GRU 33. Hardmax 34. If 35. InstanceNormalization 36. Int8Dequantize 37. Int8GivenIntTensorFill 38. Int8Quantize 39. Int8Transpose 40. LogSoftmax 41. LRN 42. LSTM 43. LSTMP 44. MatMul 45. MeanVarianceNormalization 46. MovingSumWithSigmoid 47. NPUAnchorResponseFlags 48. NPUDropoutWithAddSoftmax 49. NPUGru 50. Resize 51. Size 52. SoftmaxCrossEntropyLoss 53. TopK 54. Unique 55. Shape 56. GatherElements 57. GatherND 58. Compress 59. Gather 60. NonZero 61. NPUScatter 62. ScatterElements 63. Scatter 64. QuantBatchMatMul 65. WeightQuantBatchMatmulV2 66. NPUAddRmsNorm 67. NPUGroupNormSilu 68. LpNormalization 69. NPURmsNorm 70. NPUAntiQuant 71. NPUAscendQuantV2 72. NPUDynamicQuant 73. NPUDynamicQuantV2 74. NPUGroupQuant 75. NPUQuantize ## 关联的Issue None ## 测试编译构建、冒烟测试、静态扫描 ## 文档更新 None ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!452	7 个月前
op_graph	WeightQuantBatchMatmulV2 Aclnn文档整改 Co-authored-by: sunduiyang<sunduiyang@huawei.com> # message auto-generated for no-merge-commit merge: !1550 merge wqbmm_doc_revise into master WeightQuantBatchMatmulV2 Aclnn文档整改 Created-by: sunduiyang Commit-by: sunduiyang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 修改WeightQuantBatchMatmulV2资料整改，主要修改如下： 1. 添加源码跳转链接 2. 参数说明表格中给数据类型增加角标来区分平台； 2. 将约束说明按产品平台区分，并按数据流给出表格； 4. 修改WeightQuantBatchMatmulV2的example，去除不必要的调用步骤； 5. 修改文档风格，对齐GMM V5. ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#823](https://gitcode.com/cann/ops-nn/issues/823) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 已验证整改后example的正确性 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了文档aclnnWeightQuantBatchMatmulV2.md： https://gitcode.com/cann/ops-nn/blob/master/matmul/weight_quant_batch_matmul_v2/docs/aclnnWeightQuantBatchMatmulV2.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1550	6 个月前
op_host	fix: 调整拦截wqbmmv2 weight(fp8)时pertensor且n非1的场景，qbmmv4 CUBE_INNER_ERR_REPORT、VECTOR_INNER_ERR_REPORT_TILIING 改为 OP_LOGE 或 OP_LOGE_FOR_xx， reason的句尾.防止双句号，修复qbmmv4其他format打印 Co-authored-by: maqijun<maqijun@h-partners.com> # message auto-generated for no-merge-commit merge: !6305 merge 9.1.0_fix_qbmmv4_cube_vector_err_msg into 9.1.0 fix: 调整拦截wqbmmv2 weight(fp8)时pertensor且n非1的场景，qbmmv4 CUBE_INNER_ERR_REPORT、VECTOR_INNER_ERR_REPORT_TILIING 改为 OP_LOGE 或 OP_LOGE_FOR_xx， reason的句尾.防止双句号，修复qbmmv4其他format打印 Created-by: maqijun Commit-by: maqijun Merged-by: cann-robot Description: ## 描述 1、wqbmmv2中传入n>1，antiquantScale的shape为(1, 1)，预期报错。在aclnn和tiling中拦截n>1时的pertensor 2、qbmmv4中旧的错误报错不是EZ9xxx或者EZ0xxx需要调整。在代码中调整为OP_LOGE和OP_LOGE_FOR_xxx 3、修复formats改为format，打印实际aFormat，去掉OP_LOGE_FOR_ reason的句尾.防止双句号，修复qbmmv4其他format打印 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3427 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!6305	1 个月前
op_kernel	修复quant mm代码中的整型乘法溢出int32_t代码风险 Co-authored-by: c00943476<chenlyucheng@huawei.com> # message auto-generated for no-merge-commit merge: !5374 merge master into master 修复quant mm代码中的整型乘法溢出int32_t代码风险 Created-by: oscillated Commit-by: c00943476 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 白盒agent扫描检出，quant mm部分代码存在整型乘法溢出int32_t风险，需在计算时提前转为int64_t避免乘法链溢出风险。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#2994](https://gitcode.com/cann/ops-nn/issues/2994) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5374	2 个月前
tests	fix: 调整拦截wqbmmv2 weight(fp8)时pertensor且n非1的场景，qbmmv4 CUBE_INNER_ERR_REPORT、VECTOR_INNER_ERR_REPORT_TILIING 改为 OP_LOGE 或 OP_LOGE_FOR_xx， reason的句尾.防止双句号，修复qbmmv4其他format打印 Co-authored-by: maqijun<maqijun@h-partners.com> # message auto-generated for no-merge-commit merge: !6305 merge 9.1.0_fix_qbmmv4_cube_vector_err_msg into 9.1.0 fix: 调整拦截wqbmmv2 weight(fp8)时pertensor且n非1的场景，qbmmv4 CUBE_INNER_ERR_REPORT、VECTOR_INNER_ERR_REPORT_TILIING 改为 OP_LOGE 或 OP_LOGE_FOR_xx， reason的句尾.防止双句号，修复qbmmv4其他format打印 Created-by: maqijun Commit-by: maqijun Merged-by: cann-robot Description: ## 描述 1、wqbmmv2中传入n>1，antiquantScale的shape为(1, 1)，预期报错。在aclnn和tiling中拦截n>1时的pertensor 2、qbmmv4中旧的错误报错不是EZ9xxx或者EZ0xxx需要调整。在代码中调整为OP_LOGE和OP_LOGE_FOR_xxx 3、修复formats改为format，打印实际aFormat，去掉OP_LOGE_FOR_ reason的句尾.防止双句号，修复qbmmv4其他format打印 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3427 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!6305	1 个月前
CMakeLists.txt	代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450	7 个月前
README.md	nn仓doc tools扫描内容修改 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !3414 merge master into master nn仓doc tools扫描内容修改 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述修改markdown语法和链接，1000个左右。 ## 关联的Issue 关联Issue [#1783](https://gitcode.com/cann/ops-nn/issues/1783) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新更新了README.md、gitcode、cmake、common、control、conv、docs、examples、experimental、hash、index、loss、matmul、optim、pooling等文件。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!3414	4 个月前

WeightQuantBatchMatmulV2

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√

功能说明

算子功能：完成一个输入为伪量化场景的矩阵乘计算，并可以实现对于输出的量化计算。
计算公式：
$y = x @ A N T I Q U A N T (w e i g h t) + b i a s$
公式中的 $w e i g h t$ 为伪量化场景的输入，其反量化公式 $A N T I Q U A N T (w e i g h t)$ 为
$A N T I Q U A N T (w e i g h t) = (w e i g h t + a n t i q u a n t O f f s e t) * a n t i q u a n t S c a l e$
当需要对输出进行量化处理时，其量化公式为
$y=QUANT(x@ANTIQUANT(weight)+bias)=(x@ANTIQUANT(weight)+bias)∗quantScale+quantOffset\begin{aligned} y &= QUANT(x @ ANTIQUANT(weight) + bias) \\ &= (x @ ANTIQUANT(weight) + bias) * quantScale + quantOffset \\ \end{aligned}$
当不需要对输出再进行量化操作时，其计算公式为
$y = x @ A N T I Q U A N T (w e i g h t) + b i a s$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x	输入	矩阵乘运算中的左矩阵。	FLOAT16, BF16	ND
weight	输入	矩阵乘运算中的右矩阵。	INT8, INT4, INT32, FLOAT8_E4M3FN, HIFLOAT8, FLOAT4_E2M1	ND, FRACTAL_NZ
antiquant_scale	输入	反量化参数中的缩放因子，对应公式的antiquantScale。	FLOAT16, BF16, UINT64, INT64, FLOAT8_E8M0	ND
antiquant_offset	输入	反量化参数的偏置因子，对应公式的antiquantOffset。	FLOAT16, BF16, INT32	ND
quant_scale	输入	量化参数的缩放因子，对应公式的quantScale。	FLOAT32, UINT64	ND
quant_offset	输入	量化参数的偏置因子，对应公式的quantOffset。	FLOAT32	ND
bias	输入	矩阵乘运算后累加的偏置，对应公式中的bias。	FLOAT16, FLOAT32, BF16	ND
y	输出	矩阵乘运算的计算结果。	FLOAT16, BF16, INT8	ND

Atlas A2 训练系列产品/Atlas A2 推理系列产品：
- weight只支持INT8、INT4、INT32。
- antiquant_scale只支持FLOAT16、BF16、UINT64、INT64。
Atlas A3 训练系列产品/Atlas A3 推理系列产品：
- weight只支持INT8、INT4、INT32。
- antiquant_scale只支持FLOAT16、BF16、UINT64、INT64。
Ascend 950PR/Ascend 950DT：quant_scale和quant_offset暂不支持。

约束说明

不支持空tensor。
支持连续tensor，非连续tensor只支持转置场景。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_weight_quant_batch_matmul_v2	通过 aclnnWeightQuantBatchMatmulV2 aclnnWeightQuantBatchMatmulV3 aclnnWeightQuantBatchMatmulNz 等方式调用WeightQuantBatchMatmulV2算子。