文件最后提交记录最后更新时间
fix aclnnSparse4to2QuantMatmulWeightNz doc Co-authored-by: zhaoyingchao2<zhaoyingchao1@hisilicon.com> # message auto-generated for no-merge-commit merge: !4498 merge issue-2132 into master fix aclnnSparse4to2QuantMatmulWeightNz doc Created-by: zhaoyingchao2 Commit-by: zhaoyingchao2 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 修改Sparse4to2QuantMatmulWeightNz 的文档错误描述 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> [#2132](https://gitcode.com/cann/ops-nn/issues/2132) [#2133](https://gitcode.com/cann/ops-nn/issues/2133) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 不涉及测试 ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> aclnnSparse4to2QuantMatmulWeightNz.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!449823 天前
[sparse4to2quant_matmul] modify typo Co-authored-by: wangzitao_leo<wangzitao4@huawei.com> # message auto-generated for no-merge-commit merge: !3592 merge sparse4to2_typo into master [sparse4to2quant_matmul] modify typo Created-by: wangzitao_leo Commit-by: wangzitao_leo Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. 修改matmul/sparse4to2quant_matmul/docs/aclnnTransSparse4to2Para.md中错别字 2. 修改examples宏定义中错误的入参 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> 关联Issue [#1969](https://gitcode.com/cann/ops-nn/issues/1969) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 1. run example ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> 1. matmul/sparse4to2quant_matmul/docs/aclnnSparse4to2QuantMatmulWeightNz.md 2. matmul/sparse4to2quant_matmul/docs/aclnnTransSparse4to2Para.md ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!35921 个月前
matmul注册文件异常log打印修改 Co-authored-by: yi-jiliang<yijiliang1@huawei.com> # message auto-generated for no-merge-commit merge: !5082 merge master into master matmul注册文件异常log打印修改 Created-by: yijiliang Commit-by: yi-jiliang Merged-by: cann-robot Description: ## 描述 matmul算子注册异常打印存在语法错误 ## 关联的Issue https://gitcode.com/cann/ops-nn/issues/2807 ## 测试 仅打印日志语法修改 ## 文档更新 无 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!50823 天前
【quant_matmul】docs & hard sync bugfix Co-authored-by: ZitaoWang<wangzitao4@huawei.com> # message auto-generated for no-merge-commit merge: !472 merge sparse_nullptr_dfx into master 【quant_matmul】docs & hard sync bugfix Created-by: wangzitao_leo Commit-by: ZitaoWang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> 1. adjust the sparse4to2quant_matmul error code when input is a nullptr. 2. modify sparse4to2quant_matmul docs. 3. hard sync of sparse4to2quant_matmul&qbmmv3 bugfix. 4. qbmmv3 kfc template bugfix in spk scenario. 5. update OAT. ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!4724 个月前
[aicore]整改 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !2261 merge master into master [aicore]整改 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 编译器内部已经定义了__aicore__,算子侧需要去掉这个标识 ## 关联的Issue [#1276](https://gitcode.com/cann/ops-nn/issues/1276) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!22612 个月前
add operator sparse4to2quant_matmul Co-authored-by: ZitaoWang<wangzitao4@huawei.com> # message auto-generated for no-merge-commit merge: !429 merge sparse4to2 into master add operator sparse4to2quant_matmul Created-by: wangzitao_leo Commit-by: ZitaoWang Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动,包括改动的原因和所采取的方法。--> add a new operator to implement the matrix multiplication computation with sparse 4:2 quantization. ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue,请在这里提供Issue链接。例如:关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单,请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!4295 个月前
nn仓doc tools扫描内容修改 Co-authored-by: caiwenwen<caiwenwen6@h-partners.com> # message auto-generated for no-merge-commit merge: !3414 merge master into master nn仓doc tools扫描内容修改 Created-by: caiwenwen Commit-by: caiwenwen Merged-by: cann-robot Description: ## 描述 修改markdown语法和链接,1000个左右。 ## 关联的Issue 关联Issue [#1783](https://gitcode.com/cann/ops-nn/issues/1783) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 更新了README.md、gitcode、cmake、common、control、conv、docs、examples、experimental、hash、index、loss、matmul、optim、pooling等文件。 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-nn!34141 个月前
README.md

Sparse4to2QuantMatmul

产品支持情况

产品 是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品

功能说明

  • 算子功能:完成稀疏4:2量化的矩阵乘计算。

  • 计算公式:

    • Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品:

      out=x@sparseWeight∗sparseWeightScale∗xScale+biasout = x@sparseWeight * sparseWeightScale * xScale + bias

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x 输入 矩阵乘运算中的左矩阵, 对应公式的x。 INT8 ND
sparseWeight 输入 矩阵乘运算中的稀疏右矩阵,经过压缩处理, 对应公式的sparseWeight。 INT8 FRACTAL_NZ
index 输入 矩阵乘运算中右矩阵在压缩过程中生成的索引矩阵。 UINT8 ND
xScale 输入 输入x对应的反量化参数, 对应公式的xScale。 FLOAT32 ND
sparseWeightScale 输入 输入sparseWeight对应的反量化参数, 对应公式的sparseWeightScale。 FLOAT32 ND
bias 输入 矩阵乘运算后累加的偏置,对应公式中的bias。 BFLOAT16 ND
y 输出 矩阵乘运算的计算结果。 BFLOAT16 ND

约束说明

  • 不支持空tensor。
  • 不支持非连续tensor。

调用说明

调用方式 样例代码 说明
aclnn接口 test_aclnn_sparse4to2quant_matmul 通过
aclnnSparse4to2QuantMatmulWeightNz
等方式调用Sparse4to2QuantMatmul算子。