Star0

Star0

Files	Last commit	Last update
docs	docs目录基本概念md中文名改为英文名 Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7857 merge master into master docs目录基本概念md中文名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao;chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文：避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7857	3 months ago
examples	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
op_api	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
op_graph	TransposeQuantBatchMatMul原型库资料部分缺失或者不准确,更改原型资料 Co-authored-by: jgx12<jingaoxiang@huawei.com> # message auto-generated for no-merge-commit merge: !7761 merge tqbmm_proto into master TransposeQuantBatchMatMul原型库资料部分缺失或者不准确,更改原型资料 Created-by: jgx12 Commit-by: jgx12 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> TransposeQuantBatchMatMul原型库资料部分缺失或者不准确,更改原型资料 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4225 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 无 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> matmul/transpose_quant_batch_mat_mul/op_graph/transpose_quant_batch_mat_mul_proto.h ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7761	3 months ago
op_host	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
op_kernel	format cpp Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !6784 merge issue_fix into master format cpp Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述批量刷新cpp代码格式 ## 关联的Issue [#3791](https://gitcode.com/cann/ops-nn/issues/3791) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述：代码格式化 ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6784	4 months ago
tests	add ops-nn matmul ut for coverage issues Co-authored-by: llqx-1<lilongqianxi@h-partners.com> # message auto-generated for no-merge-commit merge: !7667 merge opapi_ut into master add ops-nn matmul ut for coverage issues Created-by: llqx-1 Commit-by: llqx-1 Merged-by: cann-robot Description: ## 描述 Improve matmul opapi UT coverage <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> - 为此前未接入 OP_API_UT、覆盖率为 0% 的算子补齐 CMake 接线：dual_level_quant_batch_matmul、fused_linear_cross_entropy_loss_grad、matmul_v2_compress_dequant、weight_quant_batch_matmul_v2（并新增独立 op_api 用例文件，避免大参数化 UT 在 OP_API_UT 下不稳定）。 - 扩展多条 matmul 相关 aclnn GetWorkspaceSize UT：补成功路径、非法参数/平台校验，覆盖 quant_matmul_dequant、sparse4to2quant_matmul（含 aclnnTransSparse4to2Para）、transpose_quant_batch_mat_mul、convert_weight_to_int4_pack、fused_mat_mul / fused_quant_mat_mul、rotate_quant、quant_batch_matmul_v4、quant_batch_matmul_inplace_add、dual_level NZ 等。 - 顺带修复 UT 侧 ODR/链接问题（helper static 化）及若干 SUCCESS/INVALID 期望错误，保证用例可稳定进 nn_op_api_ut。 - 覆盖率效果：matmul opapi 合计约 67% → 78%（ops.info）。 - 变更规模： 19 files，+1539 / −84。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/4161 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 关联测试： `bash ./build.sh -u --opapi -j64 --cov` ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [x] AI辅助编写 See merge request: cann/ops-nn!7667	3 months ago
CMakeLists.txt	新增TransposeQuantBatchMatmul算子，适配transpose+quant_batch_matmul+transpose场景 Co-authored-by: jgx12<jingaoxiang@huawei.com> # message auto-generated for no-merge-commit merge: !1136 merge tqbmm into master 新增TransposeQuantBatchMatmul算子，适配transpose+quant_batch_matmul+transpose场景 Created-by: jgx12 Commit-by: jgx12 Merged-by: cann-robot Description: ## 描述新增算子TransposeQuantBatchMatMul,支持TBMM的fp8输入，开放aclnn通路和torch单算子直调 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> https://gitcode.com/cann/ops-nn/issues/608 ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> 二级冒烟，本地自验证 ### 测试用例 int32_t M = 32; int32_t K = 512; int32_t N = 128; int32_t Batch = 16; std::vector<int64_t> x1Shape = {M, Batch, K}; std::vector<int64_t> x2Shape = {Batch, K, N}; std::vector<int64_t> x1ScaleShape = {M}; std::vector<int64_t> x2ScaleShape = {N}; std::vector<int64_t> outShape = {M, Batch, N}; std::vector<int64_t> permX1Series = {1, 0, 2}; std::vector<int64_t> permX2Series = {0, 1, 2}; std::vector<int64_t> permYSeries = {1, 0, 2}; void* x1DeviceAddr = nullptr; void* x2DeviceAddr = nullptr; void* x1ScaleDeviceAddr = nullptr; void* x2ScaleDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* x1 = nullptr; aclTensor* x2 = nullptr; aclTensor* x1Scale = nullptr; aclTensor* x2Scale = nullptr; aclTensor* out = nullptr; std::vector<int8_t> x1HostData(GetShapeSize(x1Shape), 0x38); std::vector<int8_t> x2HostData(GetShapeSize(x2Shape), 0x38); std::vector<float> x1ScaleHostData(GetShapeSize(x1ScaleShape), 1); std::vector<float> x2ScaleHostData(GetShapeSize(x2ScaleShape), 1); std::vector<uint16_t> outHostData(GetShapeSize(outShape), 0); // bf16 ### 测试结果 result[65528] is: 512.000000 result[65529] is: 512.000000 result[65530] is: 512.000000 result[65531] is: 512.000000 result[65532] is: 512.000000 result[65533] is: 512.000000 result[65534] is: 512.000000 result[65535] is: 512.000000 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 新增README.md和aclnnTransposeBatchMatMul.md ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!1136	9 months ago
README.md	docs目录基本概念md中文名改为英文名 Co-authored-by: chenjiao<chenjiao31@huawei.com> # message auto-generated for no-merge-commit merge: !7857 merge master into master docs目录基本概念md中文名改为英文名 Created-by: gitcode-chenjiao Commit-by: gitcode-chenjiao;chenjiao Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> docs目录基本概念md文件名改为英文：避免link中的中文字符引发的跳转异常，例如两段式接口.md变成%E4%B8%A4%E6%AE%B5%E5%BC%8F%E6%8E%A5%E5%8F%A3.md，不易于维护，可能导致其他平台跳转有问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> [#4260](https://gitcode.com/cann/ops-nn/issues/4260) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ok ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> docs/zh/context所有md和对应的link ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!7857	3 months ago

TransposeQuantBatchMatMul

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	×
Atlas A2 训练系列产品/Atlas A2 推理系列产品	×
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

算子功能：完成张量x1与张量x2量化的矩阵乘计算，支持K-C、MX量化模式。仅支持三维的Tensor传入。Tensor支持转置，转置序列根据传入的序列进行变更。permX1代表张量x1的转置序列，支持[1,0,2]，permX2代表张量x2的转置序列，K-C模式支持[0,1,2]，MX模式支持[0,1,2]和[0,2,1]，permY表示矩阵乘输出矩阵的转置序列，当前仅支持[1,0,2]，序列值为0的是batch维度，其余两个维度做矩阵乘法。x1Scale和x2Scale表示输出矩阵的量化系数；bias为预留参数，当前暂不支持，详细约束条件可见约束说明或者aclnnTransposeQuantBatchMatMul调用说明文档。
示例：假设x1的shape是[M, B, K]，x2的shape是[B, K, N]，x1Scale和x2Scale不为None，batchSplitFactor等于1时，计算输出out的shape是[M, B, N]。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x1	输入	矩阵乘运算中的左矩阵。	FLOAT8_E5M2, FLOAT8_E4M3FN	ND
x2	输入	矩阵乘运算中的右矩阵。	FLOAT8_E5M2, FLOAT8_E4M3FN	ND
bias	输入	矩阵乘运算后累加的偏置，预留参数。	FLOAT32, FLOAT16, BF16	ND
x1Scale	输入	量化参数的缩放因子。	FLOAT32、FLOAT8_E8M0	ND
x2Scale	输入	量化参数的缩放因子。	FLOAT32、FLOAT8_E8M0	ND
dtype	输入	用于指定输出矩阵的数据类型。	INT32	-
groupSize	输入	用于指定量化分组大小。	INT64	-
permX1	输入	表示矩阵乘的第一个矩阵的转置序列。	INT64	-
permX2	输入	表示矩阵乘的第二个矩阵的转置序列。	INT64	-
permY	输入	表示矩阵乘输出矩阵的转置序列。	INT64	-
batchSplitFactor	输入	用于指定矩阵乘输出矩阵中N维的切分大小。	INT32	-
y	输出	矩阵乘运算的计算结果。	FLOAT16, BFLOAT16	ND

Ascend 950PR/Ascend 950DT：只有输入x2支持FRACTAL_NZ格式。

约束说明

Ascend 950PR/Ascend 950DT：
- permX1和permY支持[1, 0, 2]
- K-C量化场景，permX2支持输入[0, 1, 2]；MX量化场景，permX2支持输入[0, 1, 2]或[0, 2, 1]。
- K-C量化场景，K仅支持512，N仅支持128。x1Scale和x2Scale为1维，并且x1Scale为(M,), x2Scale为(N,)，group_size仅支持配置为0，其他取值不生效。
- MX量化场景，K仅支持64的倍数。x1Scale和x2Scale为4维，并且x1Scale为(M, B, K/64, 2), x2Scale为(B, K/64, N, 2)或(B, N, K/64, 2)，group_size的groupSizeM和groupSizeN仅支持0或1，groupSizeK仅支持32。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_quant_batch_mat_mul	通过 - aclnnTransposeQuantBatchMatMul - aclnnTransposeQuantBatchMatMulWeightNz 等方式调用TransposeQuantBatchMatMul算子。