b2759a69创建于 6月30日历史提交

文件	最后提交记录	最后更新时间
docs	补充aclnnTransposeBatchMatMul中对于scale的描述 Co-authored-by: ww-blue<wangwei1274@huawei.com> # message auto-generated for no-merge-commit merge: !6710 merge tbmm-md-9.1.0 into 9.1.0 补充aclnnTransposeBatchMatMul中对于scale的描述 Created-by: ww-blue Commit-by: ww-blue Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 补充aclnnTransposeBatchMatMul中scale调用前需要aclnnTransQuantParamV2接口完成FLOAT32到UINT64/INT64的转换的文档描述 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue #3663 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [x] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6710	1 个月前
examples	[A5]新增TransposeBatchMatMul算子NZ格式场景实现 Co-authored-by: fbbccc<fangbochen@huawei.com> # message auto-generated for no-merge-commit merge: !2530 merge TBMMA5 into master [A5]新增TransposeBatchMatMul算子NZ格式场景实现 Created-by: fbbccc Commit-by: fbbccc Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 当前TransposeBatchMatMul算子在910B中已支持x2为NZ格式输入的量化需求，此次改动为兼容性适配，在Ascend950中，对TransposeBatchMatMul算子进行支持x2为NZ格式输入计算功能的量化适配。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/1640 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> aclnnTransposeBatchMatmulWeightNz门槛用例验证通过 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 更新了matmul/transpose_batch_mat_mul/docs/aclnnTransposeBatchMatMulWeightNZ.md文件 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!2530	4 个月前
op_api	tbmm算子将空指针判断前置,增加x1的NZ拦截，质量加固 Co-authored-by: jgx12<jingaoxiang@huawei.com> # message auto-generated for no-merge-commit merge: !5809 merge tbmm_nullptr into master tbmm算子将空指针判断前置,增加x1的NZ拦截，质量加固 Created-by: jgx12 Commit-by: jgx12 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 1.当前tbmm算子的空指针和shape拦截都放在使用变量之前，未整合成函数，该pr将空指针判断和shape校验提取整合成函数放入tiling入口 2.tbmm的NZ输入目前没有x1和output的NZ校验拦截，该pr加入NZ拦截 3.加入AI扫描，增加空指针判断 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3227 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ![image.png](https://raw.gitcode.com/user-images/assets/7665709/08064acb-dab9-4c0d-983b-e93aaa85dcb1/image.png 'image.png') ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 无 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!5809	2 个月前
op_graph	代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450	7 个月前
op_host	delete 910_55 Co-authored-by: wuyufei<wuyufei13@huawei.com> # message auto-generated for no-merge-commit merge: !6752 merge 9.1.0 into 9.1.0 delete 910_55 Created-by: wuyufei Commit-by: wuyufei Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 此 PR 从两个矩阵乘法算子的定义文件中移除了 ascend910_55 SoC 平台的配置注册。PR 标题为"delete 910_55"，对应在 BatchMatMulV3 和 TransposeBatchMatMul 两个 OpDef 类中各删除一行 this->AICore().AddConfig("ascend910_55", ...) 调用，即不再为该 SoC 变体注册这两个算子的 AI Core 配置。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> 关联Issue [#3681](https://gitcode.com/cann/ops-nn/issues/3681) ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： ## AI/Agent生成声明 <!-- [x] 表示选中 --> - [ ] AI辅助编写 See merge request: cann/ops-nn!6752	1 个月前
op_kernel	matmul类算子kernel入口添加InitSocState初始化寄存器状态 Co-authored-by: y00943198<yangtao363@huawei.com> # message auto-generated for no-merge-commit merge: !6445 merge 9.1.0 into 9.1.0 matmul类算子kernel入口添加InitSocState初始化寄存器状态 Created-by: AlbertYoung192 Commit-by: y00943198 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> 当前存在部分算子计算过程中，kernel内修改硬件寄存器状态且使用后未还原，引发后续算子计算过程中未知错误的问题。在算子kernel入口添加InitSocState，重置硬件寄存器状态，规避上述问题。 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3488 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 本地自验证、二级冒烟 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [x] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!6445	1 个月前
tests	swat load balance Co-authored-by: justsozl<zhaolun3@hisilicon.com> # message auto-generated for no-merge-commit merge: !4679 merge swat_load_balance into master swat load balance Created-by: justsozl Commit-by: justsozl Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> mat_mul_v3 aswt 相关模板tiling优化 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> https://gitcode.com/cann/ops-nn/issues/3011 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> 单算子验证MMV3网络用例/泛化用例，确保性能无劣化 ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> 不涉及 ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [x ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!4679	2 个月前
CMakeLists.txt	代码同步 Co-authored-by: yang-di52<yangdi52@huawei.com> # message auto-generated for no-merge-commit merge: !450 merge master into master 代码同步 Created-by: yang-di52 Commit-by: yang-di52 Merged-by: cann-robot Description: ## 描述 <!--在这里详细描述你的改动，包括改动的原因和所采取的方法。--> ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> <!-- 如果这个PR是为了解决特定的问题单，请在这里描述问题单单号。--> ## 测试 <!--描述进行了哪些测试来验证你的改动。包括但不限于二级冒烟、算子泛化等。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!450	7 个月前
README.md	批量修改md中冗余空格 Co-authored-by: wuyao51511<wuyao61@h-partners.com> # message auto-generated for no-merge-commit merge: !6027 merge master into master 批量修改md中冗余空格 Created-by: wuyao51511 Commit-by: wuyao51511 Merged-by: cann-robot Description: ## 描述文档空格问题清理 ## 关联的Issue <!-- 如果这个PR是为了解决特定的Issue，请在这里提供Issue链接。例如：关联Issue #000--> ## 测试 <!--描述进行了哪些测试来验证你的改动。--> ## 文档更新 <!--如果这个PR包含文档的更新，请在这里指出。例如：更新了README.md文件。--> ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他，请描述： See merge request: cann/ops-nn!6027	2 个月前

TransposeBatchMatMul

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

算子功能：完成张量x1与张量x2的矩阵乘计算。仅支持三维的Tensor传入。Tensor支持转置，转置序列根据传入的序列进行变更。permX1代表张量x1的转置序列，支持[0,1,2]、[1,0,2]，permX2代表张量x2的转置序列[0,1,2]，permY表示矩阵乘输出矩阵的转置序列，当前仅支持[1,0,2]，序列值为0的是batch维度，其余两个维度做矩阵乘法。scale表示输出矩阵的量化系数，可在输入为FLOAT16且输出为INT8时开启，详细约束条件可见约束说明或者aclnnTransposeBatchMatMul调用说明文档。
示例：
- x1的shape是(B, M, K)，x2的shape是(B, K, N)，scale为None，batchSplitFactor等于1时，计算输出out的shape是(M, B, N)。
- x1的shape是(B, M, K)，x2的shape是(B, K, N)，scale不为None，batchSplitFactor等于1时，计算输出out的shape是(M, 1, B * N)。
- x1的shape是(B, M, K)，x2的shape是(B, K, N)，scale为None，batchSplitFactor大于1时，计算输出out的shape是(batchSplitFactor, M, B * N / batchSplitFactor)。

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x1	输入	矩阵乘运算中的左矩阵。	FLOAT32, FLOAT16, BF16	ND
x2	输入	矩阵乘运算中的右矩阵。	FLOAT32, FLOAT16, BF16	ND
bias	输入	矩阵乘运算后累加的偏置。	FLOAT32, FLOAT16, BF16	ND
scale	输入	量化参数的缩放因子。	INT64, UINT64	ND
permX1	输入	表示矩阵乘的第一个矩阵的转置序列。	INT64	-
permX2	输入	表示矩阵乘的第二个矩阵的转置序列。	INT64	-
permY	输入	表示矩阵乘输出矩阵的转置序列。	INT64	-
cubeMathType	输入	指定Cube单元的计算逻辑。	INT8	-
batchSplitFactor	输入	用于指定矩阵乘输出矩阵中B维的切分大小。	INT32	-
y	输出	矩阵乘运算的计算结果。	FLOAT32, FLOAT16, BF16, INT8	ND

Kirin X90/Kirin 9030 处理器系列产品：不支持BFLOAT16。
Atlas A2 训练系列产品/Atlas A2 推理系列产品：只有输入x2支持FRACTAL_NZ格式。
Atlas A3 训练系列产品/Atlas A3 推理系列产品：只有输入x2支持FRACTAL_NZ格式。
Ascend 950PR/Ascend 950DT：只有输入x2支持FRACTAL_NZ格式。

约束说明

Atlas A2 训练系列产品/Atlas A2 推理系列产品、Atlas A3 训练系列产品/Atlas A3 推理系列产品：
- 不支持空tensor。
- 支持非连续tensor。
- B的取值范围为[1, 65536)，N的取值范围为[1, 65536)。
- 当x1的输入shape为(B, M, K)时，K <= 65535；当x1的输入shape为(M, B, K)时，B * K <= 65535。
- 当scale不为空时，batchSplitFactor只能等于1，B与N的乘积小于65536,且仅支持输入为FLOAT16和输出为INT8的类型推导。
Ascend 950PR/Ascend 950DT：
- 当scale不为空时，batchSplitFactor只能等于1，且仅支持输入为FLOAT16和输出为INT8的类型推导。
- bias为预留参数，当前暂不支持。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_transpose_batch_mat_mul	通过 - aclnnTransposeBatchMatMul - aclnnTransposeBatchMatMulWeightNz 等方式调用TransposeBatchMatMul算子。