已关闭
[Bug-Report|缺陷反馈]: TransposeBatchMatMul算子 tiling策略不合理,导致性能较差 #589
justsozl创建于  1月28日关闭于  1月29日
justsozl成员
1月28日 创建

Thanks for sending an issue! Please fill in the following template to help quickly solve your problem.

Describe the current behavior / 问题描述 (Mandatory / 必填)

transpose_batch_matmul 输入shape为 (1, 8, 4096),(8, 4096, 1024),采用基本块设置为 baseM=16, baseN=512,batch分8核,N分2核,未能充分利用所有核

Environment / 环境信息 (Mandatory / 必填)

A3

Steps to reproduce the issue / 重现步骤 (Mandatory / 必填)

执行transpose_batch_matmul,给定输入 (1, 8, 4096),(8, 4096, 1024),执行单算子采集性能

Describe the expected behavior / 预期结果 (Mandatory / 必填)

预期优化后,tiling策略优化为baseM=16, baseN=384, 充分利用多核

原始tiling日志打印如下:
[OP_TILING][DumpTilingInfo][20334] OpName:[MatMulV3:] "Start to dump tiling info. tilingkey:32, tiling data size:280, content:24,1,1024,4096,4096,16,512,4096,16,512,32,4,4,1,1,0,0,0,0,393216,1024,0,1,1,1,1,2,2,0,0,2,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,"

Special notes for this issue/备注 (Optional / 选填)

likedislike
Jjustsozl成员
1月28日 关联了pull request:tbmm load balance
CANN-robotCANN-robot成员
1月29日 关闭了 issue
Jjustsozl成员
2月3日 关联了pull request:tbmm tiling使能负载均衡优化
Jjustsozl成员
2月3日 关联了pull request:tbmm load balance