已关闭
[Requirement|需求建议]: matmul后融合消除尾部tansdata内存优化 #3093
zhengyuhao3创建于  6月4日关闭于  6月4日
zhengyuhao3成员
6月4日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

背景:
MatmulV3算子在部分大用例场景下出现OOM问题,经排查发现,该部分用例Kernel测返回结果为NZ格式,需要在host侧通过transdata转换为nd格式进行输出,导致OOM。
通过Kernel直接返回Nd格式数据,消除尾部transdata,可以实现内存消减。经实际测试,当n为非256对齐的用例,采用该方案实现时,会出现性能劣化问题
需求:
在kernel内部使用vector核进行nz2nd转换,结局性能劣化问题。

Origin(信息来源)

Matmul

Benefit / Necessity (价值/作用)

内存消减,保证性能不劣化

Design(设计方案)

likedislike
Zzhengyuhao3成员
6月4日 添加了label:requirement
zhengyuhao3成员
6月4日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
6月4日 将 zhengyuhao3 设为负责人
Zzhengyuhao3成员
6月4日 关联了pull request
CANN-robotCANN-robot成员
6月4日 关闭了 issue
CANN-robotCANN-robot成员
6月4日 添加了label:resolved