Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
背景: MatmulV3算子在部分大用例场景下出现OOM问题,经排查发现,该部分用例Kernel测返回结果为NZ格式,需要在host侧通过transdata转换为nd格式进行输出,导致OOM。 通过Kernel直接返回Nd格式数据,消除尾部transdata,可以实现内存消减。经实际测试,当n为非256对齐的用例,采用该方案实现时,会出现性能劣化问题 需求: 在kernel内部使用vector核进行nz2nd转换,结局性能劣化问题。
Matmul
内存消减,保证性能不劣化
/assign
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
背景:
MatmulV3算子在部分大用例场景下出现OOM问题,经排查发现,该部分用例Kernel测返回结果为NZ格式,需要在host侧通过transdata转换为nd格式进行输出,导致OOM。
通过Kernel直接返回Nd格式数据,消除尾部transdata,可以实现内存消减。经实际测试,当n为非256对齐的用例,采用该方案实现时,会出现性能劣化问题
需求:
在kernel内部使用vector核进行nz2nd转换,结局性能劣化问题。
Origin(信息来源)
Matmul
Benefit / Necessity (价值/作用)
内存消减,保证性能不劣化
Design(设计方案)