已关闭
[Requirement|需求建议]: [A2/A3]新增TransposeBatchMatMul算子的NZ格式场景下支持aclnn接口通路 #1328
fbbccc创建于  3月5日关闭于  3月10日
fbbccc
fbbccc成员
3月5日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

当前TransposeBatchMatMul算子在A2/A3上NZ格式的实现方式未支持aclnn调用,需要支持TransposeBatchMatMul算子在NZ格式场景下的aclnn接口实现。

Origin(信息来源)

TransposeBatchMatMul算子aclnn接口

Benefit / Necessity (价值/作用)

TransposeBatchMatMul算子支持x2矩阵NZ格式的输入参与计算,可以提升一些特定网络场景的性能。目前A2/A3场景下已支持对应tiling和kernel的实现,但未支持aclnn接口和torch_npu接口的调用方式,本需求给予其支持。

Design(设计方案)

增加aclnnTransposeBatchMatMulWeightNzGetWorkspaceSize和aclnnTransposeBatchMatMulWeightNz函数实现,支持torch调用对应l2接口,同时在A2/A3的二进制json文件中新增对应NZ场景的实现,从而完成NZ格式的输入的支持。

likedislike
fbbccc
fbbccc成员
3月5日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
3月5日 将 fbbccc 设为负责人
fbbcccfbbccc成员
3月5日 关联了pull request:add TransposeBatchMatMul NZ format aclnn function
fbbcccfbbccc成员
3月5日 关联了pull request:add TBMM aclnn introduce md
fbbcccfbbccc成员
3月10日 issue状态由 进行中 改变为 已完成
fbbcccfbbccc成员
3月10日 关闭了 issue
fbbcccfbbccc成员
3月10日 issue状态由 已完成 改变为 已解决
fbbcccfbbccc成员
3月10日 issue状态由 已解决 改变为 已完成
CANN-robotCANN-robot成员
3月10日 添加了label:Accepted
CANN-robotCANN-robot成员
3月20日 添加了label:resolved