Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
支持BMM基础模板支持A和B都非连续性输入其中A为mbk的形式,B为nbk的形式,消除transpose算子
海思
能够支持基础模板左右矩阵非连续输入,不用在调用transpose算子进行转换,支持kernel跳读,提高端到端性能
修改适配aclnn侧和tilingkernel,通过innerbatch非连续参数控制
/assign
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
支持BMM基础模板支持A和B都非连续性输入其中A为mbk的形式,B为nbk的形式,消除transpose算子
Origin(信息来源)
海思
Benefit / Necessity (价值/作用)
能够支持基础模板左右矩阵非连续输入,不用在调用transpose算子进行转换,支持kernel跳读,提高端到端性能
Design(设计方案)
修改适配aclnn侧和tilingkernel,通过innerbatch非连续参数控制