Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
参照NPU高性能矩阵编程的指导文档,提供Matmul VCV场景优化的简单样例工程实现,给NPU平台的算子新入门开发者提供学习参考
样例工程实现
给NPU平台的算子新入门开发者提供学习参考
基础模板: for groupId: aiv: unfoldA setV2C waitC2V mergeC aic: waitV2C Matmul setC2V
流水优化模板: aiv: for groupId: aiv: unfoldA setV2C if groupId>1: waitC2V mergeC aic: waitV2C Matmul setC2V aiv: unfoldA setV2C aiv: waitC2V mergeC
性能收益点: 流水优化,解耦cv处理流程
/assign
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
参照NPU高性能矩阵编程的指导文档,提供Matmul VCV场景优化的简单样例工程实现,给NPU平台的算子新入门开发者提供学习参考
Origin(信息来源)
样例工程实现
Benefit / Necessity (价值/作用)
给NPU平台的算子新入门开发者提供学习参考
Design(设计方案)
基础模板:
for groupId:
aiv:
unfoldA
setV2C
waitC2V
mergeC
aic:
waitV2C
Matmul
setC2V
流水优化模板:
aiv:
for groupId:
aiv:
unfoldA
setV2C
if groupId>1:
waitC2V
mergeC
aic:
waitV2C
Matmul
setC2V
aiv:
unfoldA
setV2C
aiv:
waitC2V
mergeC
性能收益点: 流水优化,解耦cv处理流程