Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
非量化及相关算子tiling适配控vector核计算,多流并行,算子控核性能优化。 1 必须使用vector计算场景,控核后无资源使用报错 2 非必须使用vector计算场景如性能优化确定性计算,控核后转切纯cube模板计算
网络多流场景性能优化
matmul,bmm,fusedmatmul,transposequantbmm,flatquant算子支持控vector核数计算,能够实现多流并行,实现算子控核性能优化。
在tiling侧增加控核的代码,要求aivNum>=aicNum,对于不符合条件的场景进行拦截。 在ut的case中补充vector_core_cnt属性,完善ut的校验能力。
/assign
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
非量化及相关算子tiling适配控vector核计算,多流并行,算子控核性能优化。
1 必须使用vector计算场景,控核后无资源使用报错
2 非必须使用vector计算场景如性能优化确定性计算,控核后转切纯cube模板计算
Origin(信息来源)
网络多流场景性能优化
Benefit / Necessity (价值/作用)
matmul,bmm,fusedmatmul,transposequantbmm,flatquant算子支持控vector核数计算,能够实现多流并行,实现算子控核性能优化。
Design(设计方案)
在tiling侧增加控核的代码,要求aivNum>=aicNum,对于不符合条件的场景进行拦截。
在ut的case中补充vector_core_cnt属性,完善ut的校验能力。