已关闭
[Requirement|需求建议]: 非量化matmul支持控vector核数计算 #1175
yushan-kite创建于  2月26日关闭于  3月19日
yushan-kite成员
2月26日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

非量化及相关算子tiling适配控vector核计算,多流并行,算子控核性能优化。
1 必须使用vector计算场景,控核后无资源使用报错
2 非必须使用vector计算场景如性能优化确定性计算,控核后转切纯cube模板计算

Origin(信息来源)

网络多流场景性能优化

Benefit / Necessity (价值/作用)

matmul,bmm,fusedmatmul,transposequantbmm,flatquant算子支持控vector核数计算,能够实现多流并行,实现算子控核性能优化。

Design(设计方案)

在tiling侧增加控核的代码,要求aivNum>=aicNum,对于不符合条件的场景进行拦截。
在ut的case中补充vector_core_cnt属性,完善ut的校验能力。

likedislike
yushan-kite成员
2月26日 评论:

/assign

likedislike
CANN-robotCANN-robot成员
2月26日 将 yushan-kite 设为负责人
Yyushan-kite成员
2月26日 关联了pull request:control aic:aiv<=1:2
CANN-robotCANN-robot成员
3月19日 关闭了 issue
CANN-robotCANN-robot成员
3月20日 添加了label:resolved