已关闭
[Requirement|需求建议]: MhcPre性能优化 #4121
liweijian16创建于  8月4日关闭于  8月6日
liweijian16成员
8月4日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

MhcPre算子目前用于多个大模型中,对性能要求高。目前算子在Cube、Vector计算中仍有多个可优化点,例如分核、使能HF32、流水优化等。因此需要对MhcPre优化分核及开启HF32等进行加速。

Benefit / Necessity (价值/作用)

单算子耗时提升约20%。

Design(设计方案)

  1. 传入HF32配置项以使能Cube进行HF32计算;
  2. 新增M-K分核策略,优化CV流水,优化regbase计算逻辑。
likedislike
Lliweijian16成员
8月4日 添加了label:requirement
CANN-robotCANN-robot成员
8月6日 关闭了 issue
CANN-robotCANN-robot成员
8月6日 添加了label:resolved