Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
MhcPre算子目前用于多个大模型中,对性能要求高。目前算子在Cube、Vector计算中仍有多个可优化点,例如分核、使能HF32、流水优化等。因此需要对MhcPre优化分核及开启HF32等进行加速。
单算子耗时提升约20%。
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
MhcPre算子目前用于多个大模型中,对性能要求高。目前算子在Cube、Vector计算中仍有多个可优化点,例如分核、使能HF32、流水优化等。因此需要对MhcPre优化分核及开启HF32等进行加速。
Benefit / Necessity (价值/作用)
单算子耗时提升约20%。
Design(设计方案)