Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Transformer 里最经典的 FFN 结构： 本融合算子需要再FFN结构里面支持一个融合算子（下面蓝色部分）： 即QuantMatmul+Gelu+DynamicMxQuant(或者DynamicHif4Quant)融合成一个独立的算子。 将FNN计算过程中的QBMM、GELU、DynamicmxQuant三个单算子，融合合成一个算子，提升模型的推理性能。
昇腾
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud（背景信息）
Transformer 里最经典的 FFN 结构：
本融合算子需要再FFN结构里面支持一个融合算子（下面蓝色部分）：
即QuantMatmul+Gelu+DynamicMxQuant(或者DynamicHif4Quant)融合成一个独立的算子。
将FNN计算过程中的QBMM、GELU、DynamicmxQuant三个单算子，融合合成一个算子，提升模型的推理性能。
Origin（信息来源）
昇腾
Benefit / Necessity （价值/作用）
Design（设计方案）