Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
新增RmsNormDynamicMxQuant算子实现,把RmsNorm+DynamicMxQuant融合到一个算子实现,实现全载情况下算子在整网中的性能优化。
vector
RmsNormDynamicMxQuant融合算子实现,把RmsNorm+DynamicMxQuant融合到一个算子实现,实现全载情况下算子在整网中的性能优化。
R全载采用二分累加算法实现,quant算法FP8采用OCP或cuBlas实现。
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
Backgroud(背景信息)
新增RmsNormDynamicMxQuant算子实现,把RmsNorm+DynamicMxQuant融合到一个算子实现,实现全载情况下算子在整网中的性能优化。
Origin(信息来源)
vector
Benefit / Necessity (价值/作用)
RmsNormDynamicMxQuant融合算子实现,把RmsNorm+DynamicMxQuant融合到一个算子实现,实现全载情况下算子在整网中的性能优化。
Design(设计方案)
R全载采用二分累加算法实现,quant算法FP8采用OCP或cuBlas实现。