已关闭
[Requirement|需求建议]: 新增RmsNormDynamicMxQuant算子实现 #1649
rk创建于  3月23日关闭于  3月23日
rk成员
3月23日 创建

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

Backgroud(背景信息)

新增RmsNormDynamicMxQuant算子实现,把RmsNorm+DynamicMxQuant融合到一个算子实现,实现全载情况下算子在整网中的性能优化。

Origin(信息来源)

vector

Benefit / Necessity (价值/作用)

RmsNormDynamicMxQuant融合算子实现,把RmsNorm+DynamicMxQuant融合到一个算子实现,实现全载情况下算子在整网中的性能优化。

Design(设计方案)

R全载采用二分累加算法实现,quant算法FP8采用OCP或cuBlas实现。

likedislike
Zzzz2048成员
3月23日 关联了pull request:rms_norm_dynamic_mx_quant支持fp8全载模板
CANN-robotCANN-robot成员
3月23日 关闭了 issue
CANN-robotCANN-robot成员
3月23日 添加了label:resolved