dynamic_dual_level_mx_quant接口声明了smooth_scale参数,当前代码未实现smooth scale,需要增加支持smooth scale
提高计算效率:融合smooth scale和二级量化,减少内存搬运次数
tiling:检查smooth scale的数据类型和shape;修改计算ubFactor保留ubuf内存用于存放smooth scale kernel:DynamicDualLevelMxQuantBase增加模板参数needSmoothScale;增加CopySmoothScale函数搬运smooth scale到ubuf内存;增加ComputeSmoothScaleLevel0Quant函数融合x*smooth_scale和level0_quant
/assign @gt0cd001
Backgroud(背景信息)
dynamic_dual_level_mx_quant接口声明了smooth_scale参数,当前代码未实现smooth scale,需要增加支持smooth scale
Origin(信息来源)
Benefit / Necessity (价值/作用)
提高计算效率:融合smooth scale和二级量化,减少内存搬运次数
Design(设计方案)
tiling:检查smooth scale的数据类型和shape;修改计算ubFactor保留ubuf内存用于存放smooth scale
kernel:DynamicDualLevelMxQuantBase增加模板参数needSmoothScale;增加CopySmoothScale函数搬运smooth scale到ubuf内存;增加ComputeSmoothScaleLevel0Quant函数融合x*smooth_scale和level0_quant