单算子模式量化配置参数说明

该层是否进行量化感知训练。

bool

true或false

• true：该层需要进行量化感知训练。
• false：该层不进行量化感知训练。

true

可选

该层数据量化配置。

dict

-

包含如下参数：

• batch_num：量化使用的batch数量。

• clip_max：截断量化算法上限，默认不选。
• clip_min：截断量化算法下限，默认不选。
• fixed_min：截断量化算法最小值固定为0，默认不选。
• dst_type：当前仅支持INT8量化位宽，默认为INT8。

-

可选

该层权重量化配置。

dict

-

包含如下参数：

• weights_retrain_algo：量化算法选择，默认是arq_retrain。
• channel_wise：是否对每个channel采用不同的量化因子。
• dst_type：当前仅支持INT8量化位宽，默认为INT8。

-

可选

该层选择使用的权重量化算法。

string

-

• ulq_quantize：ulq截断上下限量化算法。
• arq_retrain：arq量化算法。

arq_retrain

可选

是否对每个channel采用不同的量化因子。

bool

true或false

• true：每个channel独立量化，量化因子不同。
• false：每个channel同时量化，共享量化因子。

true

可选

量化使用的batch数量。

int

大于0

如果不配置，则使用默认值1，建议校准集图片数量不超过50张，根据batch的大小batch_size计算相应的batch_num数值。

batch_num*batch_size为量化使用的校准集图片数量。

其中batch_size为每个batch所用的图片数量。

1

可选

设置数据量化算法下限的开关。

bool

true或false

• true：数据量化算法固定下限，并且下限为0。
• false：数据量化算法不固定下限。

不选此项

可选

数据量化算法上限。

float

clip_max>0

根据不同层activation的数据分布找到最大值max，推荐取值范围为：0.3*max~1.7*max

截断上下限数据量化算法，如果选择此项则固定算法截断上限。如果不选此项，通过ifmr算法学习获取上限。

不选此项

可选

数据量化算法下限。

float

clip_min<0

根据不同层activation的数据分布找到最小值min，推荐取值范围为：0.3*min~1.7*min

截断上下限数据量化算法，如果选择此项则固定算法截断下限。如果不选此项，通过ifmr算法学习获取下限。

不选此项

可选

量化位宽的类型。

string

当前只支持INT8，默认为INT8。

量化时用于选择量化位宽。

-

可选