文件最后提交记录最后更新时间
6 个月前
2 个月前
2 个月前
3 个月前
2 个月前
4 个月前
README

AscendQuant

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品 ×
Atlas A2 训练系列产品/Atlas A2 推理系列产品 ×
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×

功能说明

  • 算子功能:对输入x进行量化操作,且scale和offset的size需要是x的最后一维或1。
  • 计算公式:
    • sqrtMode为false时,计算公式为:

      y=round((x∗scale)+offset)y = round((x * scale) + offset)

    • sqrtMode为true时,计算公式为:

      y=round((x∗scale∗scale)+offset)y = round((x * scale * scale) + offset)

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x 输入 待进行ascend_quant计算的入参,公式中的x。 FLOAT、FLOAT16 ND
scale 输入 待进行ascend_quant计算的入参,公式中的scale。 FLOAT ND
offset 输入 待进行ascend_quant计算的入参,公式中的offset。 FLOAT ND
sqrt_mode 输入 待进行ascend_quant计算的入参,公式中的sqrt_mode。 BOOL ND
round_mode 输入 待进行ascend_quant计算的入参,公式中的round_mode。 STRING ND
dst_type 输入 待进行ascend_quant计算的入参,公式中的dst_type。 INT8 ND
y 输出 待进行ascend_quant计算的出参,公式中的y。 INT8、INT4、HIFLOAT8 ND
  • Ascend 950PR/Ascend 950DT :数据类型支持FLOAT32、FLOAT16。

约束说明

调用说明

调用方式 样例代码 说明
图模式 - 通过算子IR构图方式调用AscendQuant算子。