文件最后提交记录最后更新时间
2 天前
20 天前
20 天前
20 天前
6 个月前
2 天前
README

BatchMatmulQuant

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT ×
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×

功能说明

  • 算子功能: 实现输入Tensor的dtype是float16,输出的dtype是int8的矩阵乘计算。

  • 计算公式:

    out=Quant(x1@x2+bias)out = Quant(x1@x2 + bias)

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x1 输入 公式中的输入x1。 FLOAT16 -
x2 输入 公式中的输入x2。 FLOAT16 -
bias 输入 公式中的输入bias。 FLOAT16 -
quantParam 输入 硬件完成量化计算的量化参数,可以通过 aclnnTransQuantParam 接口获取。 UINT64 NC1HWC0
transposeX1 输入 用于描述x1是否转置。 bool -
transposeX2 输入 用于描述x2是否转置。 bool -
out 输出 公式中的输出out。 INT8 ND

约束说明

  • 不支持空tensor。
  • 支持连续tensor,非连续tensor只支持转置场景。

调用说明

调用方式 样例代码 说明
aclnn接口 test_aclnn_batch_matmul_quant 通过
aclnnBatchMatmulQuant
调用BatchMatmulQuant算子。