BatchMatmulQuant

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	×
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能： 实现输入Tensor的dtype是float16,输出的dtype是int8的矩阵乘计算。

• 计算公式：

  $$out=Quant(x1@x2+bias)$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
x1	输入	公式中的输入x1。	FLOAT16	-
x2	输入	公式中的输入x2。	FLOAT16	-
bias	输入	公式中的输入bias。	FLOAT16	-
quantParam	输入	硬件完成量化计算的量化参数，可以通过 aclnnTransQuantParam 接口获取。	UINT64	NC1HWC0
transposeX1	输入	用于描述x1是否转置。	bool	-
transposeX2	输入	用于描述x2是否转置。	bool	-
out	输出	公式中的输出out。	INT8	ND

约束说明

• 不支持空tensor。
• 支持连续tensor，非连续tensor只支持转置场景。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_batch_matmul_quant	通过 aclnnBatchMatmulQuant 调用BatchMatmulQuant算子。