文件最后提交记录最后更新时间
7 个月前
7 个月前
7 个月前
7 个月前
7 个月前
6 个月前
7 个月前
7 个月前
README

QuantMatmulReduceSum

产品支持情况

产品 是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品

功能说明

  • 算子功能:完成量化的分组矩阵计算,然后所有组的矩阵计算结果相加后输出

  • 计算公式:

    out=∑i=0batch(x1i@x2i)∗x1Scale∗x2Scaleout = \sum_{i=0}^{batch}(x1_i @ x2_i) * x1Scale * x2Scale

    其中 x1x1, x2x2, outout 分别是维度为 (batch,M,K)(batch, M, K), (batch,K,N)(batch, K, N)(M,N)(M, N) 的矩阵。x1Scalex1Scalex2Scalex2Scale 分别是维度为 (M,)(M,)(N,)(N,) 的向量。

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x1 输入 矩阵乘运算中的左矩阵。 INT8 ND
x2 输入 矩阵乘运算中的右矩阵。 INT8 FRACTAL_NZ
x1Scale 输入 对矩阵乘结果进行行缩放的一维向量。 FLOAT32 ND
x2Scale 输入 对矩阵乘结果进行列缩放的一维向量。 BFLOAT16 ND
out 输出 结果矩阵。 FLOAT32 ND

约束说明

  • 不支持空tensor。
  • 左右矩阵不支持非连续tensor。

调用说明

调用方式 样例代码 说明
aclnn接口 test_aclnn_quant_matmul_reduce_sum 通过
aclnnQuantMatmulReduceSumWeightNz
等方式调用QuantMatmulReduceSum算子。