| 文件 | 最后提交记录 | 最后更新时间 |
|---|---|---|
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 7 个月前 | ||
| 6 个月前 | ||
| 7 个月前 | ||
| 7 个月前 |
QuantMatmulReduceSum
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
功能说明
-
算子功能:完成量化的分组矩阵计算,然后所有组的矩阵计算结果相加后输出
-
计算公式:
out=∑i=0batch(x1i@x2i)∗x1Scale∗x2Scaleout = \sum_{i=0}^{batch}(x1_i @ x2_i) * x1Scale * x2Scale
其中 x1x1, x2x2, outout 分别是维度为 (batch,M,K)(batch, M, K), (batch,K,N)(batch, K, N) 和 (M,N)(M, N) 的矩阵。x1Scalex1Scale 和 x2Scalex2Scale 分别是维度为 (M,)(M,) 和 (N,)(N,) 的向量。
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x1 | 输入 | 矩阵乘运算中的左矩阵。 | INT8 | ND |
| x2 | 输入 | 矩阵乘运算中的右矩阵。 | INT8 | FRACTAL_NZ |
| x1Scale | 输入 | 对矩阵乘结果进行行缩放的一维向量。 | FLOAT32 | ND |
| x2Scale | 输入 | 对矩阵乘结果进行列缩放的一维向量。 | BFLOAT16 | ND |
| out | 输出 | 结果矩阵。 | FLOAT32 | ND |
约束说明
- 不支持空tensor。
- 左右矩阵不支持非连续tensor。
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| aclnn接口 | test_aclnn_quant_matmul_reduce_sum | 通过 aclnnQuantMatmulReduceSumWeightNz 等方式调用QuantMatmulReduceSum算子。 |