GroupedMatmulFinalizeRouting
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
功能说明
- 算子功能：GroupedMatmul和MoeFinalizeRouting的融合算子，GroupedMatmul计算后的输出按照索引做combine动作
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x1 | 输入 | 输入x(左矩阵)。 | INT8 | ND |
| x2 | 输入 | 输入weight(右矩阵) | INT4、INT8 | ND、NZ |
| scaleOptional | 输入 | 量化参数中的缩放因子，perchannel量化参数 | INT64、BF16、FLOAT32 | ND |
| biasOptional | 输入 | 矩阵的偏移 | BF16、FLOAT32 | ND |
| offsetOptional | 输入 | 非对称量化的偏移量 | FLOAT32 | ND |
| antiquantScaleOptional | 输入 | 伪量化的缩放因子 | FLOAT32 | ND |
| antiquantOffsetOptional | 输入 | 伪量化的偏移量 | FLOAT32 | ND |
| pertokenScaleOptional | 输入 | 矩阵计算的反量化参数 | FLOAT32 | ND |
| groupListOptional | 输入 | 输入和输出分组轴方向的matmul大小分布 | INT64 | ND |
| sharedInputOptional | 输入 | moe计算中共享专家的输出，需要与moe专家的输出进行combine操作 | BF16 | ND |
| logitOptional | 输入 | moe专家对各个token的logit大小 | FLOAT32 | ND |
| rowIndexOptional | 输入 | moe专家输出按照该rowIndex进行combine，其中的值即为combine做scatter add的索引 | INT32、INT64 | ND |
| dtype | 属性 | 计算的输出类型：0：FLOAT32；1：FLOAT16；2：BFLOAT16。目前仅支持0。 | INT64 | |
| sharedInputWeight | 属性 | 共享专家与moe专家进行combine的系数，sharedInput先与该参数乘，然后在和moe专家结果累加。 | FLOAT | |
| sharedInputOffset | 属性 | 共享专家输出的在总输出中的偏移。 | INT64 | |
| transposeX | 属性 | 左矩阵是否转置，仅支持false。 | BOOL | |
| transposeW | 属性 | 右矩阵是否转置，仅支持false。 | BOOL | |
| groupListType | 属性 | 分组模式：配置为0：cumsum模式，即为前缀和；配置为1：count模式。 | INT64 | |
| tuningConfigOptional | 属性 | 数组中的第一个元素表示各个专家处理的token数的预期值，算子tiling时会按照数组的第一个元素合理进行tiling切分，性能更优。从第二个元素开始预留，用户无须填写。未来会进行扩展。兼容历史版本，用户如不使用该参数，不传入（即为nullptr）即可。 | INT64 | |
| out | 输出 | 输出结果。 | FLOAT32 | ND |
| workspaceSize | 输出 | 返回需要在Device侧申请的workspace大小。 | - | - |
| executor | 输出 | 返回op执行器，包含了算子计算流程。 | - | - |
约束说明
输入和输出支持以下数据类型组合：
| x1 | x2 | scaleOptional | biasOptional | offsetOptional | antiquantScaleOptional | antiquantOffsetOptional | pertokenScaleOptional | groupListOptional | sharedInputOptional | logitOptional | rowIndexOptional | out |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| INT8 | INT4 | INT64 | FLOAT32 | FLOAT32 | null | null | FLOAT32 | INT64 | BFLOAT16 | FLOAT32 | INT64 | FLOAT32 |
| INT8 | INT4 | INT64 | FLOAT32 | null | null | null | FLOAT32 | INT64 | BFLOAT16 | FLOAT32 | INT64 | FLOAT32 |
| INT8 | INT8（NZ） | FLOAT32 | null | null | null | null | FLOAT32 | INT64 | BFLOAT16 | FLOAT32 | INT64 | FLOAT |
| INT8 | INT8（NZ） | FLOAT32 | null | null | null | null | FLOAT32 | INT64 | BFLOAT16 | FLOAT32 | INT64 | FLOAT |
| INT8 | INT4（NZ） | INT64 | FLOAT32 | FLOAT32 | null | null | FLOAT32 | INT64 | BFLOAT16 | FLOAT32 | INT64 | FLOAT |
| INT8 | INT4（NZ） | INT64 | FLOAT32 | null | null | null | FLOAT32 | INT64 | BFLOAT16 | FLOAT32 | INT64 | FLOAT |
调用说明
| 调用方式 | 调用样例 | 说明 |
|---|---|---|
| aclnn调用 | test_aclnn_grouped_matmul_finalize_routing | 通过aclnnGroupedMatmulFinalizeRoutingV3接口方式调用GroupedMatmulFinalizeRouting算子。 |
| aclnn调用 | test_aclnn_grouped_matmul_finalize_routing_weight_nz | 通过aclnnGroupedMatmulFinalizeRoutingWeightNzV2接口方式调用GroupedMatmulFinalizeRoutingWeightNz算子。 |