MulAddn
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
| Kirin X90 处理器系列产品 | √ |
| Kirin 9030 处理器系列产品 | √ |
功能说明
-
算子功能:
实现 n>=2个mul和addn融合计算,减少搬运时间和内存的占用。
-
计算公式:
输入x1, x2为变长输入,为N个tensor组成的列表。x1输入中的每个tensor shape都为[B, M, 1], x2输入中的每个tensor shape都为[B, 1, K], y为输出,shape为[B, M, K]; N对应为addn算子的n数量,也为融合算子融合mul的数量。
x1∗x2=yx1 * x2 = y
x1=[[B,M,1],[B,M,1],...,[B,M,1]](共N个[B,M,1])x1 = [[B, M, 1], [B, M, 1],...,[B, M, 1]] (共N个[B, M, 1])
x2=[[B,1,K],[B,1,K],...,[B,1,K]](共N个[B,1,K])x2 = [[B, 1, K],[B, 1, K],...,[B, 1, K]] (共N个[B, 1, K])
[[B,M,1],[B,M,1],...,[B,M,1]]∗[[B,1,K],[B,1,K],...,[B,1,K]]=y[[B, M, 1], [B, M, 1],...,[B, M, 1]] * [[B, 1, K],[B, 1, K],...,[B, 1, K]] = y
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| x1 | 输入 | 公式中的输入x1。 | FLOAT16、FLOAT32、BFLOAT16 | ND |
| x2 | 输入 | 公式中的输入x2。 | FLOAT16、FLOAT32、BFLOAT16 | ND |
| N | 属性 | 融合算子mul的数量。 | INT | - |
| y | 输出 | 公式中的y。 | FLOAT16、FLOAT32、BFLOAT16 | ND |
- Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。
约束说明
- K<=2040;
- 输入x1和x2的shape分别为[B,M,1], [B,1,K];
- N>=2;
调用说明
| 调用方式 | 调用样例 | 说明 |
|---|---|---|
| 图模式调用 | test_geir_mul_addn | 通过算子IR构图方式调用MulAddn算子。 |