MulAddn

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×
Kirin X90 处理器系列产品
Kirin 9030 处理器系列产品

功能说明

  • 算子功能:

    实现 n>=2个mul和addn融合计算,减少搬运时间和内存的占用。

  • 计算公式:

    输入x1, x2为变长输入,为N个tensor组成的列表。x1输入中的每个tensor shape都为[B, M, 1], x2输入中的每个tensor shape都为[B, 1, K], y为输出,shape为[B, M, K]; N对应为addn算子的n数量,也为融合算子融合mul的数量。

x1∗x2=yx1 * x2 = y

x1=[[B,M,1],[B,M,1],...,[B,M,1]](共N个[B,M,1])x1 = [[B, M, 1], [B, M, 1],...,[B, M, 1]] (共N个[B, M, 1])

x2=[[B,1,K],[B,1,K],...,[B,1,K]](共N个[B,1,K])x2 = [[B, 1, K],[B, 1, K],...,[B, 1, K]] (共N个[B, 1, K])

[[B,M,1],[B,M,1],...,[B,M,1]]∗[[B,1,K],[B,1,K],...,[B,1,K]]=y[[B, M, 1], [B, M, 1],...,[B, M, 1]] * [[B, 1, K],[B, 1, K],...,[B, 1, K]] = y

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
x1 输入 公式中的输入x1。 FLOAT16、FLOAT32、BFLOAT16 ND
x2 输入 公式中的输入x2。 FLOAT16、FLOAT32、BFLOAT16 ND
N 属性 融合算子mul的数量。 INT -
y 输出 公式中的y。 FLOAT16、FLOAT32、BFLOAT16 ND
  • Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。

约束说明

  • K<=2040;
  • 输入x1和x2的shape分别为[B,M,1], [B,1,K];
  • N>=2;

调用说明

调用方式 调用样例 说明
图模式调用 test_geir_mul_addn 通过算子IR构图方式调用MulAddn算子。