MoeFinalizeRoutingV2

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	√
Atlas 训练系列产品	×
Kirin X90 处理器系列产品	√
Kirin 9030 处理器系列产品	√

功能说明

• 算子功能：MoE计算中，最后处理合并MoE FFN的输出结果。

• 计算公式：

  $$expertid=expertIdx[i,k]$$

  $$out(i,j)=x{1}_{i,j}+x2Optiona{l}_{i,j}+\sum _{k=0}^K(scale{s}_{i,k}\ast (expanded{X}_{expandedRowId{x}_{i+k\ast nu{m}_{r}ows},j}+bia{s}_{expertid,j}))$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
expandedX	输入	公式中的`expandedX`，MoE的FFN输出。	FLOAT16、BFLOAT16、FLOAT32	ND
expandedRowIdx	输入	公式中的`expandedRowIdx`。	INT32	ND
x1Optional	输入	公式中的`x1`。	FLOAT16、BFLOAT16、FLOAT32	ND
x2Optional	输入	公式中的`x2Optional`。	FLOAT16、BFLOAT16、FLOAT32	ND
biasOptional	输入	公式中的`bias`。	FLOAT16、BFLOAT16、FLOAT32	ND
scalesOptional	输入	公式中的`scales`。	FLOAT16、BFLOAT16、FLOAT32	ND
expertIdxOptional	输入	公式中的`expertIdx`。	INT32	ND
dropPadMode	属性	表示是否支持丢弃模式，expandedRowIdx的排列方式。	INT64	-
out	输出	公式中的`out`。	FLOAT16、BFLOAT16、FLOAT32	ND

• Kirin X90/Kirin 9030 处理器系列产品: 不支持BFLOAT16。

约束说明

无。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_moe_finalize_routing_v2.cpp	通过aclnnMoeFinalizeRoutingV2接口调用MoeFinalizeRoutingV2算子。