MoeFinalizeRoutingV2Grad

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×

功能说明

• 算子功能：aclnnMoeFinalizeRoutingV2的反向传播。

• 计算公式： R: batch * sequence

  H: hidden

  K: topk

  gradY: (R, H)

  expandedRowIdx: (R * K)

  expandedXOptional: (R * K, H) or (activeNum, H) or (expertNum, expertCapacity, H)

  scalesOptional: (R, K)

  expertIdxOptional: (R, K)

  biasOptional: (E, H)

  i : 0 ~ R * K - 1

  j : 0 ~ H

  (1) scalesOptional为空指针：

  $$gradExpandedXOut[expandedRowIdx[i]][j]=gradY[i/K][j]$$

  (2) scalesOptional不为空指针, biasOptional为空指针：

  $$gradExpandedXOut[expandedRowIdx[i]][j]=gradY[i/K][j]\ast scalesOptional[i]$$

  $$gradScalesOut[i]=sum(expandedXOptional[expandedRowIdx[i]][j]\ast gradY[i/K][j])$$

  (3) scalesOptional不为空指针, biasOptional不为空指针：

  $$gradExpandedXOut[expandedRowIdx[i]][j]=gradY[i/K][j]\ast scalesOptional[i]$$

  $$gradScalesOut[i]=sum((expandedXOptional[expandedRowIdx[i]][j]+biasOptional[expertIdxOptional[i]][j])\ast gradY[i/K][j])$$

参数说明

参数名	输入/输出/属性	描述	数据类型	数据格式
gradY	输入	公式中的`gradY`，表示MoeFinalizeRoutingV2正向输出y的导数。	FLOAT16、BFLOAT16、FLOAT32	ND
expandedRowIdx	输入	公式中的`expandedRowIdx`，表示token按照专家序排序的索引。	INT32	ND
expandedXOptional	输入	公式中的`expandedXOptional`，表示根据expertIdx进行扩展过的特征。	FLOAT16、BFLOAT16、FLOAT32	ND
scalesOptional	输入	公式中的`scalesOptional`，表示对特征进行的缩放。	FLOAT16、BFLOAT16、FLOAT32	ND
expertIdxOptional	输入	公式中的`expertIdxOptional`，表示每一个特征对应的处理专家索引。	INT32	ND
biasOptional	输入	公式中的`biasOptional`，表示对特征进行的偏移。	FLOAT16、BFLOAT16、FLOAT32	ND
dropPadMode	属性	表示使用不同的场景。	INT64	-
activeNum	属性	公式中的`activeNum`，表示gradExpandedXOut最大输出行数。	INT64	-
expertNum	属性	公式中的`expertNum`，表示专家数。	INT64	-
expertCapacity	属性	公式中的`expertCapacity`。	INT64	-
gradExpandedXOut	输出	公式中的`gradExpandedXOut`，表示MoeFinalizeRoutingV2正向输入expandedX的导数。	FLOAT16、BFLOAT16、FLOAT32	ND
gradScalesOut	输出	公式中的`gradScalesOut`，表示MoeFinalizeRoutingV2正向输入scales的导数。	FLOAT16、BFLOAT16、FLOAT32	ND

约束说明

无。

调用说明

调用方式	样例代码	说明
aclnn接口	test_aclnn_moe_finalize_routing_v2_grad.cpp	通过aclnnMoeFinalizeRoutingV2Grad接口方式调用MoeFinalizeRoutingV2Grad算子。