MoeInitRoutingV2Grad

产品支持情况

产品 是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品 ×
Atlas 推理系列产品 ×
Atlas 训练系列产品 ×

功能说明

  • 算子功能aclnnMoeInitRoutingV2的反向传播,完成tokens的加权求和。

  • 计算公式

    gradXi=∑t=0topKgradExpandedX[expandedRowIdx[i∗topK+t]]gradX_i=\sum_{t=0}^{topK}gradExpandedX[expandedRowIdx[i * topK + t]]

参数说明

参数名 输入/输出/属性 描述 数据类型 数据格式
gradExpandedX 输入 表示Routing过后的目标张量,对应公式中的`gradExpandedX`。 FLOAT16、BFLOAT16、FLOAT32 ND
expandedRowIdx 输入 表示token按照专家序排序索引,对应公式中的`expandedRowIdx`。 INT32 ND
topK 属性 topk值,对应公式中的`topk值`。 INT64 -
dropPadMode 属性 表示场景是否为Drop类。 INT64 -
activeNum 属性 表示是否为Active场景。 INT64 -
out 输出 表示Routing反向输出,对应公式中的`gradX`。 FLOAT16、BFLOAT16、FLOAT32 ND

约束说明

无。

调用说明

调用方式 样例代码 说明
aclnn接口 test_aclnn_moe_init_routing_v2_grad 通过aclnnMoeInitRoutingV2Grad接口方式调用MoeInitRoutingV2Grad算子。