MoeInitRoutingV2Grad
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | √ |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
功能说明
-
算子功能：aclnnMoeInitRoutingV2的反向传播，完成tokens的加权求和。
-
计算公式：
gradXi=∑t=0topKgradExpandedX[expandedRowIdx[i∗topK+t]]gradX_i=\sum_{t=0}^{topK}gradExpandedX[expandedRowIdx[i * topK + t]]
参数说明
| 参数名 | 输入/输出/属性 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| gradExpandedX | 输入 | 表示Routing过后的目标张量，对应公式中的`gradExpandedX`。 | FLOAT16、BFLOAT16、FLOAT32 | ND |
| expandedRowIdx | 输入 | 表示token按照专家序排序索引，对应公式中的`expandedRowIdx`。 | INT32 | ND |
| topK | 属性 | topk值，对应公式中的`topk值`。 | INT64 | - |
| dropPadMode | 属性 | 表示场景是否为Drop类。 | INT64 | - |
| activeNum | 属性 | 表示是否为Active场景。 | INT64 | - |
| out | 输出 | 表示Routing反向输出，对应公式中的`gradX`。 | FLOAT16、BFLOAT16、FLOAT32 | ND |
约束说明
无。
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| aclnn接口 | test_aclnn_moe_init_routing_v2_grad | 通过aclnnMoeInitRoutingV2Grad接口方式调用MoeInitRoutingV2Grad算子。 |