RecurrentGatedDeltaRule
产品支持情况
| 产品 | 是否支持 |
|---|---|
| Ascend 950PR/Ascend 950DT | × |
| Atlas A3 训练系列产品/Atlas A3 推理系列产品 | √ |
| Atlas A2 训练系列产品/Atlas A2 推理系列产品 | √ |
| Atlas 200I/500 A2 推理产品 | × |
| Atlas 推理系列产品 | × |
| Atlas 训练系列产品 | × |
功能说明
-
算子功能：完成变步长的Recurrent Gated Delta Rule计算。
-
计算公式：
Recurrent Gated Delta Rule（循环门控Delta规则，RGDR）是一种应用于循环神经网络的算子，也被应用于一种线性注意力机制中。 在每个时间步 tt，网络根据当前的输入 qtq_t、ktk_t、vtv_t 和上一个隐藏状态 St−1S_{t-1}，计算当前的输出 oto_t 和新的隐藏状态 StS_t。 在这个过程中，门控单元会决定有多少新信息存入隐藏状态，以及有多少旧信息需要被遗忘。
St:=St−1(αtDiag(αkt)(I−βtktktT))+βtvtktT=αtDiag(αkt)St−1+βt(vt−αtDiag(αkt)St−1kt)ktTS_t := S_{t-1}(\alpha_t Diag(\alpha_{kt})(I - \beta_t k_t k_t^T)) + \beta_t v_t k_t^T = \alpha_t Diag(\alpha_{kt})S_{t-1} + \beta_t (v_t - \alpha_t Diag(\alpha_{kt})S_{t-1}k_t)k_t^T
ot:=Stqtdko_t := \frac{S_t q_t}{\sqrt{d_k}}
其中，St−1,St∈Rdv×dkS_{t-1},S_t \in R^{d_v \times d_k}，qt,kt∈Rdkq_t, k_t \in R^{d_k}，vt∈Rdvv_t \in R^{d_v}，αt∈R\alpha_t \in R，αk∈Rdk\alpha_k \in R^{d_k}，βt∈R\beta_t \in R，o∈Rdvo \in R^{d_v}。
参数说明
| 参数名 | 输入/输出 | 描述 | 数据类型 | 数据格式 |
|---|---|---|---|---|
| query | 输入 | 公式中的q。 | BFLOAT16 | ND |
| key | 输入 | 公式中的输入k。 | BFLOAT16 | ND |
| value | 输入 | 公式中的输入v。 | BFLOAT16 | ND |
| beta | 输入 | 公式中的β。 | BFLOAT16 | ND |
| state | 输入&输出 | 状态矩阵，公式中的输入S。 | BFLOAT16 | ND |
| g | 输入 | 衰减系数，公式中的α=e^g | FLOAT32 | ND |
| gk | 输入 | 衰减系数，公式中的αk=e^gk | FLOAT32 | ND |
| out | 输出 | 公式中的o。 | BFLOAT16 | ND |
约束说明
- 输入tensor的shape大小需满足一定约束，具体见aclnnRecurrentGatedDeltaRule。
调用说明
| 调用方式 | 样例代码 | 说明 |
|---|---|---|
| aclnn接口 | test_aclnn_recurrent_gated_delta_rul.cpp | 通过aclnnRecurrentGatedDeltaRule调用aclnnRecurrentGatedDeltaRule算子 |