Merged
modulate_grad无原型,仅支持aclnn,删除README.md #9177
zhouxuan78Add on Aug 25
modulate_grad无原型,仅支持aclnn,删除README.md #9177
Merged
Merged fromDeleted :bugfixintocann/ops-nnmaster
Total: 1 files changed+0-113
| @@ -1,113 +0,0 @@ | |||
| 1 | -# ModulateGrad | ||
| 2 | - | ||
| 3 | -## 产品支持情况 | ||
| 4 | - | ||
| 5 | -| 产品 | 是否支持 | | ||
| 6 | -| :----------------------------------------------------------- | :------: | | ||
| 7 | -| <term>Ascend 950PR/Ascend 950DT</term> | √ | | ||
| 8 | -| <term>Atlas A3 训练系列产品/Atlas A3 推理系列产品</term> | √ | | ||
| 9 | -| <term>Atlas A2 训练系列产品/Atlas A2 推理系列产品</term> | √ | | ||
| 10 | -| <term>Atlas 200I/500 A2 推理产品</term> | × | | ||
| 11 | -| <term>Atlas 推理系列产品</term> | × | | ||
| 12 | -| <term>Atlas 训练系列产品</term> | × | | ||
| 13 | - | ||
| 14 | -## 功能说明 | ||
| 15 | - | ||
| 16 | -- 算子功能:完成Modulate反向传播中参数的计算,进行梯度更新。 | ||
| 17 | -- 计算公式: | ||
| 18 | - | ||
| 19 | - 设输入self的shape为[B, L, D]计算公式如下: | ||
| 20 | - 公式: | ||
| 21 | - | ||
| 22 | - $$ | ||
| 23 | - \begin{cases} | ||
| 24 | - \text{grad\_x} = \text{grad\_output} \odot \left(1 + \text{scale}^{\uparrow L}\right) \\ | ||
| 25 | - \text{grad\_scale} = \sum_{l=1}^{L} (\text{grad\_output} \odot \text{input})_{b,l,d} \\ | ||
| 26 | - \text{grad\_shift} = \sum_{l=1}^{L} \text{grad\_output}_{b,l,d} | ||
| 27 | - \end{cases} | ||
| 28 | - $$ | ||
| 29 | - | ||
| 30 | - 符号说明: | ||
| 31 | - - $\odot$: 表示逐元素乘法; | ||
| 32 | - - $\sum_{l=1}^{L}$: 求和操作,沿序列维度$L$(即dim=1)进行 | ||
| 33 | - - $b,l,d$:下标,表示张量的维度索引(通常为Batch,Length,Dimension) | ||
| 34 | - - $\text{scale}^{\uparrow L}$:表示将scale张量在序列维度 $L$ 上进行广播(扩展) | ||
| 35 | - | ||
| 36 | -## 参数说明 | ||
| 37 | - | ||
| 38 | -<table style="undefined;table-layout: fixed; width: 820px"><colgroup> | ||
| 39 | - <col style="width: 100px"> | ||
| 40 | - <col style="width: 150px"> | ||
| 41 | - <col style="width: 190px"> | ||
| 42 | - <col style="width: 260px"> | ||
| 43 | - <col style="width: 120px"> | ||
| 44 | - </colgroup> | ||
| 45 | - <thead> | ||
| 46 | - <tr> | ||
| 47 | - <th>参数名</th> | ||
| 48 | - <th>输入/输出/属性</th> | ||
| 49 | - <th>描述</th> | ||
| 50 | - <th>数据类型</th> | ||
| 51 | - <th>数据格式</th> | ||
| 52 | - </tr></thead> | ||
| 53 | - <tbody> | ||
| 54 | - <tr> | ||
| 55 | - <td>grad_output</td> | ||
| 56 | - <td>输入</td> | ||
| 57 | - <td>表示传入的特征张量,公式中的grad_output。</td> | ||
| 58 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 59 | - <td>ND</td> | ||
| 60 | - </tr> | ||
| 61 | - <tr> | ||
| 62 | - <td>input</td> | ||
| 63 | - <td>输入</td> | ||
| 64 | - <td>表示传入的特征张量,公式中的input。</td> | ||
| 65 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 66 | - <td>ND</td> | ||
| 67 | - </tr> | ||
| 68 | - <tr> | ||
| 69 | - <td>scale</td> | ||
| 70 | - <td>输入</td> | ||
| 71 | - <td>可选参数,表示缩放的系数,公式中的scale。</td> | ||
| 72 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 73 | - <td>ND</td> | ||
| 74 | - </tr> | ||
| 75 | - <tr> | ||
| 76 | - <td>shift</td> | ||
| 77 | - <td>输入</td> | ||
| 78 | - <td>可选参数,表示平移的系数,公式中的shift。</td> | ||
| 79 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 80 | - <td>ND</td> | ||
| 81 | - </tr> | ||
| 82 | - <tr> | ||
| 83 | - <td>grad_input</td> | ||
| 84 | - <td>输出</td> | ||
| 85 | - <td>表示缩放后的输出张量,公式中的grad_input。</td> | ||
| 86 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 87 | - <td>ND</td> | ||
| 88 | - </tr> | ||
| 89 | - <tr> | ||
| 90 | - <td>grad_scale</td> | ||
| 91 | - <td>输出</td> | ||
| 92 | - <td>表示缩放后的输出张量,公式中的grad_scale。</td> | ||
| 93 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 94 | - <td>ND</td> | ||
| 95 | - </tr> | ||
| 96 | - <tr> | ||
| 97 | - <td>grad_shift</td> | ||
| 98 | - <td>输出</td> | ||
| 99 | - <td>表示缩放后的输出张量,公式中的grad_shift。</td> | ||
| 100 | - <td>FLOAT、FLOAT16、BFLOAT16</td> | ||
| 101 | - <td>ND</td> | ||
| 102 | - </tr> | ||
| 103 | - </tbody></table> | ||
| 104 | - | ||
| 105 | -## 约束说明 | ||
| 106 | - | ||
| 107 | -无 | ||
| 108 | - | ||
| 109 | -## 调用说明 | ||
| 110 | - | ||
| 111 | -| 调用方式 | 调用样例 | 说明 | | ||
| 112 | -|--------------|------------------------------------------------------------------------|----------------------------------------------------------------| | ||
| 113 | -| aclnn调用 | [test_aclnn_modulatebackward](./examples/test_aclnn_modulatebackward.cpp) | 通过[aclnnModulateBackward](../../vfusion/modulate_grad/docs/aclnnModulateBackward.md)接口方式调用ModulateGrad算子。 | | ||
op_list需同步删除