已合并
fix(add_rms_norm_cast): correct doc formula to match kernel implementation #8689
liangyuhua创建于 17 天前
fix(add_rms_norm_cast): correct doc formula to match kernel implementation #8689
已合并
共 1 个文件变更+5-5
| @@ -29,15 +29,15 @@ | |||
| 29 | - 计算公式： | 29 | - 计算公式： |
| 30 | 30 | ||
| 31 | $$ | 31 | $$ |
| 32 | - x_i=x1_{i}+x2_{i} | 32 | + x_i=float(x1_{i})+float(x2_{i}) |
| 33 | $$ | 33 | $$ |
| 34 | 34 | ||
| 35 | $$ | 35 | $$ |
| 36 | - y2Out=\operatorname{RmsNorm}(x_i)=\frac{1}{\operatorname{Rms}(\mathbf{x})} * x_i *g_i, \quad \text { where } \operatorname{Rms}(\mathbf{x})=\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2+eps} | 36 | + y1Out=\operatorname{RmsNorm}(x_i)=\frac{1}{\operatorname{Rms}(\mathbf{x})} * x_i *g_i, \quad \text { where } \operatorname{Rms}(\mathbf{x})=\sqrt{\frac{1}{n} \sum_{i=1}^n x_i^2+eps} |
| 37 | $$ | 37 | $$ |
| 38 | 38 | ||
| 39 | $$ | 39 | $$ |
| 40 | - y1Out=float(y2Out) | 40 | + y2Out=cast(y1Out) |
| 41 | $$ | 41 | $$ |
| 42 | 42 | ||
| 43 | ## 函数原型 | 43 | ## 函数原型 |
| @@ -135,7 +135,7 @@ aclnnStatus aclnnAddRmsNormCast( | |||
| 135 | <tr> | 135 | <tr> |
| 136 | <td>y1Out（aclTensor*）</td> | 136 | <td>y1Out（aclTensor*）</td> |
| 137 | <td>输出</td> | 137 | <td>输出</td> |
| 138 | - <td>表示归一化后经过类型转换的输出数据。对应公式中的`y1Out`。</td> | 138 | + <td>表示归一化后的输出数据。对应公式中的`y1Out`。</td> |
| 139 | <td><ul><li>支持空Tensor。</li><li>shape、数据格式需要与入参`x1`保持一致。</li></ul></td> | 139 | <td><ul><li>支持空Tensor。</li><li>shape、数据格式需要与入参`x1`保持一致。</li></ul></td> |
| 140 | <td>FLOAT32</td> | 140 | <td>FLOAT32</td> |
| 141 | <td>ND</td> | 141 | <td>ND</td> |
| @@ -145,7 +145,7 @@ aclnnStatus aclnnAddRmsNormCast( | |||
| 145 | <tr> | 145 | <tr> |
| 146 | <td>y2Out（aclTensor*）</td> | 146 | <td>y2Out（aclTensor*）</td> |
| 147 | <td>输出</td> | 147 | <td>输出</td> |
| 148 | - <td>表示归一化后的输出数据。对应公式中的`y2Out`。</td> | 148 | + <td>表示归一化后经过类型转换的输出数据。对应公式中的`y2Out`。</td> |
| 149 | <td><ul><li>支持空Tensor。</li><li>shape、数据格式、数据类型均需要与入参`x1`保持一致。</li></ul></td> | 149 | <td><ul><li>支持空Tensor。</li><li>shape、数据格式、数据类型均需要与入参`x1`保持一致。</li></ul></td> |
| 150 | <td>FLOAT16、BFLOAT16</td> | 150 | <td>FLOAT16、BFLOAT16</td> |
| 151 | <td>ND</td> | 151 | <td>ND</td> |