已开启
docs: describe RMSNorm side output as inverse root mean square #138
tianjun创建于 22 天前
docs: describe RMSNorm side output as inverse root mean square #138
已开启
共 1 个文件变更+4-1
| @@ -45,7 +45,10 @@ y, rstd = rms_norm(x, gamma, epsilon=1e-6) | |||
| 45 | | `gamma` | — | 缩放权重，与x同数据类型 | | 45 | | `gamma` | — | 缩放权重，与x同数据类型 | |
| 46 | | `epsilon` | 1e-6 | 分母稳定项 | | 46 | | `epsilon` | 1e-6 | 分母稳定项 | |
| 47 | | 返回值 `y` | — | 归一化结果，与x形状和数据类型一致 | | 47 | | 返回值 `y` | — | 归一化结果，与x形状和数据类型一致 | |
| 48 | -| 返回值 `rstd` | — | 标准差倒数，数据类型为fp32 | | 48 | +| 返回值 `rstd` | — | 稳定化均方根倒数 `1 / sqrt(mean(x^2) + epsilon)`，数据类型为fp32 | |
| 49 | + | ||
| 50 | +`rstd` 按均方根计算，不对 x 减去均值，因此不能解释为中心化标准差的倒数。例如一行输入 `[2, 2]` 且 `epsilon=1e-6` 时，`rstd` 约为 0.5；若用中心化方差计算，结果约为 1000，二者不同。 | ||
| 51 | + | ||
| 49 | 52 | ||
| 50 | ## 精度测试 | 53 | ## 精度测试 |
| 51 | 54 | ||