Closed
[Documentation|文档反馈]: NormRopeConcat 归一化公式的求和范围错误 #6206
KaranocaVeAdd on  Oct 15Closed at  24 days ago
KaranocaVe
KaranocaVe
Oct 15 Create

[Documentation|文档反馈]: NormRopeConcat 归一化公式的求和范围错误

现象

NormRopeConcat 的 README 与 ACLNN 文档将 LayerNorm 均值、方差及 RMS 均方公式中的求和范围写为 i=0..D,但分母为 D。输入向量最后一维长度为 D,有效下标范围应为 0..D-1。

证据

  • posembedding/norm_rope_concat/op_host/norm_rope_concat_tiling.cpp 从 Query 的 DIM_DIM 读取 headDim_,设置 normDim_ = headDim_,并设置归约缩放 scale_ = 1 / float(headDim_)。
  • posembedding/norm_rope_concat/op_kernel/norm_rope_concat.h 的 DoSum 以 normDim_ 作为归约长度;LayerNorm 均值/方差及 RMS 计算均调用该归约。
  • README 与 ACLNN 文档各有三处相关公式,均将求和上界写成 D。

影响与修复

例如 D=8 时,文档公式描述 9 个求和项却除以 8;实现只归约 8 个维度。调用方按公式构造参考实现时会多计最后一项。补丁将两份文档的三处求和上界改为 D-1,不改算子行为。

Validation

验证记录

补丁与实现对照

  • 补丁应用检查:通过;README 和 ACLNN 文档中的六处公式均可应用。
  • 对照 NormRopeConcat tiling 与 kernel 的归约长度:两者均按 headDim 个元素归约,缩放因子为 1 / headDim。
  • D=8 时,修正后的公式包含 8 项,与实现一致;原公式包含 9 项。

格式与静态检查

  • pre-commit 4.6.2:在 cann/ops-transformer 最新 master 基线上,对 posembedding/norm_rope_concat/README.md 和 posembedding/norm_rope_concat/docs/aclnnNormRopeConcat.md 运行 pre-commit run --files ...。
  • 结果:所有适用 hooks 通过,包括 OAT;检查范围仅为这两份文档。

结论:LayerNorm 均值/方差和 RMS 均方公式的下标范围与算子实际归约维度一致。

关联 PR: https://gitcode.com/cann/ops-transformer/merge_requests/13921

likedislike
KaranocaVeKaranocaVe
Oct 15 Associated pull request
周云飞
周云飞Collaborators
Oct 15 Comments:

感谢您提供详细的公式对照和验证记录。对于最后一维长度为 D、采用从 0 开始索引的输入,LayerNorm 均值、方差及 RMS 均方公式都应对 i=0..D-1 求和,分母保持为 D。写成 i=0..D 会包含 D+1 项;例如 D=8 时,会引用超出有效下标范围的第 9 项,可能导致按文档编写的参考实现出现越界访问或计算偏差。

按您报告的文档内容,修正范围应为 posembedding/norm_rope_concat/README.md 和 posembedding/norm_rope_concat/docs/aclnnNormRopeConcat.md 中各三处公式,共六处。将求和上界统一改为 D-1、保持分母及其他公式项不变,是合适的文档修正方向,不涉及算子行为调整。

您提供的检查记录表明,两份文档的补丁应用检查及适用的 pre-commit 检查均已通过;这些结果限于所述文档检查范围,不代表算子运行验证。

likedislike
游震Collaborators
Oct 15 Comments:

/assign @KaranocaVe

likedislike
CANN-robotCANN-robotCollaborators
Oct 15 Assign KaranocaVe as responsible person
KaranocaVeKaranocaVe
Oct 16 Modify description of issue
CANN-robotCANN-robotCollaborators
24 days ago Close issue
CANN-robotCANN-robotCollaborators
24 days ago Added label: resolved
周云飞
周云飞Collaborators
4 days ago Comments:

已在 PR #13921 中修正文档:将 NormRopeConcat README 和 ACLNN 文档中 LayerNorm 均值、方差及 RMS 均方公式的求和范围由 i=0..D 改为 i=0..D-1,与 headDim 的 D 个元素一致。此次仅修改文档,未改变算子实现。

关联 PR:PR #13921

likedislike