Closed
[Documentation|文档反馈]: NormRopeConcat 归一化公式的求和范围错误 #6206
KaranocaVeAdd on Oct 15Closed at 24 days ago
Oct 15 Associated pull request
周云飞
Oct 15 Comments:
Oct 15 Comments:
感谢您提供详细的公式对照和验证记录。对于最后一维长度为 D、采用从 0 开始索引的输入,LayerNorm 均值、方差及 RMS 均方公式都应对 i=0..D-1 求和,分母保持为 D。写成 i=0..D 会包含 D+1 项;例如 D=8 时,会引用超出有效下标范围的第 9 项,可能导致按文档编写的参考实现出现越界访问或计算偏差。
按您报告的文档内容,修正范围应为 posembedding/norm_rope_concat/README.md 和 posembedding/norm_rope_concat/docs/aclnnNormRopeConcat.md 中各三处公式,共六处。将求和上界统一改为 D-1、保持分母及其他公式项不变,是合适的文档修正方向,不涉及算子行为调整。
您提供的检查记录表明,两份文档的补丁应用检查及适用的 pre-commit 检查均已通过;这些结果限于所述文档检查范围,不代表算子运行验证。


游震
Oct 15 Comments:
Oct 15 Comments:
/assign @KaranocaVe


Oct 15 Assign KaranocaVe as responsible person
Oct 16 Modify description of issue
24 days ago Close issue
24 days ago Added label: resolved
[Documentation|文档反馈]: NormRopeConcat 归一化公式的求和范围错误
现象
NormRopeConcat 的 README 与 ACLNN 文档将 LayerNorm 均值、方差及 RMS 均方公式中的求和范围写为
i=0..D,但分母为 D。输入向量最后一维长度为 D,有效下标范围应为0..D-1。证据
posembedding/norm_rope_concat/op_host/norm_rope_concat_tiling.cpp从 Query 的 DIM_DIM 读取headDim_,设置normDim_ = headDim_,并设置归约缩放scale_ = 1 / float(headDim_)。posembedding/norm_rope_concat/op_kernel/norm_rope_concat.h的DoSum以normDim_作为归约长度;LayerNorm 均值/方差及 RMS 计算均调用该归约。影响与修复
例如
D=8时,文档公式描述 9 个求和项却除以 8;实现只归约 8 个维度。调用方按公式构造参考实现时会多计最后一项。补丁将两份文档的三处求和上界改为D-1,不改算子行为。Validation
验证记录
补丁与实现对照
headDim个元素归约,缩放因子为1 / headDim。D=8时,修正后的公式包含 8 项,与实现一致;原公式包含 9 项。格式与静态检查
pre-commit 4.6.2:在cann/ops-transformer最新master基线上,对posembedding/norm_rope_concat/README.md和posembedding/norm_rope_concat/docs/aclnnNormRopeConcat.md运行pre-commit run --files ...。结论:LayerNorm 均值/方差和 RMS 均方公式的下标范围与算子实际归约维度一致。
关联 PR: https://gitcode.com/cann/ops-transformer/merge_requests/13921