Closed
[Documentation|文档反馈]: aclnnRmsNormQuant A2 dtype 表缺 INT32 输出(实现已支持,含末维 1/8 打包约束) #7405
liuhanwen8Add on  26 days agoClosed at  17 days ago
liuhanwen8
liuhanwen8
26 days ago Create

现象

实现侧对 Atlas A2 支持 y=INT32 输出:yType == DT_INT32 时按 INT4 打包(末维 /= 8),
且 CheckShapeDim 要求 x 末维 == y 末维 * 8。实测 x=[3,40]、y=int32[3,5] 两段返回 0;
y=int32[3,4] 返回 161002。但资料 A2 dtype 表只列 INT8/INT4,INT32 与「末维 1/8」约束只写在 950 段。

资料位置 内容
A2/A3 dtype 表 y:INT8、INT4(无 INT32)
950 约束段 当 y 的数据类型为 INT32 时,y 的最后一维必须是 x 最后一维的 1/8

期望

A2 段补齐 y=INT32 及其形状约束,或明确声明 A2 不支持 INT32 输出。

环境

  • 资料:norm/rms_norm_quant/docs/aclnnRmsNormQuant.md
  • 实现:norm/rms_norm_quant/op_host/op_api/aclnn_rms_norm_quant.cpp(Int42Int32PackedTensor)
  • CANN:9.2.0;硬件:Atlas A2(Ascend 910B2)
  • 仓库:cann/ops-nn @ 711a4f5dda0d

复现步骤

  1. 在仓库根执行:grep -n 'INT32' norm/rms_norm_quant/docs/aclnnRmsNormQuant.md | head,确认 A2 表无 INT32、950 段有 INT32 约束;
  2. 保存断言脚本为 check_doc.py,执行 python3 check_doc.py(在 ops-nn 仓根);
  3. 预期退出码 1 且打印 [DEFECT];
  4. C++ 侧对照:x=[3,40]、y=int32[3,5] 两段返回 0(探针见同名缺陷 issue 的场景 yint32)。

复现脚本

import sys
p = "norm/rms_norm_quant/docs/aclnnRmsNormQuant.md"
t = open(p, encoding="utf-8").read()
a2 = t.split('id12')[1].split('end id12')[0] if 'id12' in t else ''
print("[INFO] A2/A3 dtype 表含 INT32:%s" % ("INT32" in a2))
print("[INFO] 全年文档出现『1/8』约束:%s" % ("1/8" in t))
if ("INT32" not in a2) and ("1/8" in t):
    print("[DEFECT] A2 表缺 INT32 输出,而实现与 950 段都按 INT32 打包处理")
    sys.exit(1)
print("[OK] 无需修改")
sys.exit(0)

实测输出:

[INFO] A2/A3 dtype 表含 INT32:False
[INFO] 全年文档出现『1/8』约束:True
[DEFECT] A2 表缺 INT32 输出,而实现与 950 段都按 INT32 打包处理

影响

A2 用户按资料不会使用 INT32 打包输出(它正是 A2 上唯一可用的 INT4 量化输出通路);反过来,
按 950 段写法传 INT32 的用户又无法在 A2 段确认这是受支持形态。

建议

在 A2/A3 dtype 表补一行 INT32,并把「末维 = x 末维的 1/8」约束从 950 段上移到通用约束。

likedislike
liuhanwen8liuhanwen8
26 days ago Added label: bug-report
yuning_chen
yuning_chenCollaborators
26 days ago Comments:

初步分析

感谢反馈,我们已开始核对这个问题。

现象理解:文档反馈;aclnnRmsNormQuant A2 dtype 表缺 INT32 输出(实现已支持,含末维 1/8 打包约束)。
当前判断:从描述看,这是资料/注释与实现口径不一致类文档反馈「aclnnRmsNormQuant A2 dtype 表缺 INT32 输出(实现已支持,含末维 1/8 打包约束)」。需要对照接口文档、头文件注释与实现/实测结果核对哪一侧需修正。以上为初步判断,待复现确认,不能当成已确认根因。
涉及范围:aclnnRmsNormQuant、aclnn_rms_norm_quant
下一步:我们会先核对文档声明与实现/测试结果是否一致,再决定改资料还是改代码。

likedislike
yuning_chenyuning_chenCollaborators
25 days ago Assign liujie12345678 as responsible person
yuning_chen
yuning_chenCollaborators
25 days ago Comments:

您好,问题已收到,当前 @liujie12345678 正在处理中。

likedislike
liujie12345678liujie12345678Collaborators
25 days ago Assign gitee-duhuiping as responsible person
liujie12345678liujie12345678Collaborators
25 days ago Removed responsible person liujie12345678
CANN-robotCANN-robotCollaborators
17 days ago Close issue
CANN-robotCANN-robotCollaborators
17 days ago Added label: resolved
chenjiayi_
chenjiayi_Collaborators
11 days ago Comments:

补充说明本问题的修复结果:

结论:A2/A3 段已补 y=INT32 输出及末维 1/8 的打包约束,与实现和 950 段表述对齐。

修复内容(文件/函数):

  • norm/rms_norm_quant/docs/aclnnRmsNormQuant.md:184(npu="A3,910b" 段):出参 y 的说明补充 INT32 输出,并写明 INT4 量化结果通过 INT32 承载、此时 y 的最后一维为 x 最后一维的 1/8。
  • norm/rms_norm_quant/docs/aclnnRmsNormQuant_en.md:同步修改英文表述。
  • 同 MR 一并调整实现:Int42Int32PackedTensor 在 yType == DT_INT4 && y->GetDataType() == DT_INT32 时执行(op_host/op_api/aclnn_rms_norm_quant.cpp:438);x/y 前置维一致性校验从 regbase 扩展到所有平台;scale 维度/长度相关报错改为 OP_LOGE_FOR_INVALID_SHAPEDIM 等结构化错误码;A2/A3 路径在 CheckParams 通过后遇空 Tensor 直接返回 workspaceSize=0 与 ACLNN_SUCCESS。
  • 空 Tensor 约束从 950 段扩展到全部平台(约束段 id16)。

验证:

  • MR 中的 UT 已同步替换为 scale 参数越界、x/y 前置维存在差异、空 Tensor 成功返回等新场景;
  • 文档核对:A2/A3 段的 INT32 与 1/8 约束与 Int42Int32PackedTensor 的实现条件一致。

该 issue 已随修复合入关闭。MR 链接:PR#13356

如果还有后续需要,请重新提 issue。

likedislike
chenjiayi_chenjiayi_Collaborators
9 days ago Assign chenjiayi_ as responsible person
CANN-robotCANN-robotCollaborators
9 days ago changed custom state from 进行中 to 已完成
chenjiayi_chenjiayi_Collaborators
1 day ago Removed responsible person chenjiayi_