Merged
fix(rms_norm_grad_quant): validate regbase ACLNN dtypes #14322
fix(rms_norm_grad_quant): validate regbase ACLNN dtypes #14322
Merged
raoliang_sacAdd on 10 days ago
raoliang_sac
raoliang_sacCollaborators
10 days ago

描述

修复 RmsNormGradQuant 在 regbase 产品上缺少 ACLNN dtype 前置校验的问题,使不支持的类型及类型组合在 GetWorkspaceSize 阶段返回 ACLNN_ERR_PARAM_INVALID (161002)。

生产代码逐文件说明

norm/rms_norm_grad_quant/op_api/aclnn_rms_norm_grad_quant.cpp

  • 原问题:入口只检查必选指针,未检查 dtype。非法类型进入 L0 选型后以空结果返回,最终被包装成内部错误 561103;gamma 为空时还会在类型校验前成功返回。
  • 主线复现:基于官方 master b4db407b054ae8efa9808bd34f2f2974b2360797 构建并安装基线包,在 Ascend 950PR 上通过 TTK 实测。取 dy=x=UINT8 [2,64],rstd=FP32 [2],gamma=FP16 [64],scalesX=FP32 [1],offsetX=nullptr,dx=INT8 [2,64],dgamma=FP16 [64],quantMode=static,实际返回 561103。日志定位为 L0 SelectBin/任务构建失败,不是本例的 Contiguous 阶段。
  • 修改方式:在必选指针检查之后、空 gamma 早退之前,用仓库现有 IsRegbase() 隔离类型校验。检查 dy/x 同型、rstd/dgamma 为 FP32、gamma/scalesX 为 FP32 或 dy 同型、非空 offsetX 为 INT32、dx 为 INT8/HIFLOAT8。合法集合与现有 OpDef 的 18 种组合完全相等。首个非法参数使用正式 EZ0019 上报参数名及实际/期望类型,返回 161002。
  • 修改结果:20 条实机非法类型/类型组合用例均返回 161002。21 条合法用例均通过,修改前后 116 份输入和 42 份输出 dump 逐字节一致。只增加 dtype 校验,不改变 shape/quantMode 规则、数学计算或 kernel;未带入此前未合入的空 Tensor shape 校验补丁。

共用代码修改与非 regbase 产品兼容性(人工审核重点)

  • 共用文件仅上述 API 文件。新增的两个静态函数只能由 IsRegbase() 为真时调用;非 regbase 不读取新增校验所需的 tensor dtype,不增加拒绝条件。原有 executor 创建、必选指针检查、空 gamma 处理、Contiguous、L0 调度、ViewCopy 与返回路径保持原样。
  • 新增 <initializer_list> 和既有 aclnn_util.h 头文件依赖;不修改公共 helper、宏、接口签名、注册、构建配置或非 regbase 专用源码。类型列表是函数调用期间的局部只读对象,未引入共享可变状态。
  • 实际兼容性证据:保留原有 22 条 API UT;新增 ASCEND910B 平台桩的空 gamma/非法 dtype 用例,要求仍成功且 workspace=0。该兼容用例及全部 88 条 API UT 已通过;Ascend 950/910B 的定向 package、正常安装检查及各 88 条 API UT 全部通过。NPU 数值验证仅覆盖 Ascend 950PR,未声称 Ascend 350/960 或非 regbase 真机通过;这些 regbase 注册共用相同 OpDef 类型表。

关联的Issue

Fixes #8105
https://gitcode.com/cann/ops-nn/issues/8105

测试

  • 主线基线:定向 package 构建/标准安装/部署内容核对通过,原有 API UT 22/22;TTK 3 条 UINT8 负例复现 561103,合法用例 21/21。
  • 修复实机:TTK ACLNN 正向 21/21,负向 20/20 返回预期 161002;负向 TTK 显示执行失败符合预期,单独按真实 API 返回值判定。
  • API UT 88/88(原有 22 + 新增 66)通过,覆盖 36 条合法组合/offset、逐参数非法类型、类型关系、空 Tensor dtype、必选指针优先及非 regbase 兼容。单算子 op_api 行覆盖率 93.4%(85/91)、函数覆盖率 87.5%(7/8)。
  • 正式错误上报:在真实 TTK 运行时 context 中逐例读取 ErrorManager,20/20 负例都恰有 1 条 EZ0019,参数名、实际类型和期望类型字段正确;UT 不依赖设备 context。
  • 源码仓增加一个 ACLNN CSV,10 条小 shape 冒烟,均为已执行正向套件的精确子集;复现脚本、日志与完整负例保留在任务目录,不进入代码仓。
  • TTK 固定任务目录版本 e36bc84b6c78211216b279234853c57a9c8afd30,golden 使用算子现有 tests/assets/golden.py,未修改。所有 TTK 显式 --pc=1,构建不超过 8 并行。
  • 本地 CI:/workspace/CI-skills/ci_local_check.sh 全部通过(pre-commit、隔离 OAT、示例完整性、Ascend 950/910B 定向 package/正常安装/API UT 各 88 条)。受测提交 144f736760234b34796eb415f77593f71bc6d532;基于 fetch 后的主线 57e0ab151a754d09a824aa72df50ad23f8544f31,PR 相对主线仅一个提交。rebase 前后本算子内容完全一致。线上 CI 单独触发并跟踪,不把本地结果表述为线上通过。

文档更新

无。现有接口文档已要求非法 dtype 返回 161002,本次使实现符合该约定。

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for raoliang_sac's contribution.)
raoliang_sacraoliang_sacCollaborators
10 days ago Created pull request, commit e3b0bfd2
raoliang_sacraoliang_sacCollaborators
10 days ago Associated issue: [Bug-Report|缺陷反馈]: aclnnRmsNormGradQuant 不支持的 dtype 返回 561103(资料要求 161002,实测 561103)
atomgit-bot
atomgit-bot
10 days ago Comments:

变更摘要

本 PR 修复 RmsNormGradQuant 在 regbase 产品上缺少 ACLNN dtype 前置校验的问题:在 aclnnRmsNormGradQuantGetWorkspaceSize 入口增加类型合法性判断,使不支持的数据类型及类型组合在 GetWorkspaceSize 阶段直接返回 ACLNN_ERR_PARAM_INVALID (161002),而不再进入 L0 选型后以内部错误 561103 返回。校验仅在 IsRegbase() 为真时生效,非 regbase 产品的原有行为保持不变。同时补充了参数化的 ACLNN dtype 单元测试。

主要改动

  • 新增单张量 dtype 校验函数: 在 aclnn_rms_norm_grad_quant.cpp 中新增静态函数 CheckTensorDtype,用 std::initializer_list<op::DataType> 表示支持类型集合,非法时通过 OP_LOGE_FOR_INVALID_DTYPE 上报算子名、参数名、实际类型与期望类型。
  • 新增整体类型关系校验: 新增静态函数 CheckDtypeValid,约定 dy 与 x 同型、rstd 与 dgammaOut 为 FP32、gamma 与 scalesX 为 FP32 或与 dy 同型、非空 offsetXOptional 为 INT32、dxOut 为 INT8 或 HIFLOAT8。
  • 入口插入校验并隔离产品形态: 在 aclnnRmsNormGradQuantGetWorkspaceSize 中于 CheckNotNull 之后、空 gamma 早退之前调用该校验,由 Ops::NN::AclnnUtil::IsRegbase() 包裹,失败返回 ACLNN_ERR_PARAM_INVALID;同时新增 <initializer_list> 与 aclnn_util.h 头文件依赖。
  • 新增参数化 ACLNN dtype 单元测试: 在 test_aclnn_rms_norm_grad_quant.cpp 中新增 RmsNormGradQuantDtypeTest 与 MakeDtypeCases,覆盖各参数非法类型、类型不匹配组合、issue 8105 的 UINT8 场景、OpDef 合法输入组合与输出/offset 形式、空 Tensor 与空 gamma、必选指针优先级,以及 ASCEND910B 保持原行为的兼容用例,并通过 op::SocVersionManager 切换平台。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
10 days ago Comments:

代码审查

✅ 未发现问题


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
10 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
10 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
norm ✅ 陈展熹, 陈琦 (2/2) ✅ 陈展熹 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

raoliang_sac, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
CANN-robotCANN-robotCollaborators
10 days ago Set zengjuan,u010470851,chaotang233,kevin_huang1234,crystalhu,yangyang016,fanqirui,wangrui_,renruhai,su-yueming,zhajianqing123,yourealize,chenqi317,wang-xing001,liubo75,tangweiwei2,chenxingyu18,liujie12345678,east_yang,pingchuantang,Chen_HaoWen,qianzehong as approver
6 event messages are collapsed here。 See more
raoliang_sacraoliang_sacCollaborators
10 days ago Modify description of pull request
raoliang_sac
raoliang_sacCollaborators
10 days ago Comments:

compile

likedislike
raoliang_sacraoliang_sacCollaborators
10 days ago Pre merge succeeded (commit_id: 7dbe0c7216fdbec8f7f9336071fb4a34265dc264)
CANN-robot
CANN-robotCollaborators
10 days ago Comments:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robotCollaborators
10 days ago Added label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
10 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
10 days ago Added label: ci-pipeline-passed
yuning_chen
yuning_chenCollaborators
10 days ago Comments:

您好,pr合入已准备就绪,请尽快联系committer进行检视,谢谢!
@u010470851 @Chen_HaoWen @qianzehong @fanqirui @pingchuantang @zhajianqing123 @liujie12345678

likedislike
chenqi317
chenqi317Collaborators
9 days ago Comments:

/lgtm

likedislike
qianzehong
qianzehongCollaborators
5 days ago Comments:

@HPTG1-Agent review这个pr

likedislike
HPTG1-Agent
HPTG1-Agent
5 days ago Comments:

已派发给 Worker,检视 PR #14322 的代码改动与潜在问题。

likedislike
HPTG1-Agent
HPTG1-Agent5 days agoStart code review1
norm/rms_norm_grad_quant/tests/ut/op_api/test_aclnn_rms_norm_grad_quant.cpp
@@ -560,0 +563,4 @@
563+ 
564+namespace {
565+enum TensorIndex : size_t { DY, X, RSTD, GAMMA, SCALES, OFFSET, DX, DGAMMA, TENSOR_COUNT };
566+constexpr std::array<const char*, TENSOR_COUNT> TENSOR_NAMES = {"dy", "x", "rstd", "gamma",
HPTG1-Agent
HPTG1-Agent5 days agoComments:

AI 辅助检视|[STYLE-1.4] 非阻塞规范建议:规则将数组排除在全大写常量的命名特例之外,这里的 namespace 域 TENSOR_NAMES 建议改为 g_tensorNames 并同步引用。仅涉及测试命名,不影响功能。

likedislike
HPTG1-Agent
HPTG1-Agent5 days agoStart code review1
norm/rms_norm_grad_quant/tests/ut/op_api/test_aclnn_rms_norm_grad_quant.cpp
@@ -560,0 +570,4 @@
570+ std::string name;
571+ std::array<aclDataType, TENSOR_COUNT> dtypes = {ACL_FLOAT16, ACL_FLOAT16, ACL_FLOAT, ACL_FLOAT,
572+ ACL_FLOAT, ACL_INT32, ACL_INT8, ACL_FLOAT};
573+ int64_t rows = 2;
HPTG1-Agent
HPTG1-Agent5 days agoComments:

AI 辅助检视|[GEN-4.2] 非阻塞可维护性建议:默认测试尺寸 2、64 在这里及空张量对照的非空维度中重复出现,建议提取为具名 constexpr(如 DEFAULT_TEST_ROWS / DEFAULT_TEST_COLS)并复用,避免后续只改一处。这不是功能性缺陷。

likedislike
HPTG1-Agent
HPTG1-Agent5 days agoStart code review1
norm/rms_norm_grad_quant/tests/ut/op_api/test_aclnn_rms_norm_grad_quant.cpp
@@ -560,0 +593,4 @@
593+ }
594+ for (auto index : {GAMMA, SCALES}) {
595+ DtypeCase param{"fp32_dy_mismatched_" + std::string(TENSOR_NAMES[index])};
596+ param.dtypes[DY] = param.dtypes[X] = ACL_FLOAT;
HPTG1-Agent
HPTG1-Agent5 days agoComments:

AI 辅助检视|[STYLE-2.3] 非阻塞规范建议:请将 param.dtypes[DY] 和 param.dtypes[X] 的链式赋值拆成两行独立语句,下面 UINT8 用例的同类赋值也一并处理,以符合每行一个变量赋值的规则。仅涉及测试排版,不影响功能。

likedislike
HPTG1-Agent
HPTG1-Agent
5 days ago Comments:

AI 辅助检视结论

基于 144f736760234b34796eb415f77593f71bc6d532,未发现本次改动引入的功能性缺陷或阻塞合入问题;已在新增 UT 的对应行留下 3 条非阻塞规范建议,不涉及生产逻辑修改。

已核对必选空指针优先级、Regbase 隔离、可选 offset 短路、空 gamma 早退、L0 派发及测试平台桩。静态枚举确认新校验允许的 18 种类型组合与 OpDef 精确一致;新增 CSV 10 行解析及类型契约核对通过。锁定 opbase 版本中的 dtype 上报宏与 EZ0019 注册参数顺序一致,未发现重复首报的静态证据。

验证边界:本次未重新编译、执行 API UT 或上板,不将作者提供的实机结果视为本次复测,也未验证部署时错误注册及首错唯一性。官方日落 API 清单获取返回 HTTP 403,此项仅是资料核验缺口,不是代码缺陷。

likedislike
HPTG1-Agent
HPTG1-Agent
5 days ago Comments:

This is by an automated agent, not a human.

PR #14322 检视完成,未发现本次改动引入的功能性缺陷或阻断问题;已发布 3 条非阻断行内规范建议及总评。

likedislike
fanzhaoyun001
fanzhaoyun0015 days agoStart code review1
norm/rms_norm_grad_quant/op_api/aclnn_rms_norm_grad_quant.cpp
@@ -8,7 +8,10 @@
88 * See LICENSE in the root of the software repository for the full text of the License.
99 */
1010 
11+#include <initializer_list>
12+ 
1113#include "aclnn/aclnn_base.h"
14+#include "aclnn_util.h"
1215#include "opdev/common_types.h"
1316#include "opdev/data_type_utils.h"
1417#include "opdev/format_utils.h"
@@ -65,6 +68,35 @@ static bool CheckNotNull(const aclTensor* dy, const aclTensor* x, const aclTenso
6568 return true;
6669}
6770 
71+static bool CheckTensorDtype(const aclTensor* tensor, const char* paramName,
fanzhaoyun001
fanzhaoyun0015 days agoComments:

[Info] 校验规则对齐——独立交叉验证结果(支持合入)

将 CheckDtypeValid 的 8 条规则与 def.cpp 的 18 种组合向量逐一核对:

参数 校验集合 def.cpp 18 组合实际值域 对齐
dy {FP16, BF16, FP32} dyDataType950 含全部三类 ✓
x =dy 型 各组合 dy/x 成对同型 ✓
rstd {FP32} 全 18 项 FP32 ✓
gamma {FP32, dy型} FP32 或与 dy 同型(组合 4/6/8/13/15 为 FP16、组合 3/7/9/16 为 BF16,均与各自 dy 匹配) ✓
scalesX {FP32, dy型} 同 gamma 模式 ✓
offsetX {INT32}(nullptr 豁免) 全 INT32 ✓
dxOut {INT8, HIFLOAT8} dxDataType950 仅两类 ✓
dgammaOut {FP32} 全 FP32 ✓

「合法集合与 OpDef 18 组合完全相等」声明成立——既不放松(非法组合必拒)也不收紧(18 种合法组合全放行)。插入位置正确:必选指针检查(:124)之后、空 gamma 早退之前——修复了「空 gamma 时非法 dtype 静默成功」的次级缺陷;IsRegbase 门控使非 regbase 零行为变化(910B 空用例 UT 锁定)。结构化 EZ0019 上报(参数名+实际/期望 dtype)与仓内 OP_LOGE_FOR_INVALID_DTYPE 范式一致。

验证声明核实:20/20 负例实机 161002 + ErrorManager 恰 1 条 EZ0019 逐例核验、88/88 UT、354 输入/250 输出逐字节一致的对照方法均属高水准。

likedislike
fanzhaoyun001
fanzhaoyun001
5 days ago Comments:

PR #14322 Code Review Report

Repo: cann/ops-nn | PR: https://gitcode.com/cann/ops-nn/pull/14322
Author: raoliang_sac | Branch: fix/rms-norm-grad-quant-dtype-8105 → master
Status: Open(ci-pipeline-passed,已获 lgtm)| Size: 3 files, +192
检视基准: merge ref 7dbe0c72

变更类型:Bug 修复 —— rms_norm_grad_quant regbase ACLNN dtype 前置校验(非法类型 561103→161002)。Quick 单遍检视 + OpDef 18 组合对齐核验。

1. Interface / Op Definition Review

[PASS] 使实现符合文档既有约定(非法 dtype 应返回 161002);接口/注册零变更。

2. Implementation Review

2.1 校验规则与 OpDef 对齐 [PASS - 8 参数逐项核验]

CheckDtypeValid 8 条规则与 def.cpp 的 18 组合向量逐项核对(详见行内意见表格):dy 三类、x=dy、rstd/dgammaOut FP32、gamma/scalesX∈{FP32,dy型}、offsetX INT32(nullptr 豁免)、dxOut∈{INT8,HIFLOAT8}——与 18 组合的值域完全相等,不放松不收紧。

2.2 插入位置与隔离 [PASS]

必选指针(:124)之后、空 gamma 早退之前——修复「空 gamma 时非法 dtype 静默成功」次级缺陷;IsRegbase 门控,非 regbase 零变化(910B 空用例 UT 锁定);结构化 EZ0019 上报与仓内范式一致。

3. Test Review

[PASS] 88/88(新增 66 覆盖逐参数非法/组合不匹配/issue 8105 UINT8 场景/合法 36 组合/空 Tensor/指针优先级/910B 兼容);实机 20/20 负例 161002 + ErrorManager 恰 1 条 EZ0019 逐例核验;21/21 合法用例 354 输入/250 输出逐字节一致——对照方法高水准。

4. CI Status

Check Status
ci-pipeline passed

5. Summary

Dimension Rating Notes
规则对齐 PASS 18 组合值域精确相等
插入位置 PASS 修复空 gamma 次级缺陷
验证 PASS 实机 + ErrorManager + 逐字节对照

Must-Fix Before Merge

(无)

结论:规则精确对齐、隔离完备、验证高水准,检视通过,可合入。

likedislike
raoliang_sac
raoliang_sacCollaborators
4 days ago Comments:

compile

likedislike
raoliang_sacraoliang_sacCollaborators
4 days ago Pre merge succeeded (commit_id: 9ab6f0af7f6a57e1965129f3b29076b35514847c)
CANN-robot
CANN-robotCollaborators
4 days ago Comments:
🚀 CI 流水线已启动
📋 执行详情: 点击查看流水线
likedislike
CANN-robotCANN-robotCollaborators
4 days ago Removed label: ci-pipeline-passed
CANN-robotCANN-robotCollaborators
4 days ago Added label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
4 days ago Removed label: ci-pipeline-running
CANN-robotCANN-robotCollaborators
4 days ago Added label: ci-pipeline-passed
陈展熹
陈展熹Collaborators
4 days ago Comments:

/approve

likedislike
CANN-robotCANN-robotCollaborators
4 days ago Added label: lgtmapproved
陈展熹陈展熹Collaborators
4 days ago Resolved final issue
CANN-robotCANN-robotCollaborators
4 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
4 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
4 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike