Merged
feat(quant): dequant_bias 支持非连续 Tensor(手写 aclnn 连续化+回写,修复 #8693) #14378
feat(quant): dequant_bias 支持非连续 Tensor(手写 aclnn 连续化+回写,修复 #8693) #14378
Merged
fengjiawei1Add on 8 days ago
fengjiawei1
fengjiawei1Collaborators
8 days ago

描述

修复 #8693:aclnnDequantBias 对非连续出参"该拒未拒且静默错值"。根因:自动生成的 aclnn 层只校验 dtype/shape,缺"连续化 + 按 view 回写"两个环节(#8663 生成模板层缺口,7/7 无手写 op_api 的算子同型失败),kernel 按连续行主序寻址——非连续 out 一半位置留旧值且两段返回 0。

修复方案(补齐缺失环节,参照 Hardswish Contiguous/ViewCopy 固定写法与 ConfidenceHeadFused 的 l0op 封装样板):

  1. 新增 op_host/op_api/ 手写 aclnn 四件套(+269 行):
    • 参数校验(161001 空指针 / 161002 dtype,对齐资料错误码表)
    • l0op::Contiguous:四输入连续化(activate_scale/bias 可空口判空跳过)
    • l0op::DequantBias:l0op 封装经 ADD_TO_LAUNCHER_LIST_AICORE 调注册算子,透传 output_dtype 属性,输出 dtype 由 outputDtype(1=FLOAT16/27=BFLOAT16)推导
    • l0op::ViewCopy:按出参 stride 回写——#8663 认定缺失的环节在此补齐
    • 第二段 CommonOpExecutorRun
  2. CMakeLists:ACLNNTYPE aclnn -> aclnn_exclude(存在手写 op_api 时由其接管,func.cmake:729 约定)
  3. def.cpp 五口保留 AutoContiguous:管图模式通道(编译器插转换节点,Eltwise 先例;dequant_bias 有 op_graph/dequant_bias_proto.h 图通道);aclnn 通道由手写层覆盖——资料 √ 对两条通道均成立
  4. 资料中英文版非连续Tensor 列 ×→√(各 5 行)

先例:Hardswish(Contiguous/ViewCopy 固定写法,注释原文"out可能是非连续的tensor")、ConfidenceHeadFused(自定义算子+attr 的 l0op 封装)、ScatterDiv varRef(输出侧 √)、DynamicQuantV2(输出行 √)。

关联的Issue

https://gitcode.com/cann/ops-nn/issues/8693

测试

  • 手写四件套 g++ -fsyntax-only 通过(0 error;本地 CANN 9.2.0 头文件缺 DAV_5162 的既有环境限制除外,与改动无关)
  • 写法与 Hardswish/ConfidenceHeadFused 模板逐行对齐
  • pre-commit(clang-format/OAT)通过
  • 编译验证依赖 CI;#8693 复现脚本([40,256]/stride{512,2}/storage[40,512])待 910b/950 上板复跑——预期从「ret=0 且 5120/10240 未写」变为「按 stride 读回与基线逐元素一致」
  • 行为等价性:既有 aclnn ST 用例回归由 CI 覆盖;参数校验(161001/161002)与资料错误码表对齐

文档更新

docs/aclnnDequantBias.md、docs/aclnnDequantBias_en.md(非连续Tensor 列 ×→√,5 行×2)

类型标签

AI/Agent生成声明

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for fengjiawei1's contribution.)
fengjiawei1fengjiawei1Collaborators
8 days ago Created pull request, commit 18b6a938
fengjiawei1fengjiawei1Collaborators
8 days ago Associated issue: [Bug-Report|缺陷反馈]: 4 个自动生成接口的出参非连续全部静默错值(两段返回 0,输出只写一半),[Bug-Report|缺陷反馈]: aclnnDequantBias 对非连续出参该拒未拒(资料全标 ×,实测两段返回 0 且一半位置未写入)
atomgit-bot
atomgit-bot
8 days ago Comments:

变更摘要

本 PR 修复 aclnnDequantBias 对非连续 Tensor 的处理:此前算子资料标注五个输入输出参数均不支持非连续 Tensor,但生成层未做拒绝校验,kernel 的 CopyOutY 按连续行主序寻址会导致非连续出参静默写入错误值。改动选择“真正支持非连续”的方案,在 quant/dequant_bias/op_host/dequant_bias_def.cpp 中为各输入输出补充 .AutoContiguous() 声明,由框架将非连续 Tensor 透明转换为连续布局后再进入 kernel,并将输出回写到原布局;同时同步更新中英文资料中的非连续 Tensor 支持标注。

主要改动

  • 输入参数声明自动连续化: 在 dequant_bias_def.cpp 中为 x、weight_scale、activate_scale、bias 四个输入的定义链末尾各追加 .AutoContiguous(),使框架在入 kernel 前将非连续输入转换为连续 Tensor。
  • 输出参数声明自动连续化: 为输出 y 同样追加 .AutoContiguous(),配合框架回写,使非连续出参不再按连续行主序错位寻址,解决结果部分未写入、残留旧值的问题。
  • 配置链共享覆盖多平台: 上述 .AutoContiguous() 添加在顶层注册链上,因此随现有平台配置一并覆盖 ascend910b、ascend910_93、ascend950、ascend350 等注册平台,无需逐平台重复声明。
  • 文档支持性标注更新: docs/aclnnDequantBias.md 与 docs/aclnnDequantBias_en.md 中五个参数的非连续 Tensor 支持列由 × 改为 √,使资料与算子实际行为保持一致。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
8 days ago Comments:

代码审查

检视结论

变更文件覆盖确认

  • quant/dequant_bias/op_host/dequant_bias_def.cpp — 已逐 hunk 检视(32/41/50/59/68 五处 .AutoContiguous()),共上报 4 条发现。

发现统计

  • P0:0
  • P1:0
  • P2:2(出参 AutoContiguous 的写回有效性未经证据支撑,且与 arch35 的 y storage == [M,N] 校验存在冲突可能;代码契约改为「支持非连续」但资料未同步)
  • P3:2(kirin 独立参数链未同步 AutoContiguous,平台间行为分叉;无非连续出参用例,回归无覆盖)

总体风险判断
改动本身很小(纯 op-def 元数据),语法与仓内既有写法一致,风险集中在「语义是否真的成立」:本次修复完全依赖框架对出参做「连续化 + 回写」,而关联 issue #8663 的证据恰恰指向自动生成层缺少回写环节,且 dequant_bias 无手写 op_host/op_api/;PR 自身把上板验证推给 CI 且无本地结果。因此在合入前应先取得 910b/950 上按 stride 读回与基线一致的实际数据;若无法取得,建议改回「显式拒绝 + 资料保留 ×」,避免「返回 0 但一半未写」的静默错值继续存在。文档未同步与测试缺失两项应随本 PR 一并补齐。

类型 数量
🔴 阻塞 0
🟡 建议 2

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
8 days ago Added label: cann-cla/yes
94 messages are collapsed here。 See more
tang-lei01
tang-lei01Collaborators
5 days ago Comments:

/approve

likedislike
CANN-robotCANN-robotCollaborators
5 days ago Added label: approved
CANN-robotCANN-robotCollaborators
5 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
5 days ago Merged pull request
CANN-robot
CANN-robotCollaborators
5 days ago Comments:

Pull Request 已合并或已关闭。

If you want to solve this problem, you can click here to do it in the FAQs.

likedislike