Closed
[Bug-Report|缺陷反馈]: compressor 9202 动态 shape 下 tiling 读取方式判定漏加 9202 #7288
莫允扬Add on  6 days agoClosed at  6 days ago
莫允扬
莫允扬Collaborators
6 days ago Create

Describe the current behavior / 问题描述

算子:attention/compressor,文件 attention/compressor/op_kernel/compressor.cpp(master ec5717916)。

同一入口对 9202 的判定不一致:

  • arch92 kernel 的 include 与 KERNEL_TASK_TYPE_DEFAULT(KERNEL_TYPE_MIX_AIC_1_1) 都已覆盖 9202,
    即 9202 与 9201 一样走 arch92 实现;
  • 但「tiling 读取方式」这段的条件只写了 9201/3510:
    #if (defined(__NPU_ARCH__) && ((__NPU_ARCH__ == 9201) || (__NPU_ARCH__ == 3510)))
    
    9202 落到了 #else(arch22)分支。

由此 9202 走的是 GET_TILING_DATA_WITH_STRUCT,拿到的是本地(栈上)const CompressorTilingData*;
而 arch92 kernel(attention/compressor/op_kernel/arch92/compressor_kernel_arch92.h)的形参类型是
__tiling_data_ptr__ optiling::CompressorTilingData* __restrict,动态 shape 编译时该宏展开为 __gm__ const
(指向 GM 的 tiling 指针)。动态 shape 下必须使用 PTR 方式读取 tiling 才能与 __tiling_data_ptr__ 匹配,
9202 的 tiling 读取方式与 kernel 期望不一致,9202 动态 shape 路径不正确。

Environment Information / 环境信息

  • 昇腾硬件型号:Ascend950(arch35/3510),arch92 实现对应 9201/9202
  • CANN 版本:9.2.0
  • Python 版本:3.10

Steps to reproduce the issue / 重现步骤

  1. 取 master ec5717916,查看 attention/compressor/op_kernel/compressor.cpp 第 60-72 行的三段架构判定;
  2. 对比同一文件中 9202 在 include 与 KERNEL_TASK_TYPE_DEFAULT 的处理;
  3. 可见进入 tiling 获取阶段后 9202 不再命中 arch92 分支,落到 GET_TILING_DATA_WITH_STRUCT。

Describe the expected behavior / 预期结果

9202 与 9201 走同一套逻辑:静态 shape(CONST_TILING)用 GET_TILING_DATA_WITH_STRUCT,
动态 shape 用 GET_TILING_DATA_PTR_WITH_STRUCT,使 tiling 指针类型与 arch92 kernel 形参
__tiling_data_ptr__ 匹配。

条件分支与 kernel 形参摘录见上文「问题描述」中的代码片段。

Special notes for this issue/备注

修复 PR:https://gitcode.com/cann/ops-transformer/merge_requests/15567
(compressor.cpp 的 tiling 读取条件补上 9202,仅此一处改动。)

likedislike
周云飞
周云飞Collaborators
6 days ago Comments:

/assign @myy268

likedislike
CANN-robotCANN-robotCollaborators
6 days ago Assign myy268 as responsible person
周云飞
周云飞Collaborators
6 days ago Comments:

问题说明

compressor.cpp 的 tiling 读取条件确实漏了 9202,与已覆盖 9202 的 arch92 实现选择、任务类型判定不一致。arch92 构造函数使用 __tiling_data_ptr__ 指针;按报告中的动态 shape 宏展开,回退到本地结构体取址会造成指针地址空间不匹配。当前证据尚未包含宏定义及编译验证。

处理建议

可在该条件中补上 9202,使其与 9201 一致:CONST_TILING 下保留 GET_TILING_DATA_WITH_STRUCT,动态 shape 使用 GET_TILING_DATA_PTR_WITH_STRUCT。重点验证 9202 两种 shape 模式的编译和执行,并保持 9201、3510 原有分支不变。已提供关联 PR #15567,其实际改动和合入状态尚未确认。

likedislike
CANN-robotCANN-robotCollaborators
6 days ago Close issue
CANN-robotCANN-robotCollaborators
6 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
6 days ago Added label: resolved
周云飞
周云飞Collaborators
6 days ago Comments:

关闭总结

已合入 PR #15567,在 compressor 的 tiling 读取条件中补充了 9202 架构判定,使其与 9201 共用静态 shape 的 CONST_TILING 和动态 shape 的 PTR 读取逻辑,避免动态 shape 下使用不匹配的 tiling 指针类型。

关联 PR:PR #15567

likedislike