Closed
[Requirement|需求建议]: Transpose 新增 2D perm=[1,0] 的 TransDataTo5HD 全 tile 转置模板(TilingKey 10011) #4815
yefeicodingAdd on  2 days agoClosed at  2 days ago
yefeicoding
yefeicodingCollaborators
2 days ago Create

Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.

一、背景信息 (必填)

Transpose 算子在 arch35 上对 2D 且 perm=[1,0] 的输入没有专用模板:RemoveAxis/MergeAxis 之后该形态会并入 NDDMA CUT / GATHER / SMALL_SHAPE 等通用路径,通用路径的启动参数推导与 tile 几何在多核小 tile 场景下不够贴合,存在优化空间。

本需求为该形态新增 TilingKey 10011 TRANSPOSE_2D_TRANSDATA:按 tile 搬入 UB 后用 TransDataTo5HD 硬件指令完成 16x16 块转置,再按列搬出,MTE2/V/MTE3 组成三流水。

二、价值/作用 (必填)

  • 2D perm=[1,0] 是 Transpose 的高频形态,专用模板可直接省掉通用路径的 NDDMA 地址推导与多策略选型开销。
  • 转置由 TransDataTo5HD 完成,搬运侧只做带 padding 的 DataCopyPad,计算与搬运可重叠,提升该形态下的流水效率。
  • tile 几何随 m/n 自适应(含窄列场景的行方向切分与多核均衡),避免小 m 时 tile 退化成 4KB 小块。

三、设计方案 (必填)

3.1 使能方式(涉及哪些框架:如Aclnn直调、Pytorch训练等)

算子内部 Tiling/Kernel 路由,不新增对外接口与参数:满足准入条件时由 host tiling 直接下发 TilingKey 10011,否则回落原有主流程。

3.2 总体设计

新增 TilingKey 10011 TRANSPOSE_2D_TRANSDATA(SplitMode 枚举),并新增精简 TilingData:

BEGIN_TILING_DATA_DEF(Transpose2DTilingData)
  m, n, coreNum, tileM, tileN   // 均为 int32_t
REGISTER_TILING_DATA_CLASS(Transpose_10011, Transpose2DTilingData);
3.2.1 算子支持的数据类型

16bit / 32bit。Kernel 侧按 sizeof(DTYPE_X) 实例化 int16_t 与 int32_t 两种,即覆盖 half/bfloat16/int16 与 float/int32 这类 2/4 字节 dtype;其它位宽不命中该模板。

3.2.2 host侧设计
  • 入口:TransposeNddmaTiling::RunTranposelTiling() 在 CalcTotalVolumeActual() 之后增加早返回分支:!isRelatedTranspose_ && Is2DPermutation() && Fill2DTransDataTilingData()==GRAPH_SUCCESS 时直接返回成功。
  • 形态判定 Is2DPermutation():dim==2 且 reducedPerm == {1,0}(RemoveAxis/MergeAxis 后 identity 已归并为 1 维,因此 dim==2 且 perm=[1,0] 即真正的二维转置)。
  • 准入条件 Fill2DTransDataTilingData():架构为 DAV_3510 或 DAV_5102;eleLen ∈ [2,4] 字节;m%16==0 && n%16==0;总字节数达到门槛(DAV_3510 为 512KB,DAV_5102 为 4MB)。
  • tile 几何:pad = 32B/eleLen;tileM = min(m, cap)(16bit 上限 256 行、32bit 上限 128 行);tileN 按 UB 预算 ubSize-4096 取 16 的倍数,且上限 16*255;tileM 触顶时 tileN 取不超过上限的最大 2 的幂,小 m 时取预算允许的最大 16 倍数;窄列(n < tileN)时 tileN 收紧为 n,并把 tileM 放大到"行块数≈k*coreNum"的最大可行值以兼顾单 tile 体积与多核均衡。
  • 下发:SetBlockDim(coreNum)、SetTilingKey(10011)、workspaces[0]=0;maxTileN < 16 时视为预算不足,返回失败并回落主流程。
3.2.3 kernel侧设计
  • 新增 op_kernel/arch35/transpose_2d_transdata.h,实现 Transpose::Transpose2DTransData<T>;transpose_apt.cpp 增加 TILING_KEY_IS(TRANSPOSE_2D_TRANSDATA) 分支,用 GET_TILING_DATA_PTR_WITH_STRUCT 取 TilingData 后按 dtype 实例化。
  • 缓冲与同步:UB 采用 in 单缓冲 + out ping/pong 双缓冲,LocalMemAllocator 分配静态 Tensor;Mutex(mIn、mOut0、mOut1)分别门控 inbuf 与两个 outbuf,V 读完 inbuf 即归还,使 MTE2(t+1) 与 MTE3(t) 可并行,三段流水周期约为 max(MTE2+V, MTE3)。
  • 搬运:输入按行 DataCopyPad 搬入,行步长额外 +32B padding 拉开 16 个并发源地址的 UB bank 分布;当窄列且列宽为奇数个 32B block 时去掉源侧 padding,输入 tile 在 UB 内连续,搬入可退化为单次连续 DataCopyPad;输出按列方向 DataCopyPad 写回 GM。
  • 计算:TransDataTo5HD 按 16x16 块转置;列方向只有一个 16x16 块时把 repeat 用到行块方向(单次最多 255 个行块);repeatTimes==1 时 repStride 置 0,避免尾 tile 恰好 16 列时指令不写出。
  • 标量开销:full tile 的 DataCopyExtParams、GM 步进、repeatTimes 在 Init 中预计算;tile 循环用增量推进 (rowIdx, colIdx) 替代每 tile 的整数除法。
3.3 支持硬件

DAV_3510(Ascend 950 系列)与 DAV_5102。其它架构在准入处即返回失败,不命中 10011,走原有主流程。

3.4 算子约束限制

  • 仅 2D 且 reducedPerm=[1,0];
  • dtype 限 16bit/32bit;
  • m、n 均需 16 对齐;
  • 总数据量需达到门槛:DAV_3510 为 512KB,DAV_5102 为 4MB;
  • 不满足准入或 UB 预算不足(maxTileN<16)时回落原有主流程,功能不受影响。

💡 备注(选填)

  • 测试:UT 补充于 conversion/transpose/tests/ut/op_host/arch35/test_transpose_tiling.cpp,共 4 个新增用例 + 3 个既有用例调整:新增用例覆盖 512x512 fp16 命中 10011(tileM=256 / tileN=64)、16x262144 小 m 场景 tileM 跟随 m(tileM=16 / tileN=1552)、131072x16 窄列场景改行方向切分(tileM=1648 / tileN=16)、512x510 n 非 16 对齐时不命中并回落;既有 N_LAST 4D / NDDMA_BASE 4D / CUT_TWICE 尾切三个用例改用不受 10011 干扰的 shape,并把宽松的 tilingKey 区间断言收紧为具体期望值。
  • 以上内容依据关联 PR 的实际代码变更整理。

关联 PR:https://gitcode.com/cann/ops-math/pull/7382

likedislike
yefeicodingyefeicodingCollaborators
2 days ago Added label: requirement
yefeicodingyefeicodingCollaborators
2 days ago Associated pull request
yefeicoding
yefeicodingCollaborators
2 days ago Comments:

/assign @yefeicoding

likedislike
CANN-robotCANN-robotCollaborators
2 days ago Assign yefeicoding as responsible person
CANN-robotCANN-robotCollaborators
2 days ago Close issue
CANN-robotCANN-robotCollaborators
2 days ago changed custom state from 待办的 to 已完成
CANN-robotCANN-robotCollaborators
1 day ago Added label: resolved