Closed
[Requirement|需求建议]: Transpose 新增 2D perm=[1,0] 的 TransDataTo5HD 全 tile 转置模板(TilingKey 10011) #4815
yefeicodingAdd on 2 days agoClosed at 2 days ago
2 days ago Added label: requirement
2 days ago Associated pull request
yefeicoding
2 days ago Comments:
2 days ago Comments:
/assign @yefeicoding


2 days ago Assign yefeicoding as responsible person
2 days ago Close issue
2 days ago changed custom state from 待办的 to 已完成
1 day ago Added label: resolved
Thanks for sending an requirement! Please fill in the following template to help quickly solve your problem.
一、背景信息 (必填)
Transpose算子在 arch35 上对 2D 且perm=[1,0]的输入没有专用模板:RemoveAxis/MergeAxis之后该形态会并入 NDDMA CUT / GATHER / SMALL_SHAPE 等通用路径,通用路径的启动参数推导与 tile 几何在多核小 tile 场景下不够贴合,存在优化空间。本需求为该形态新增 TilingKey
10011 TRANSPOSE_2D_TRANSDATA:按 tile 搬入 UB 后用TransDataTo5HD硬件指令完成 16x16 块转置,再按列搬出,MTE2/V/MTE3 组成三流水。二、价值/作用 (必填)
perm=[1,0]是 Transpose 的高频形态,专用模板可直接省掉通用路径的 NDDMA 地址推导与多策略选型开销。TransDataTo5HD完成,搬运侧只做带 padding 的DataCopyPad,计算与搬运可重叠,提升该形态下的流水效率。三、设计方案 (必填)
3.1 使能方式(涉及哪些框架:如Aclnn直调、Pytorch训练等)
算子内部 Tiling/Kernel 路由,不新增对外接口与参数:满足准入条件时由 host tiling 直接下发 TilingKey 10011,否则回落原有主流程。
3.2 总体设计
新增 TilingKey
10011 TRANSPOSE_2D_TRANSDATA(SplitMode枚举),并新增精简 TilingData:3.2.1 算子支持的数据类型
16bit / 32bit。Kernel 侧按
sizeof(DTYPE_X)实例化int16_t与int32_t两种,即覆盖 half/bfloat16/int16 与 float/int32 这类 2/4 字节 dtype;其它位宽不命中该模板。3.2.2 host侧设计
TransposeNddmaTiling::RunTranposelTiling()在CalcTotalVolumeActual()之后增加早返回分支:!isRelatedTranspose_ && Is2DPermutation() && Fill2DTransDataTilingData()==GRAPH_SUCCESS时直接返回成功。Is2DPermutation():dim==2且reducedPerm == {1,0}(RemoveAxis/MergeAxis 后 identity 已归并为 1 维,因此 dim==2 且 perm=[1,0] 即真正的二维转置)。Fill2DTransDataTilingData():架构为DAV_3510或DAV_5102;eleLen ∈ [2,4]字节;m%16==0 && n%16==0;总字节数达到门槛(DAV_3510 为 512KB,DAV_5102 为 4MB)。pad = 32B/eleLen;tileM = min(m, cap)(16bit 上限 256 行、32bit 上限 128 行);tileN按 UB 预算ubSize-4096取 16 的倍数,且上限16*255;tileM触顶时tileN取不超过上限的最大 2 的幂,小 m 时取预算允许的最大 16 倍数;窄列(n < tileN)时tileN收紧为 n,并把tileM放大到"行块数≈k*coreNum"的最大可行值以兼顾单 tile 体积与多核均衡。SetBlockDim(coreNum)、SetTilingKey(10011)、workspaces[0]=0;maxTileN < 16时视为预算不足,返回失败并回落主流程。3.2.3 kernel侧设计
op_kernel/arch35/transpose_2d_transdata.h,实现Transpose::Transpose2DTransData<T>;transpose_apt.cpp增加TILING_KEY_IS(TRANSPOSE_2D_TRANSDATA)分支,用GET_TILING_DATA_PTR_WITH_STRUCT取 TilingData 后按 dtype 实例化。LocalMemAllocator分配静态 Tensor;Mutex(mIn、mOut0、mOut1)分别门控 inbuf 与两个 outbuf,V 读完 inbuf 即归还,使 MTE2(t+1) 与 MTE3(t) 可并行,三段流水周期约为max(MTE2+V, MTE3)。DataCopyPad搬入,行步长额外 +32B padding 拉开 16 个并发源地址的 UB bank 分布;当窄列且列宽为奇数个 32B block 时去掉源侧 padding,输入 tile 在 UB 内连续,搬入可退化为单次连续DataCopyPad;输出按列方向DataCopyPad写回 GM。TransDataTo5HD按 16x16 块转置;列方向只有一个 16x16 块时把 repeat 用到行块方向(单次最多 255 个行块);repeatTimes==1时repStride置 0,避免尾 tile 恰好 16 列时指令不写出。DataCopyExtParams、GM 步进、repeatTimes 在Init中预计算;tile 循环用增量推进(rowIdx, colIdx)替代每 tile 的整数除法。3.3 支持硬件
DAV_3510(Ascend 950 系列)与 DAV_5102。其它架构在准入处即返回失败,不命中 10011,走原有主流程。
3.4 算子约束限制
reducedPerm=[1,0];maxTileN<16)时回落原有主流程,功能不受影响。💡 备注(选填)
conversion/transpose/tests/ut/op_host/arch35/test_transpose_tiling.cpp,共 4 个新增用例 + 3 个既有用例调整:新增用例覆盖512x512fp16 命中 10011(tileM=256 / tileN=64)、16x262144小 m 场景 tileM 跟随 m(tileM=16 / tileN=1552)、131072x16窄列场景改行方向切分(tileM=1648 / tileN=16)、512x510n 非 16 对齐时不命中并回落;既有 N_LAST 4D / NDDMA_BASE 4D / CUT_TWICE 尾切三个用例改用不受 10011 干扰的 shape,并把宽松的 tilingKey 区间断言收紧为具体期望值。关联 PR:https://gitcode.com/cann/ops-math/pull/7382