Merged
feat(transpose): 新增 2D perm=[1,0] TransDataTo5HD 全 tile 转置模板(TilingKey 10011) #7382
yefeicodingAdd on 6 days ago
feat(transpose): 新增 2D perm=[1,0] TransDataTo5HD 全 tile 转置模板(TilingKey 10011) #7382
Merged
yefeicodingAdd on 6 days ago
yefeicoding
yefeicodingCollaborators
6 days ago

描述

2D perm=[1,0] 的 Transpose 在 arch35 上原先没有专用模板,RemoveAxis/MergeAxis 后会并入 NDDMA CUT / GATHER / SMALL_SHAPE 等通用路径;通用路径的启动参数推导与 tile 几何对多核小 tile 场景不够贴合。本 PR 新增 TilingKey 10011 TRANSPOSE_2D_TRANSDATA,用 TransDataTo5HD 做 16x16 块转置覆盖该形态,不满足准入时仍回落原主流程。

主要改动:

  • host tiling(op_host/arch35/transpose_tiling_arch35.cpp/.h):RunTranposelTiling() 在 CalcTotalVolumeActual() 之后增加早返回分支,命中 !isRelatedTranspose_ && Is2DPermutation() && Fill2DTransDataTilingData()==GRAPH_SUCCESS 时直接下发 10011。Is2DPermutation() 判定 dim==2 且 reducedPerm=={1,0};准入要求架构为 DAV_3510/DAV_5102、eleLen∈[2,4]、m/n 均 16 对齐、m/n 不超过 INT32_MAX(避免下发 int32 TilingData 时静默截断)、总量达到门槛(DAV_3510 512KB,DAV_5102 4MB)。tile 几何随 m/n 与 ubSize 自适应:tileM=min(m, cap)(16bit 256 / 32bit 128),tileN 按 ubSize-4096 预算推导并保证 in(1)+out(2) 三块 tile 不越界(预算不足时回落),上限 16*255;tileM 触顶时取不超过上限的最大 2 的幂,窄列(n<tileN)时收紧 tileN 并把 tileM 放大到"行块数≈k*coreNum"的最大可行值。下发 SetBlockDim(coreNum)、SetTilingKey(10011)、workspaces[0]=0。
  • TilingData:新增 Transpose2DTilingData{m, n, coreNum, tileM, tileN},注册类名 Transpose_10011。
  • kernel(新增 op_kernel/arch35/transpose_2d_transdata.h):实现 Transpose::Transpose2DTransData<T>,按 sizeof(DTYPE_X) 实例化 int16_t/int32_t。UB 采用 in 单缓冲 + out ping/pong 双缓冲,LocalMemAllocator 分配静态 Tensor,Mutex(mIn/mOut0/mOut1)分别门控 inbuf 与两个 outbuf,V 读完 inbuf 即归还,使 MTE2(t+1) 与 MTE3(t) 并行。搬运侧行步长额外 +32B padding 规避 UB bank 冲突;窄列且列宽为奇数个 32B block 时去掉源侧 padding,搬入退化为单次连续 DataCopyPad;full tile 的 DataCopyExtParams/repeatTimes 在 Init 预计算,tile 索引用增量推进避免整数除法;列向仅一个 16x16 块时把 repeat 用在行块方向(上限 255),repeatTimes==1 时 repStride 置 0。
  • 分发(op_kernel/transpose_apt.cpp):增加 TILING_KEY_IS(TRANSPOSE_2D_TRANSDATA) 分支,GET_TILING_DATA_PTR_WITH_STRUCT 取 TilingData 后按 dtype 派发。

关联的Issue

测试

conversion/transpose/tests/ut/op_host/arch35/test_transpose_tiling.cpp 补充 tiling UT(5 个新增 + 3 个既有调整),UB 统一按 248KB(ubSize=253952)配置:

  • transpose_tiling_2d_transdata_route:512x512 fp16 命中 10011,tileM=256 / tileN=128,blockNum=40;
  • transpose_tiling_2d_transdata_small_m_tile:16x262144 小 m 场景 tileM 跟随 m(tileM=16 / tileN=1552);
  • transpose_tiling_2d_transdata_narrow_n_tile:131072x16 窄列改行方向切分(tileM=1648 / tileN=16);
  • transpose_tiling_2d_transdata_tail_tile:1040x1040 的 m/n 均非 tile 整数倍,覆盖行/列尾块切分;
  • transpose_tiling_2d_transdata_not_aligned_fallback:512x510 n 非 16 对齐时不命中 10011 并回落;
  • 既有 N_LAST 4D / NDDMA_BASE 4D / CUT_TWICE 尾切三个用例改用不受 10011 干扰的 shape,并把宽松的 tilingKey 区间断言收紧为具体期望值。

以上为 tiling 路由与 tile 参数的 UT 验证(math_op_host_ut 70 用例通过,其中 10011 子集 5/5 通过);本 PR 未包含上板精度/性能数据。

文档更新

无。本 PR 仅涉及 host tiling、kernel 与 UT,未改动 README 等文档。

类型标签

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for yefeicoding's contribution.)
yefeicodingyefeicodingCollaborators
6 days ago Created pull request, commit e01066a9
atomgit-bot
atomgit-bot
6 days ago Comments:

变更摘要

本 PR 为 conversion/transpose 的 arch35 路径新增 10011 TRANSPOSE_2D_TRANSDATA 2D 特化模板,针对 perm=[1,0] 的二维转置场景,在 Host 侧 Tiling 中优先选路并在 Kernel 侧以 TransDataTo5HD 完成整 tile 转置。整体改动涵盖:新增 tiling key 与精简 TilingData 结构、Host 准入判定与 TilingData 填充、新增 Kernel 实现文件及 transpose_apt.cpp 的入口分发,并同步调整 UT 用例以覆盖新路由。

主要改动

  • 新增策略 Key 与 TilingData 结构: 在 SplitMode 枚举中新增 TRANSPOSE_2D_TRANSDATA = 10011,并新增 Transpose2DTilingData(m、n、coreNum 三个字段)及其 Transpose_10011 注册,作为该模板的独立 Tiling 载体。
  • Host 侧准入判定与选路: 新增 Is2DPermutation() 判定 shapeInfo_.dim == 2 且 reducedPerm 为 [1,0],新增 Fill2DTransDataTilingData() 按 dtype(16bit/32bit)、m/n 的 16 对齐、总字节门槛(DAV_3510 为 512KB,DAV_5102 为 4MB)做准入,命中后在 RunTranposelTiling() 中先于 TryVCONVTiling() 返回;命中时设置 SetTilingKey、SetBlockDim 并将 workspace 置 0,否则回落主流程。
  • 新增 Kernel 实现 transpose_2d_transdata.h: 新增 Transpose2DTransData<T> 类,按 TD_MR/TD_MC tile 搬运,使用 TransDataTo5HD 做 16×16 块转置,并以 Mutex 分别门控 in 单缓冲与 out 双缓冲形成 MTE2/V/MTE3 三流水;通过 PAD_EL 行步长 padding 规避 UB bank 冲突,并预计算 full-tile 的 DataCopyExtParams 与地址步进以减少标量开销。
  • Kernel 入口分发接入 10011: transpose_apt.cpp 引入新头文件与 TRANSPOSE_2D_TRANSDATA 宏,新增 Transpose2DTransDataProcess()(按 DTYPE_X 为 int16_t/int32_t 实例化),并在 transpose 主函数中增加 TILING_KEY_IS(TRANSPOSE_2D_TRANSDATA) 分支使用 Transpose2DTilingData 解析 Tiling 数据。
  • UT 用例调整: 新增 transpose_tiling_2d_transdata_route 校验 fp16 512×512 走 10011 且 TilingData 中 m/n/coreNum 正确,新增非 16 对齐回落用例,并将原 [8000, 256] 切分用例改为 n=255 以避开新路由、同时更新 6D perm 用例的期望 tiling key。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
6 days ago Comments:

代码审查

检视结论

各文件检视情况

文件 结论
conversion/transpose/op_host/arch35/transpose_tiling_arch35.cpp 1 个问题:新增的 10011 路由完全没有校验 ubSize_(P2)。其余部分(Is2DPermutation 在 dim==2 时读取 reducedPerm、Fill2DTransDataTilingData 的 4 位类型已被 eleLenInBytes 的位偏编码排除、失败分支无副作用可安全回落、workspace=0、TilingKey/字段顺序未改动)检查通过。
conversion/transpose/op_host/arch35/transpose_tiling_arch35.h no issues:新增 Transpose2DTilingData(m/n/coreNum 三个 int32)、REGISTER_TILING_DATA_CLASS(Transpose_10011, …) 与既有 10007/10008/10009 命名一致,SplitMode 新增枚举使用显式值 10011,不影响已有 key 的语义;TransposeTilingData 字段顺序未动。
conversion/transpose/op_kernel/arch35/transpose_2d_transdata.h 2 个问题 + 1 个未覆盖路径:死成员 fullInGMStride_/fullOutGMStride_(P3)、GM 步长 32 位乘法链(P3)、尾块路径无覆盖(P3,记录在 UT 上)。已核对 dstColBase/dstColBase+16*S、dstRepStride=TMR_PAD*16/BS(=16 个 dst 行)、srcRepStride=16/BS(=1 个 16 元素块)、halfBlocks 32bit 半分块以及 mutex in 单缓冲/out 双缓冲的 Set/Unlock 配对与 3 级流水同步,未发现参数或同步错误。
conversion/transpose/op_kernel/transpose_apt.cpp no issues:10011 分支的 GET_TILING_DATA_PTR_WITH_STRUCT + else-if 链接顺序、sizeof(DTYPE_X) 16/32bit 实例化与 host 准入条件一致(8/64bit 不会进入本 key),头文件包含与注释同步。
conversion/transpose/tests/ut/op_host/arch35/test_transpose_tiling.cpp 2 个问题:6D 用例期望被改为 SMALL_SHAPE(P2)、尾块路径无覆盖(P3)。n=256→255 的改动是为避开新 10011 路由,注释已同步,属于合理适配。

问题统计

  • P0:0
  • P1:0
  • P2:2(UB 容量未校验;6D UT 期望值与选路逻辑矛盾)
  • P3:3(死代码;32 位乘法链溢出;10011 尾块路径零覆盖)

总体风险判断

该特化模板的 host/kernel 契约(perm 判定、16 对齐、tile 几何、三流水同步)本身是自洽的,主要风险集中在两点:新路由绕过了全仓统一的「按 ubSize_ 推导 UB 预算」约定,在不小于 192KB 但小于 208KB 的 UB 配置下会直接越界使用 UB(UT 自身的 ubSize 正是 196608,说明该缺口确实存在);以及对既有 6D 用例期望值的改动缺乏代码依据,需在合入前确认是断言写错还是选路被意外改变。建议先补 UB 校验与尾块形状用例,再合入。

类型 数量
🔴 阻塞 0
🟡 建议 3

💬 仅评论


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
6 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
6 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
conversion/transpose ✅ 汤平川, 宋恺 (2/2) ✅ 汤平川 (1/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

yefeicoding, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
74 messages are collapsed here。 See more
CANN-robotCANN-robotCollaborators
2 days ago Added label: approved
songkai111Collaborators
2 days ago Comments:

/lgtm

likedislike
CANN-robotCANN-robotCollaborators
2 days ago Added label: lgtm
CANN-robotCANN-robotCollaborators
2 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
2 days ago Merged pull request