Closed
[长尾算子space_to_batch]: golden TF 参考通路对不支持的类型回退到 torch 小算子拼接 #4649
gylAdd on  7 days agoClosed at  6 days ago
gyl
gylCollaborators
7 days ago Create

一、背景信息 (必填)

ops-math 中 space_to_batch、space_to_batch_nd 的 TTK golden 参考实现(tests/assets/golden.py)以 TensorFlow(tf.raw_ops.SpaceToBatchND)为主参考通路。但 TensorFlow 对部分 dtype 不支持或仅实验支持(如 bool / complex32 / complex64),导致这些 dtype 无法稳定生成 golden,ST 覆盖受限;当前对 TF 不支持类型另用一套纯 numpy 手写实现,存在 TF / numpy 双实现语义与精度口径不一致、维护成本高的问题。

需要对 TF 不支持的类型自动回退到基于 torch 小算子的等价拼接实现(F.pad + reshape + permute),与 TF 主通路语义对齐。

二、价值/作用 (必填)

  • 补齐 bool/complex32/complex64 等 dtype 的 golden 能力,提升 space_to_batch / space_to_batch_nd 的 ST 覆盖率;
  • 统一参考口径:TF 支持类型走 TF,非支持类型走 torch 拼接,避免 numpy 版与 TF 版分叉;
  • torch 拼接与 TTK third_party(远端 XPU 默认 provider 为 torch)同源,便于 cross_check / XPU 三方校验;
  • 按 TF 实测能力维护 _TF_UNSUPPORTED_DTYPES:uint32/uint64 已实测 TF 支持,应从 unsupported 集合移出,避免误走回退。

三、设计方案 (必填)

3.1 使能方式(涉及哪些框架:如Aclnn直调、Pytorch训练等)

TTK golden 插件(tests/assets/golden.py),适用于 Kernel / GEIR 通路;不改动算子对外接口。

3.2 总体设计
  • 主通路:非空且 TF 支持的 dtype → tf.raw_ops.SpaceToBatchND;
  • 回退通路:dtype ∈ _TF_UNSUPPORTED_DTYPES(bool/complex32/complex64/complex128)或空 Tensor → _space_to_batch_torch / _space_to_batch_nd_torch(F.pad + reshape + permute + batch 维合并);
  • _TF_UNSUPPORTED_DTYPES 依据 TF 实测能力维护(uint32/uint64 移出);
  • bf16 经 ml_dtypes / uint16 bitcast 保持 lane;complex32 按 float16 双 lane 处理。
3.2.1 算子支持的数据类型
  • space_to_batch:int8/uint8/int16/uint16/int32/uint32/int64/uint64/float16/float32/float64/bfloat16(12 种)
  • space_to_batch_nd:上述 12 种 + bool/complex32/complex64(15 种)
3.2.2 host侧设计

以测试资产改动为主。若 space_to_batch 需正式覆盖 uint32/uint64,需同步 op_host/space_to_batch_def.cpp 的 VALUE_DATA_TYPE_ALL 与 tiling ParamCheck 的 dtype 白名单(本地已补齐)。

3.2.3 kernel侧设计

无算子 kernel 改动。

3.3 支持硬件

在 Ascend950(arch35)完成本地验证。

3.4 算子约束限制

  • golden 在 CPU 执行,依赖 tf/torch/ml_dtypes;
  • complex32 以 float16 双 lane 表示;
  • TF 与 torch 拼接的 padding 语义需保持一致(zero padding,布局按算子定义)。

💡 备注(选填)
本地验证(GEIR 动态模式 -c=false -d):

  • space_to_batch:12/12 PASS(含新增 uint32/uint64);
  • space_to_batch_nd:新增 complex32 p0/p1 两条 PASS(精度 100%)。
likedislike
gylgylCollaborators
7 days ago Added label: requirement
陈思
陈思Collaborators
7 days ago Comments:

您好,感谢提供类型覆盖和 Ascend950 的本地验证结果。将不受 TensorFlow 支持的类型及空张量改走等价的 torch 拼接,可以作为这两份 golden 的改进方案;两条参考路径需要保持相同的 padding、块内顺序和输出 batch 排列。您列出的 12/12 与 complex32 用例结果按本地自验记录保留,目前尚未独立复验。

这里先核对一个版本差异:本次读取的 ops-math 固定提交 212ce9d5460b1be26cfbee481aff1acbf5cc5c62 中,SpaceToBatch golden 直接使用 numpy 的 pad/reshape/transpose,SpaceToBatchND golden 则使用 numpy 分块索引,尚未包含您描述的 TF 主通路和 _TF_UNSUPPORTED_DTYPES。请补充您验证时的提交号或公开分支,以及两份 golden 的改动,便于对齐当前方案。

方案核对时建议保留以下边界:

  • TF 支持集合需要附 TF/torch/ml_dtypes 版本和按类型的执行结果;uint32/uint64 的可用性以该版本实测为依据。complex128 的参考实现能力与算子正式支持类型分别记录。
  • BF16 与 complex32 的表示转换应保留原始 lane,核对 padding 后的类型与布局;非对称 padding、不同 block_shape 和空维都要与 TF 可执行的对照路径比较。空张量不能依赖有歧义的 reshape(-1, ...) 推导。
  • golden 与 third_party 都来自同一 torch 拼接时,二者一致不能单独作为独立正确性证据;建议在 TF 支持的类型上保留 TF 对照,并对不可走 TF 的类型使用可独立检查的索引/重排基准。
  • 此固定提交的 SpaceToBatch 注册 仍列 9 种 value 类型,未包含 BF16、UINT32、UINT64;SpaceToBatchND 列表已包含您列的 15 种。若要宣告 SpaceToBatch 的 12 类型正式支持,需把 golden、host 注册和实际 tiling/构建支持一并对齐,不能仅凭 golden 能生成结果扩大算子支持范围。

补充版本和改动后,可据此继续评审参考路径与类型支持范围;本次不据自验记录承诺合入或发布版本。

likedislike
陈思陈思Collaborators
7 days ago Assign yangjinwen as responsible person
陈思陈思Collaborators
7 days ago Added label: pending-confirmation
gylgylCollaborators
7 days ago Change title to "[长尾算子space_to_batch]: golden TF 参考通路对不支持的类型回退到 torch 小算子拼接", originally titled "[Requirement|需求建议]: golden TF 参考通路对不支持的类型回退到 torch 小算子拼接".
gylgylCollaborators
7 days ago Assign guyunlong1 as responsible person, remove original responsible person: yangjinwen
gylgylCollaborators
7 days ago Removed label: requirement
gylgylCollaborators
7 days ago Associated pull request
gylgylCollaborators
7 days ago Removed label: pending-confirmation
gylgylCollaborators
7 days ago Added label: bug-report
gyl
gylCollaborators
7 days ago Comments:

TF 支持集合与版本实测(方案核对第 1 点)

环境版本

  • tensorflow 2.21.0
  • torch 2.7.1+cpu
  • ml_dtypes 0.6.0
  • numpy 2.2.5

确认方法:对每个 dtype 构造 4D NHWC 小输入 (1,4,4,2),block_shape=[2,2]、paddings=[[0,0],[0,0]],直接调用 tf.raw_ops.SpaceToBatchND(space_to_batch / space_to_batch_nd golden 共用原语),记录是否执行成功、输出 dtype/shape 以及失败异常。

按类型实测结果

dtype TF 执行 结果
int8 / uint8 ✅ dtype/shape 正确
int16 / uint16 ✅ dtype/shape 正确
int32 / uint32 ✅ dtype/shape 正确
int64 / uint64 ✅ dtype/shape 正确
float16 / float32 / float64 ✅ dtype/shape 正确
bfloat16 ✅ 需 uint16 bitcast,输出 bf16 正确
bool ❌ NotFoundError: no kernel for DT_BOOL
complex64 ❌ NotFoundError: no kernel for DT_COMPLEX64
complex128 ❌ NotFoundError: no kernel for DT_COMPLEX128
complex32 ⚠️ TF 无 complex32 dtype;按 float16 双 lane 可执行,非复数语义

结论

  • uint32/uint64 在 tf 2.21.0 实测可执行,据此移出 _TF_UNSUPPORTED_DTYPES 走 TF 主通路;该依据绑定版本,TF/torch/ml_dtypes 版本变化需重新实测。
  • bool/complex64/complex128 无 TF kernel,需 torch 回退;complex32 不是 TF dtype,需 torch 回退。

删除 complex128 的原因

  • complex128 不是 space_to_batch / space_to_batch_nd 的算子支持类型(OpDef 中无 DT_COMPLEX128),正常用例不会进入 golden;将其留在 _TF_UNSUPPORTED_DTYPES 属于不可达分支,且容易让人误以为算子支持 complex128。
  • 因此 space_to_batch_nd 的 _TF_UNSUPPORTED_DTYPES 移除了 complex128,集合收敛为“算子支持但 TF 不支持”的 {bool, complex32, complex64}。
  • space_to_batch 不支持 bool/complex32/complex64/complex128,已整体移除 _TF_UNSUPPORTED_DTYPES 与 golden 的 dtype 路由,golden 统一走 TF;torch 拼接仅保留为 third_party 独立参照,不再作为 golden 回退。
  • complex128 的 golden 参考能力与算子正式支持类型分开记录:golden 不再承诺 complex128,算子支持集合以 OpDef 为准。

对应 PR:https://gitcode.com/cann/ops-math/merge_requests/7274

likedislike
gyl
gylCollaborators
7 days ago Comments:

golden 和 third_party同时使用一个torch接口或同一个tf接口是可以的
golden 运行前,ttk已经对数据进行了升维

likedislike
gylgylCollaborators
6 days ago Associated pull request
CANN-robotCANN-robotCollaborators
6 days ago Close issue
CANN-robotCANN-robotCollaborators
6 days ago changed custom state from 待办的 to 已完成