Merged
refactor: 重构算子测试 golden 脚本为 TTK TestSpec 规范并新增 floor_div #7363
cai-chengchaoAdd on 6 days ago
refactor: 重构算子测试 golden 脚本为 TTK TestSpec 规范并新增 floor_div #7363
Merged
cai-chengchaoAdd on 6 days ago
cai-chengchaoCollaborators
6 days ago

描述

本次改动将 ops-math 仓库中部分算子的测试 golden 脚本从旧的函数式 golden 注册方式重构为 TTK TestSpec 规范(类 + spec 注册表 + third_party 三方标杆),并新增 floor_div 算子的 golden 基准。

改动原因

  1. 旧 golden 脚本使用 golden 字典注册入口函数,无法承载 kernel/GEIR、aclnn、e2e 多流程及三方标杆的统一管理,参数解析与 dtype 精度处理散落在各函数内,维护成本高。
  2. fp16/bf16 等低精度类型缺少 fp32 中间精度抬升(对齐 PrecisionReduceFlag)与按 out dtype 回写等统一处理。
  3. floor_div 算子缺少测试 golden 基准。

改动方法

  1. 统一重构为 TTK TestSpec 规范:以 spec 字典将各 API 名称映射到 TestSpec 类,每个类通过 golden() 提供基准计算、third_party 提供 torch 三方标杆;提供 _FP_REDUCE、_to_fp32、_cast_to_out、_to_scalar 等公共辅助,统一处理 fp16/bf16 中间精度抬升与 out dtype 回写。
  2. 覆盖算子:
    • conversion/clip_by_value_v2:aclnnClamp / aclnnClampMax / aclnnClampMin / aclnnClampTensor / aclnnHardtanh 及其 Inplace / MaxTensor / MinTensor 变体、torch.clamp。
    • math/addcdiv:kernel addcdiv、aclnnAddcdiv / aclnnInplaceAddcdiv、torch.addcdiv。
    • math/lerp:kernel lerp、aclnnLerp / aclnnLerps / aclnnInplaceLerp / aclnnInplaceLerps、torch.lerp。
    • math/maximum:kernel maximum、aclnnMaximum / aclnnMaxN、torch.maximum。
    • math/minimum:kernel minimum、aclnnMinimum / aclnnMinN、torch.minimum。
  3. 新增 math/floor_div/tests/assets/golden.py:覆盖 kernel floor_div、aclnnFloorDivide / aclnnFloorDivides / aclnnInplaceFloorDivide / aclnnInplaceFloorDivides、torch.floor_divide。

关联的Issue

测试

  • 涉及测试 golden 脚本等价重构与 floor_div 基准新增,需回归相关算子的二级冒烟与算子泛化测试。

文档更新

  • 无(本次改动仅涉及测试 golden 脚本)。

类型标签

likedislike
Pull Request has been successfully merged by CANN-robot.
(Thank you for cai-chengchao's contribution.)
Ccai-chengchaoCollaborators
6 days ago Created pull request, commit 3d25d4d0
atomgit-bot
atomgit-bot
6 days ago Comments:

变更摘要

本 PR 将 clip_by_value_v2、addcdiv、floor_div、lerp、maximum、minimum 六个算子的测试标杆(golden)由原先的 __golden__ 字典函数映射重构为 TTK TestSpec 形式的 __spec__ 类映射,使 kernel/GEIR、aclnn 各接口以及 e2e(torch.*)流程统一由类承载 golden 与 third_party 三方比对实现。同时补齐了 inplace 接口、TensorList 归约接口以及 floor_div 全新的标杆文件,并集中规范化了精度提升与输出 dtype 回写逻辑。

主要改动

  • 注册方式改为 __spec__ + TestSpec 类:各算子文件用 __spec__ 将算子名(含 aclnnClamp*、aclnnAddcdiv、aclnnFloorDivides、aclnnLerps、aclnnMaxN、aclnnMinN 等变体与 torch.* e2e 入口)映射到对应的 *TestSpec 类,替代原 __golden__ 的 kernel/aclnn 分节函数表。
  • kernel/GEIR 流程统一为 numpy 转 torch 再转回 numpy:ClipByValueV2TestSpec、AddcdivTestSpec、FloorDivTestSpec、LerpTestSpec、MaximumTestSpec、MinimumTestSpec 的 golden 改为借助 ttk.utilities 的 numpy_to_torch_tensor、torch_to_numpy_tensor 完成转换,替代原先直接使用 numpy/np.maximum 的实现。
  • 新增共用三方标杆 ThirdPartyImpl:每个算子文件提供 ThirdPartyImpl 与 _third_party_inputs 等辅助函数,按位置优先、kwargs 兜底的方式提取输入张量(兼容 self/selfRef/selfT 等命名),缺失输入时抛出 TypeError,供所有模式共用。
  • 精度提升与输出 dtype 回写规范化:引入 _FP_REDUCE、_to_fp32、_cast_to_out 等辅助函数,对 float16/bfloat16 抬升 fp32 计算后回写;clip_by_value_v2 额外实现 _clamp_scalar/_clamp_tensor 配合 _promote、_scalar_default、_combine_categories 复刻 ACLNN 的标量/张量 promote 规则,floor_div 对 bool 输入按 promote 规则转 float32 计算。
  • 新增 floor_div 标杆并扩展归约类接口:新增 math/floor_div/tests/assets/golden.py,覆盖 aclnnFloorDivide/aclnnFloorDivides 及其 inplace 版本与 torch.floor_divide;maximum/minimum 增加 AclnnMaxNTestSpec/AclnnMinNTestSpec,对 aclTensorList 逐元素累积归约。

🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
atomgit-bot
atomgit-bot
6 days ago Comments:

代码审查

审查结论

发现的问题(按优先级)

# 优先级 文件:行 问题
1 P1 conversion/clip_by_value_v2/tests/assets/golden.py:133-143 三方标杆用 or 判断 Tensor 真值,多元素张量直接抛 RuntimeError
2 P2 conversion/clip_by_value_v2/tests/assets/golden.py:146-149 单界位置回退把下界当成上界,clampMin 类用例参考值反向
3 P2 math/lerp/tests/assets/golden.py:32-37 删掉了 fp16/bf16 抬 fp32 中间精度,与旧标杆及自身 docstring 不符
4 P2 math/maximum/tests/assets/golden.py:95-105 aclnnMaxN 的 TensorList 入参被交给二元 ThirdPartyImpl,cross_check 抛 TypeError
5 P2 math/minimum/tests/assets/golden.py:95-105 同上(aclnnMinN)
6 P3 conversion/clip_by_value_v2/tests/assets/golden.py:273-275 e2e torch.clamp 标量 min/max 走了张量提升路径,输出 dtype 变化
7 P3 math/addcdiv/tests/assets/golden.py:86-89 三方标杆忽略位置传入的 value,非 1.0 系数用例参考值出错

统计:P0 = 0,P1 = 1,P2 = 4,P3 = 2。

逐文件审查确认

  • conversion/clip_by_value_v2/tests/assets/golden.py:已审查,3 个问题(#1、#2、#6)。
  • math/addcdiv/tests/assets/golden.py:已审查,1 个问题(#7)。
  • math/floor_div/tests/assets/golden.py(新增):已审查,no issues。(_floor_divide 的 bool 抬 fp32 分支与 inplace 未回写 dtype 两处疑点,因缺少 kernel 类型支持/混合整型用例的直接证据,按误报控制未上报。)
  • math/lerp/tests/assets/golden.py:已审查,1 个问题(#3)。
  • math/maximum/tests/assets/golden.py:已审查,1 个问题(#4)。
  • math/minimum/tests/assets/golden.py:已审查,1 个问题(#5)。

总体风险判断

本次改动是测试标杆(golden)从 __golden__ 迁移到 __spec__ + TestSpec 类的批量重构,不触及产品运行时路径,产品侧风险低。但 golden 本身的正确性直接决定 ST/UT 的可信度:clip 的三方标杆会在绝大多数用例上直接崩溃(P1),lerp 丢失 fp32 中间精度会引入误差放大,MaxN/MinN 的 cross_check 无法执行 —— 这些问题会造成用例失败,或更糟地放宽阈值后掩盖真实 kernel 缺陷。建议至少修复 P1 与两处 P2 语义错误后再合入。

类型 数量
🔴 阻塞 1
🟡 建议 5

⛔ 需要修改


🧩 本次 Review 已使用自定义 Skill:

likedislike
Incorrect?
CANN-robotCANN-robotCollaborators
6 days ago Added label: cann-cla/yes
CANN-robot
CANN-robotCollaborators
6 days ago Comments:

Thanks for your pull-request.
The full list of commands accepted by me can be found at here.
You can get sig-info at here.
You can self-configure the PR merge rules for this repository. For more details, please refer to Here.
For more, you also can visit HICANN.


PR Approval Progress

✅ Congratulations! All modules have met the lgtm and approve requirements.

Module Approval Details

module lgtm status approve status
conversion/clip_by_value_v2 ✅ 汤平川, 张磊 (2/2) ✅ 汤平川, 张磊 (2/1)
math/addcdiv ✅ 汤平川, 张磊 (2/2) ✅ 张磊, 汤平川 (2/1)
math/floor_div ✅ 汤平川, 张磊 (2/2) ✅ 汤平川, 张磊 (2/1)
math/lerp ✅ 汤平川, 张磊 (2/2) ✅ 汤平川, 张磊 (2/1)
math/maximum ✅ 汤平川, 张磊 (2/2) ✅ 汤平川, 张磊 (2/1)
math/minimum ✅ 汤平川, 张磊 (2/2) ✅ 汤平川, 张磊 (2/1)

💡 Tip:

  • Committer can comment /approve or /lgtm
  • Commenting /approve implies both code review (lgtm) and intent to merge (approve)

CLA Signature Pass

cai-chengchao, thanks for your pull request. All authors of the commits have signed the CLA. 👍

likedislike
50 messages are collapsed here。 See more
CANN-robotCANN-robotCollaborators
3 days ago Added label: approved
zl_hwCollaborators
3 days ago Comments:

/lgtm
/approve

likedislike
CANN-robotCANN-robotCollaborators
3 days ago Added label: lgtm
CANN-robotCANN-robotCollaborators
3 days ago Closed associated issue
CANN-robotCANN-robotCollaborators
3 days ago Merged pull request