已合并
ttk适配batch一致性 #47
蔡政洋创建于 12 天前
ttk适配batch一致性 #47
已合并
Pull Request已成功合入, 合并人@CANN-robot
(感谢 蔡政洋 的贡献)atomgit-bot
12 天前 评论:
12 天前 评论:
变更摘要
此 PR 为 TTK 框架引入了 batch 一致性适配功能。核心思路是在 TestcaseE2e 中新增 batch_axis、batch_slice_info、batch_seed 三个 batch 相关字段,并基于它们自动生成 batch_consistency_id 来标识可参与 batch 一致性比较的用例组。同时,在 golden 生成、输入生成、自定义比较和结果返回等环节传递这些 batch 参数,使下游插件和比较函数能够感知 batch 信息,从而实现 batch 维度的一致性校验。
主要改动
TestcaseE2e新增 batch 字段与 ID 生成:在TestcaseE2e的__slots__、full_headers、__init__中新增batch_axis、batch_slice_info、batch_seed、batch_consistency_id四个字段,并实现_generate_batch_consistency_id()方法,根据 batch_seed 与切片长度自动生成一致性 ID,在_finalize_initialization中调用。- Golden/输入生成环节透传 batch 参数:在
golden_generation.py的_call_plugin_with_plan和input_generation.py的generate_inputs中,将测试用例的batch_axis、batch_slice_info、batch_seed注入extra字典,传递给插件函数。 - 自定义比较函数适配 batch 参数:在
profiling.py的_try_custom_compare中,提取测试用例的batch_consistency_id、batch_axis、batch_slice_info、batch_seed,通过inspect.signature动态匹配后作为关键字参数传入自定义比较函数。 - 结果结构新增
batch_consistency_id:在result.py的FrameworkApiReturnStructure中新增batch_consistency_id槽位,并在_do_profile中从 testcase 读取并赋值,使 profiling 结果携带 batch 一致性标识。


不准确?
此处折叠了52条消息 查看更多
wangmingli
11 天前 评论:
11 天前 评论:
/lgtm


11 天前 添加了label:lgtmapproved
11 天前 解决了最后一个问题
11 天前 合入了pull request
描述
ttk适配batch一致性验证
关联的Issue
https://gitcode.com/cann/ops-test-kit/issues/38
测试
文档更新
类型标签