| Files | Last commit | Last update |
|---|---|---|
feat(onnx): 实现onnx通路 Co-authored-by: FishPotatoChen<chenqianyu1@h-partners.com> # message auto-generated for no-merge-commit merge: !526 merge onnx_dev into master feat(onnx): 实现onnx通路 Created-by: FishPotatoChen Commit-by: FishPotatoChen Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: E2E 模式新增 **onnx 域(ONNX 通路)**:CSV 用例以 api_name = onnx.<OpType> 声明单算子,TTK 自动组装单算子 ONNX 模型,经 atc 离线编译为 .om 后在 NPU 上经 aclmdl 执行,补齐「ONNX 模型解析 → atc ONNX 插件转换 → 离线模型装载执行」引擎层链路的测试覆盖。至此 TTK 四种测试模式对应的昇腾技术栈层级中,引擎层在 GEIR / ACLNN 之外补上 ONNX(atc→om)一列。 核心设计与能力: - **执行链路**:CSV (onnx.<OpType>) → 框架检测路由 OnnxAdapter → 参数解析(onnx.defs schema 单源,环境注册表即权威)→ 输入生成(numpy 直通,无框架 tensor)→ model_builder 组装单算子 ModelProto → atc 离线编译 .om → NPU aclmdl 执行 → 复用既有比对 / dump / 结果列体系 - **同构参照 Golden**:Golden 腿与被测腿共用同一份组模产物(同一模型字节),由 CPU 侧 onnx ReferenceEvaluator 参照计算 - **无框架依赖**:onnx worker 进程仅预载 numpy + onnx,无需安装 torch / tensorflow / torch_npu(子树零 torch/tf import,由 test_structure 钉住) - **om 会话缓存**:结构键(算子+输入形态+属性+soc+dev_id)→ OmSession 进程级 LRU;「数组身份 → 内容指纹」双层判定防脏命中;缓存键含 atc ONNX 插件指纹,CANN 升级/重装后自动失效 - **用例面**:复用 E2E 全量 23 列 CSV 字段;支持 Variadic 输入/输出、Optional 输入尾部省略、6 种属性类型(INT/FLOAT/STRING/INTS/FLOATS/STRINGS);不支持项(动态 shape、动态输出元数、布局列、控制流算子等)均在解析/建模期显式报错,不静默降级 - **配套重构/新增**:ttk/utilities/dtypes.py 重构并新增 ONNX_DTYPE_MAP 全量 dtype 映射;新增 ttk/utilities/mx_quant.py(BFP16/FP16/FP32 → MX dtype 量化,纯算法模块) - om 恒为静态图(eager ≡ 静态图),不支持动态 shape 与 aclgraph 模式 主要新增模块:ttk/core_modules/framework_api/onnx/(model_builder / om_compiler / param_extractor / runner / runtime)、ttk/core_modules/common/backend/onnx_backend.py、ttk/utilities/mx_quant.py;示例用例 examples/case_store/e2e/onnx_cases.csv。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes [#433](https://gitcode.com/cann/ops-test-kit/issues/433) ### 希望检视人员了解: - onnx 域与 torch/tf 域互斥:同一 CSV 不得混域(框架检测拒绝),按域分文件存放 - 环境约束:onnx ≥ 1.13(Golden 依赖 ReferenceEvaluator)且 onnx.defs.onnx_opset_version() ≤ 18(对齐 CANN atc ONNX 插件注册上限,CANN 9.2.x 配套 onnx 1.13.x);onnx 域额外依赖 CANN 的 atc 与 libascendcl - --backend cpu 不适用于 onnx 域被测腿(om 执行必须经 NPU),CPU 侧仅用于 Golden 与输入生成 - om 编译缓存放于仓库根 onnx_cache/<op_type>/,已加入 .gitignore - NonZero / TopK 等输出 shape 数据依赖的算子属通路边界(ONNX_DYNAMIC_OUTPUT_UNSUPPORTED),建议改用 kernel/aclnn 模式覆盖 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - **单元测试**(本仓库全量新增/回归,均通过): - tests/core_modules/framework_api/onnx/(model_builder / om_compiler / param_extractor / runner / runtime / routing / golden / e2e 冒烟)+ dtypes + mx_quant + structure:189 passed, 2 skipped(skip 为环境缺 tensorflow / en-dtypes,与本改动无关) - tests/core_modules/framework_api/ 全量回归 + tests/core_modules/common/test_instance_base.py:523 passed, 32 skipped(skip 为非基线 torch 版本钉死项与缺包项,与本改动无关) - **真机执行**:Ascend910_9362 双卡环境,python3 -m ttk e2e -i examples/case_store/e2e/onnx_cases.csv,6/6 用例全部 PASS(100%),覆盖 Add/Concat/Split/Gemm/Transpose/MatMul(bf16) 等 f32/f16/bf16/f64 dtype ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 docs/Operator_Test_Guides/ONNX_Test_Guide.md(ONNX 算子测试指南:环境准备、用例编写、关键约定、属性类型速查、FAQ) - 更新 README.md / README-EN.md(通路架构图、依赖说明、onnx 域快速上手命令、测试通路表) - 更新 AGENTS.md / CLAUDE.md(架构层级与技能索引补充 onnx 域) - 更新 docs/FAQ/faq_guide.md(新增「ONNX 通路问题」章节 5 条 FAQ) - 更新 docs/Operator_Test_Guides/E2E_Case_Writing.md、E2E_Test_Guide.md 及 docs/ 下相关文档(Task_Execution / Test_Case_Generation / Dump_Debug / Performance_Testing / XPU_Cross_Check / NPUSim / Offline_Data_Prepare / Deterministic_Compute) - 更新 .claude/skills/ 四个技能文档(run-test / write-case / write-plugin / diagnose) - 更新 examples/case_store/e2e/README.md 并新增 examples/case_store/e2e/onnx_cases.csv ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-test-kit!526 | 18 days ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
feat: 恢复 frameworks 硬件配置段与配置驱动后端探测 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !429 merge master into master feat: 恢复 frameworks 硬件配置段与配置驱动后端探测 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: ### 当前PR是否有AI参与: [x] 否 [ ] 是 ### PR功能描述 / 为什么需要这个合入: 恢复 frameworks 硬件配置段与配置驱动的后端探测: 1. **frameworks 硬件配置段**: ttk/config/default.yaml 恢复 frameworks 段(torch.npu profile + xpu/cuda 部署示例注释),loader.py 恢复 get_hardware_config();无 frameworks 段时返回 {},仅 cpu 是合法默认。 2. **配置驱动后端探测**:backend/__init__.py 的 torch 路由从「仅探测 NPU」改回按 frameworks 声明顺序 _probe → _build;torch_lib 决定后端类(npu→NpuTorchBackend、cpu→CpuTorchBackend、其他→XpuTorchBackend),profile 校验 fail-fast(缺 torch_lib 或 profiler 非 builtin/非法 dict 直接报错);cuda 为 torch 原生跳过 import torch_cuda;探测失败告警后回落 CPU;tf 路径不变。 3. **恢复 XpuTorchBackend**:泛型加速卡后端,torch 级 device API 全经 getattr(torch, torch_lib) 派生,支持本地 GPU/加速卡执行。 4. **测试**:新增 test_hw_config.py,扩充 test_probe.py 适配新探测机制。 ### 该PR关联的issue fixes # ### 希望检视人员了解: - 探测顺序 = frameworks 段字典声明顺序;cpu profile 不参与自动探测(仅作兜底)。 - xpu/cuda 示例均在注释中,部署侧通过 ttk.conf.yaml 覆盖生效,不改默认 YAML。 - 实例不缓存,每次 get_backend 新建;三方标杆采集(--golden-mode XPU)仍走 remote,不经本函数。 ## 测试 - pytest tests/core_modules/common/backend/:63 passed, 1 skipped(tf 段 torch_npu._C + tensorflow 共存冲突为既有 skip) - ruff check / ruff format / pre-commit 通过 ## 文档更新 - 无 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-test-kit!429 | 26 days ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
feat(onnx): 实现onnx通路 Co-authored-by: FishPotatoChen<chenqianyu1@h-partners.com> # message auto-generated for no-merge-commit merge: !526 merge onnx_dev into master feat(onnx): 实现onnx通路 Created-by: FishPotatoChen Commit-by: FishPotatoChen Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: E2E 模式新增 **onnx 域(ONNX 通路)**:CSV 用例以 api_name = onnx.<OpType> 声明单算子,TTK 自动组装单算子 ONNX 模型,经 atc 离线编译为 .om 后在 NPU 上经 aclmdl 执行,补齐「ONNX 模型解析 → atc ONNX 插件转换 → 离线模型装载执行」引擎层链路的测试覆盖。至此 TTK 四种测试模式对应的昇腾技术栈层级中,引擎层在 GEIR / ACLNN 之外补上 ONNX(atc→om)一列。 核心设计与能力: - **执行链路**:CSV (onnx.<OpType>) → 框架检测路由 OnnxAdapter → 参数解析(onnx.defs schema 单源,环境注册表即权威)→ 输入生成(numpy 直通,无框架 tensor)→ model_builder 组装单算子 ModelProto → atc 离线编译 .om → NPU aclmdl 执行 → 复用既有比对 / dump / 结果列体系 - **同构参照 Golden**:Golden 腿与被测腿共用同一份组模产物(同一模型字节),由 CPU 侧 onnx ReferenceEvaluator 参照计算 - **无框架依赖**:onnx worker 进程仅预载 numpy + onnx,无需安装 torch / tensorflow / torch_npu(子树零 torch/tf import,由 test_structure 钉住) - **om 会话缓存**:结构键(算子+输入形态+属性+soc+dev_id)→ OmSession 进程级 LRU;「数组身份 → 内容指纹」双层判定防脏命中;缓存键含 atc ONNX 插件指纹,CANN 升级/重装后自动失效 - **用例面**:复用 E2E 全量 23 列 CSV 字段;支持 Variadic 输入/输出、Optional 输入尾部省略、6 种属性类型(INT/FLOAT/STRING/INTS/FLOATS/STRINGS);不支持项(动态 shape、动态输出元数、布局列、控制流算子等)均在解析/建模期显式报错,不静默降级 - **配套重构/新增**:ttk/utilities/dtypes.py 重构并新增 ONNX_DTYPE_MAP 全量 dtype 映射;新增 ttk/utilities/mx_quant.py(BFP16/FP16/FP32 → MX dtype 量化,纯算法模块) - om 恒为静态图(eager ≡ 静态图),不支持动态 shape 与 aclgraph 模式 主要新增模块:ttk/core_modules/framework_api/onnx/(model_builder / om_compiler / param_extractor / runner / runtime)、ttk/core_modules/common/backend/onnx_backend.py、ttk/utilities/mx_quant.py;示例用例 examples/case_store/e2e/onnx_cases.csv。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes [#433](https://gitcode.com/cann/ops-test-kit/issues/433) ### 希望检视人员了解: - onnx 域与 torch/tf 域互斥:同一 CSV 不得混域(框架检测拒绝),按域分文件存放 - 环境约束:onnx ≥ 1.13(Golden 依赖 ReferenceEvaluator)且 onnx.defs.onnx_opset_version() ≤ 18(对齐 CANN atc ONNX 插件注册上限,CANN 9.2.x 配套 onnx 1.13.x);onnx 域额外依赖 CANN 的 atc 与 libascendcl - --backend cpu 不适用于 onnx 域被测腿(om 执行必须经 NPU),CPU 侧仅用于 Golden 与输入生成 - om 编译缓存放于仓库根 onnx_cache/<op_type>/,已加入 .gitignore - NonZero / TopK 等输出 shape 数据依赖的算子属通路边界(ONNX_DYNAMIC_OUTPUT_UNSUPPORTED),建议改用 kernel/aclnn 模式覆盖 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - **单元测试**(本仓库全量新增/回归,均通过): - tests/core_modules/framework_api/onnx/(model_builder / om_compiler / param_extractor / runner / runtime / routing / golden / e2e 冒烟)+ dtypes + mx_quant + structure:189 passed, 2 skipped(skip 为环境缺 tensorflow / en-dtypes,与本改动无关) - tests/core_modules/framework_api/ 全量回归 + tests/core_modules/common/test_instance_base.py:523 passed, 32 skipped(skip 为非基线 torch 版本钉死项与缺包项,与本改动无关) - **真机执行**:Ascend910_9362 双卡环境,python3 -m ttk e2e -i examples/case_store/e2e/onnx_cases.csv,6/6 用例全部 PASS(100%),覆盖 Add/Concat/Split/Gemm/Transpose/MatMul(bf16) 等 f32/f16/bf16/f64 dtype ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 docs/Operator_Test_Guides/ONNX_Test_Guide.md(ONNX 算子测试指南:环境准备、用例编写、关键约定、属性类型速查、FAQ) - 更新 README.md / README-EN.md(通路架构图、依赖说明、onnx 域快速上手命令、测试通路表) - 更新 AGENTS.md / CLAUDE.md(架构层级与技能索引补充 onnx 域) - 更新 docs/FAQ/faq_guide.md(新增「ONNX 通路问题」章节 5 条 FAQ) - 更新 docs/Operator_Test_Guides/E2E_Case_Writing.md、E2E_Test_Guide.md 及 docs/ 下相关文档(Task_Execution / Test_Case_Generation / Dump_Debug / Performance_Testing / XPU_Cross_Check / NPUSim / Offline_Data_Prepare / Deterministic_Compute) - 更新 .claude/skills/ 四个技能文档(run-test / write-case / write-plugin / diagnose) - 更新 examples/case_store/e2e/README.md 并新增 examples/case_store/e2e/onnx_cases.csv ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-test-kit!526 | 18 days ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
feat(onnx): 实现onnx通路 Co-authored-by: FishPotatoChen<chenqianyu1@h-partners.com> # message auto-generated for no-merge-commit merge: !526 merge onnx_dev into master feat(onnx): 实现onnx通路 Created-by: FishPotatoChen Commit-by: FishPotatoChen Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [x] 否 [ ] 是 __1. AI Agent 平台: __2. AI 模型: __3. Prompt上下文 : ### PR功能描述 / 为什么需要这个合入**: E2E 模式新增 **onnx 域(ONNX 通路)**:CSV 用例以 api_name = onnx.<OpType> 声明单算子,TTK 自动组装单算子 ONNX 模型,经 atc 离线编译为 .om 后在 NPU 上经 aclmdl 执行,补齐「ONNX 模型解析 → atc ONNX 插件转换 → 离线模型装载执行」引擎层链路的测试覆盖。至此 TTK 四种测试模式对应的昇腾技术栈层级中,引擎层在 GEIR / ACLNN 之外补上 ONNX(atc→om)一列。 核心设计与能力: - **执行链路**:CSV (onnx.<OpType>) → 框架检测路由 OnnxAdapter → 参数解析(onnx.defs schema 单源,环境注册表即权威)→ 输入生成(numpy 直通,无框架 tensor)→ model_builder 组装单算子 ModelProto → atc 离线编译 .om → NPU aclmdl 执行 → 复用既有比对 / dump / 结果列体系 - **同构参照 Golden**:Golden 腿与被测腿共用同一份组模产物(同一模型字节),由 CPU 侧 onnx ReferenceEvaluator 参照计算 - **无框架依赖**:onnx worker 进程仅预载 numpy + onnx,无需安装 torch / tensorflow / torch_npu(子树零 torch/tf import,由 test_structure 钉住) - **om 会话缓存**:结构键(算子+输入形态+属性+soc+dev_id)→ OmSession 进程级 LRU;「数组身份 → 内容指纹」双层判定防脏命中;缓存键含 atc ONNX 插件指纹,CANN 升级/重装后自动失效 - **用例面**:复用 E2E 全量 23 列 CSV 字段;支持 Variadic 输入/输出、Optional 输入尾部省略、6 种属性类型(INT/FLOAT/STRING/INTS/FLOATS/STRINGS);不支持项(动态 shape、动态输出元数、布局列、控制流算子等)均在解析/建模期显式报错,不静默降级 - **配套重构/新增**:ttk/utilities/dtypes.py 重构并新增 ONNX_DTYPE_MAP 全量 dtype 映射;新增 ttk/utilities/mx_quant.py(BFP16/FP16/FP32 → MX dtype 量化,纯算法模块) - om 恒为静态图(eager ≡ 静态图),不支持动态 shape 与 aclgraph 模式 主要新增模块:ttk/core_modules/framework_api/onnx/(model_builder / om_compiler / param_extractor / runner / runtime)、ttk/core_modules/common/backend/onnx_backend.py、ttk/utilities/mx_quant.py;示例用例 examples/case_store/e2e/onnx_cases.csv。 ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes [#433](https://gitcode.com/cann/ops-test-kit/issues/433) ### 希望检视人员了解: - onnx 域与 torch/tf 域互斥:同一 CSV 不得混域(框架检测拒绝),按域分文件存放 - 环境约束:onnx ≥ 1.13(Golden 依赖 ReferenceEvaluator)且 onnx.defs.onnx_opset_version() ≤ 18(对齐 CANN atc ONNX 插件注册上限,CANN 9.2.x 配套 onnx 1.13.x);onnx 域额外依赖 CANN 的 atc 与 libascendcl - --backend cpu 不适用于 onnx 域被测腿(om 执行必须经 NPU),CPU 侧仅用于 Golden 与输入生成 - om 编译缓存放于仓库根 onnx_cache/<op_type>/,已加入 .gitignore - NonZero / TopK 等输出 shape 数据依赖的算子属通路边界(ONNX_DYNAMIC_OUTPUT_UNSUPPORTED),建议改用 kernel/aclnn 模式覆盖 ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - **单元测试**(本仓库全量新增/回归,均通过): - tests/core_modules/framework_api/onnx/(model_builder / om_compiler / param_extractor / runner / runtime / routing / golden / e2e 冒烟)+ dtypes + mx_quant + structure:189 passed, 2 skipped(skip 为环境缺 tensorflow / en-dtypes,与本改动无关) - tests/core_modules/framework_api/ 全量回归 + tests/core_modules/common/test_instance_base.py:523 passed, 32 skipped(skip 为非基线 torch 版本钉死项与缺包项,与本改动无关) - **真机执行**:Ascend910_9362 双卡环境,python3 -m ttk e2e -i examples/case_store/e2e/onnx_cases.csv,6/6 用例全部 PASS(100%),覆盖 Add/Concat/Split/Gemm/Transpose/MatMul(bf16) 等 f32/f16/bf16/f64 dtype ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - 新增 docs/Operator_Test_Guides/ONNX_Test_Guide.md(ONNX 算子测试指南:环境准备、用例编写、关键约定、属性类型速查、FAQ) - 更新 README.md / README-EN.md(通路架构图、依赖说明、onnx 域快速上手命令、测试通路表) - 更新 AGENTS.md / CLAUDE.md(架构层级与技能索引补充 onnx 域) - 更新 docs/FAQ/faq_guide.md(新增「ONNX 通路问题」章节 5 条 FAQ) - 更新 docs/Operator_Test_Guides/E2E_Case_Writing.md、E2E_Test_Guide.md 及 docs/ 下相关文档(Task_Execution / Test_Case_Generation / Dump_Debug / Performance_Testing / XPU_Cross_Check / NPUSim / Offline_Data_Prepare / Deterministic_Compute) - 更新 .claude/skills/ 四个技能文档(run-test / write-case / write-plugin / diagnose) - 更新 examples/case_store/e2e/README.md 并新增 examples/case_store/e2e/onnx_cases.csv ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-test-kit!526 | 18 days ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
代码框架重构 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !393 merge master into master 代码框架重构 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: <!-- 感谢您的合入申请! --> ### 当前PR是否有AI参与: [ ] 否 [x] 是 __1. AI Agent 平台: opencode(CLI 编程助手) __2. AI 模型: GLM(CANNBot/glm-5.3) __3. Prompt上下文 : 本仓 AGENTS.md + TTK 重构任务卡。AI 辅助范围:upstream 同步冲突解决、主线修复移植(bind_params)、测试治理 review、文档链接核查、本 PR 描述整理 ### PR功能描述 / 为什么需要这个合入**: TTK 代码框架重构(15 笔提交、583 文件,按主题组织,可分批 reviewing),核心目标:**分层归位、公开面收口、测试体系治理、主线同步**。 **一、目录与分层重组** - common 层域建设(W4-W15):utilities/switches/process/dump/comparison/result/plugin/testcase/backend/xpu/profiler/instance 归位为 ttk/core_modules/common/* 单份契约代码 - 四通路目录重组与清场(W16-W20):kernel/aclnn/framework_api/geir 换基,tests/ 目录树与 ttk/ 同构 **二、公开面收口** - scripts/common_public_surface.json 公开面名单 + pre-commit「ttk refactor guard」守护 - kernel/aclnn 公开面收口;mc2→hccl 改名;CLI 参数面治理(args_to_switches 四通路必经收口、--core-limit 统一解析) **三、模型与共性件上提** - Tensor 槽模型落地(声明/运行时槽位统一)、输入/golden 共性件上提 - 动态槽(-1)物化、参数级可变性上提、batch 一致性框架化、E2E 框架子目录化/编排步骤化 - W21-W24 扩展:设备状态泛化、E2E backward 一期、XPU 三方 golden、ttk-prof2case 技能(profiling 报告转用例) **四、GEIR/E2E 专项深化** - GEIR:manual-data 落盘口径统一与时序对齐、轮间一致性 MD5、模板 Data/Const 防重定义宏守卫 - E2E:-b/golden/mutability/xpu/open 后置系列改造、forkserver 预载框架感知修复(torch/TF libstdc++ 弱符号冲突)、eager 逐轮可变槽载体下沉 Backend.stage_mutable_rounds **五、主线同步(upstream/master e3fb50a + 9e74ae6)** - rebase 解决 6 处冲突(含 3 处文件迁移形态的 modify/delete 冲突、1 处双方同构修复) - **语义缺口补齐**:主线 e3fb50a bind_params 前序可选参数缺省占位修复(防后续参数左移错位——alpha 落 gamma 槽)移植至重构后 ttk/core_modules/common/xpu.py 单份契约 + TestBindParams 回归测试 - geir 模板 Data/Const OPS_PROTO_DEF_* 防重定义宏守卫(9e74ae6 同构合入) **六、测试体系治理(tests/common + utilities/remote/cli/config)** - 错位用例归位:framework_api/kernel 域(test_simple_param_extractor、test_super_kernel 拆分、test_xpu_perf_collect 拆分、test_e2e_simulator_backend) - 私有接口直调转公开入口 30+ 用例:compare_with_hooks / args_to_switches / TestcaseBase.validate / get_comparison().compare() - 重复与不可达用例清理、命名修复(testgenerate/testformat 两处缺下划线) - 白盒保留项均有归类(调度状态机/规则单元/parity 对拍/pins 守卫,公开路径需进程编排或活服务端) ### 该PR关联的issue *(格式为fixes #<issue号>, 或者resolves #<issue号>)*: fixes #305 ### 希望检视人员了解: - 大 PR(583 文件),建议按提交主题分批 reviewing(15 笔提交各自独立成篇) - review 收尾阶段 3 笔已 squash 为单笔(含主线同步与测试治理),历史已 force-push 整理 - 重构设计文档(TTK_Refactoring_Design 等 20 篇)按计划本地化,未随 PR 入库;行为基线见 scripts/refactor_baseline.json ## 测试 <!--描述进行了哪些测试来验证你的改动。--> - 全量单测:**2731 passed / 3 skipped(环境相关)/ 1 xfailed** - pre-commit 全绿:ruff check + ruff format + ttk refactor guard + codespell + OAT 合规检查 - 专项验证:主线 bind_params 错位场景实测(省略前序可选参数 gamma 时槽位对齐、无左移) ## 文档更新 <!--如果这个PR包含文档的更新,请在这里指出。例如:更新了README.md文件。--> - README/README-EN、docs/ 40+ 篇随代码同步(Operator_Test_Guides/NPUSim/Task_Execution/Test_Case_Generation/FAQ 等) - 文档命名英文化(msdebug适配方法指南.md → msdebug_guide.md);全仓 markdown 链接有效性核查(79 文件、含外部 URL 逐个验证,0 失效) - .claude/skills 五技能文档(含新增 ttk-prof2case:profiling 报告转用例) ## 类型标签 <!-- [x] 表示选中 --> - [ ] Bug修复 - [ ] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [x] 其他,请描述:代码框架重构(分层归位/公开面收口/测试治理 + 主线同步) See merge request: cann/ops-test-kit!393 | 1 month ago | |
feat: 恢复 frameworks 硬件配置段与配置驱动后端探测 Co-authored-by: wangrui<wangrui124@huawei.com> # message auto-generated for no-merge-commit merge: !429 merge master into master feat: 恢复 frameworks 硬件配置段与配置驱动后端探测 Created-by: wangrui_ Commit-by: wangrui Merged-by: cann-robot Description: ### 当前PR是否有AI参与: [x] 否 [ ] 是 ### PR功能描述 / 为什么需要这个合入: 恢复 frameworks 硬件配置段与配置驱动的后端探测: 1. **frameworks 硬件配置段**: ttk/config/default.yaml 恢复 frameworks 段(torch.npu profile + xpu/cuda 部署示例注释),loader.py 恢复 get_hardware_config();无 frameworks 段时返回 {},仅 cpu 是合法默认。 2. **配置驱动后端探测**:backend/__init__.py 的 torch 路由从「仅探测 NPU」改回按 frameworks 声明顺序 _probe → _build;torch_lib 决定后端类(npu→NpuTorchBackend、cpu→CpuTorchBackend、其他→XpuTorchBackend),profile 校验 fail-fast(缺 torch_lib 或 profiler 非 builtin/非法 dict 直接报错);cuda 为 torch 原生跳过 import torch_cuda;探测失败告警后回落 CPU;tf 路径不变。 3. **恢复 XpuTorchBackend**:泛型加速卡后端,torch 级 device API 全经 getattr(torch, torch_lib) 派生,支持本地 GPU/加速卡执行。 4. **测试**:新增 test_hw_config.py,扩充 test_probe.py 适配新探测机制。 ### 该PR关联的issue fixes # ### 希望检视人员了解: - 探测顺序 = frameworks 段字典声明顺序;cpu profile 不参与自动探测(仅作兜底)。 - xpu/cuda 示例均在注释中,部署侧通过 ttk.conf.yaml 覆盖生效,不改默认 YAML。 - 实例不缓存,每次 get_backend 新建;三方标杆采集(--golden-mode XPU)仍走 remote,不经本函数。 ## 测试 - pytest tests/core_modules/common/backend/:63 passed, 1 skipped(tf 段 torch_npu._C + tensorflow 共存冲突为既有 skip) - ruff check / ruff format / pre-commit 通过 ## 文档更新 - 无 ## 类型标签 - [ ] Bug修复 - [x] 新特性 - [ ] 性能优化 - [ ] 文档更新 - [ ] 其他,请描述: See merge request: cann/ops-test-kit!429 | 26 days ago |
| Files | Last commit | Last update |
|---|---|---|
| 18 days ago | ||
| 1 month ago | ||
| 26 days ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 18 days ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 18 days ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 1 month ago | ||
| 26 days ago |