任务执行

命令行总览

python3 -m ttk {kernel,aclnn,e2e,geir,info,list} [选项]
子命令 用途
kernel AscendC 算子内核编译 + NPU 执行 + 精度比对
geir GE 图编译 + 执行 + 精度比对
aclnn aclnn* C API 调用 + 精度比对
e2e 框架 API 端到端测试
info 查询本机 Ascend NPU 设备信息
list 预览用例文件中的测试用例列表

查看版本:

python3 -m ttk -v

查看帮助:

python3 -m ttk kernel --help
python3 -m ttk aclnn --help
python3 -m ttk e2e --help
python3 -m ttk geir --help

设备信息与用例预览

ttk list 仅列出用例名(含 --op 过滤、--sheet 选择、跳过 is_enabled=false 的行),不做字段校验;也不做表头体检与重名改写;字段校验请使用对应模式的 --validate。

# 查看设备信息
python3 -m ttk info

# 预览用例列表
python3 -m ttk list -i examples/case_store/kernel/add.csv

# 按算子名过滤预览
python3 -m ttk list -i cases.csv --op add

# 预览 Excel 用例(指定工作表)
python3 -m ttk list -i cases.xlsx --sheet Sheet2

通用参数

参数 缩写 默认值 说明 示例
--input -i 无 用例文件路径,支持 csv/xlsx(必填) -i add.csv 或 -i cases.xlsx
--sheet 首个工作表 Excel 工作表名;仅 .xlsx 生效,csv 忽略。xlsx 默认输出名带实际 sheet 名(如 cases_T2_result.csv),多 sheet 互不覆盖 --sheet T2
--config 无 ttk 配置 YAML 路径(覆盖 ~/.config/ttk/ 和 ./ttk.conf.yaml) --config ttk.conf.yaml

用例筛选

参数 缩写 默认值 说明 示例
--testcase -t 无 按用例名筛选(逗号分隔) -t add_01,add_02
--testcase-index --ti 无 按用例索引筛选 --ti=1,3,5 或 --ti=1-10
--testcase-count --tc 无 随机选取N个用例 --tc=10
--operator --op 无 按算子名筛选 --op add,mat_mul_v3
--exclude-operator --no-op 无 排除算子名 --no-op concat_d
--priority 无 按优先级筛选 --priority=1-3
--provider 无 三方provider过滤(如torch/tf),缩小dispatch范围 --provider torch
--rerun 无 重跑失败项 --rerun=precision_status

设备与并行

参数 缩写 默认值 说明 示例
--device --dev 全部 使用设备数量 --dev 2
--device-whitelist 无 设备白名单 --device-whitelist 0,1
--device-blacklist 无 设备黑名单 --device-blacklist 2
--process-count --pc 1 每张卡进程数 --pc 4
--proc-no-reuse 关闭 每个用例创建新进程 --proc-no-reuse
--no-memory-check 关闭 跳过主机内存检查 --no-memory-check
--platform --plat 自动检测 SoC版本 --plat Ascend910B3
--proc-timeout 0(不限) 单用例超时(秒) --proc-timeout 120
--limit -l 30 单用例HBM内存上限(GB),超过则跳过 -l 16

执行控制

参数 缩写 默认值 说明 示例
--run 3(仿真模式 1) 执行次数 --run=5
--task-prof 开启 任务级 Profiling 开关 --task-prof=false
--warmup 开启 Profiling 前预热 --warmup=false
--npu-timeout 无限制 NPU 执行超时(ms) --npu-timeout 60000
--no-prof 关闭 只生成输入和 Golden,不执行目标 API --no-prof
--validate 关闭 仅校验 CSV 用例格式,不执行编译、输入生成、Golden 生成等流程 --validate

精度控制

参数 缩写 默认值 说明 示例
--compare mixed 精度对比方法。未指定时按 Spec.tolerance 路由(需 --plugin)。可选:close/stat_rel_err/mixed/cosine/binary/requant/cross_check --compare cosine
--input-dist uniform 输入数据分布,可选:uniform/normal --input-dist normal
--seed 随机 随机种子(可复现) --seed 42
--golden-mode Enable Golden生成模式,可选:Enable/Disable/Promote --golden-mode Disable
--deterministic-level --dl 0 确定性等级:0=关闭,1=确定性计算,2=强一致,3=确定性执行;FA 完整 batch relation 的切片比对在第二阶段完成 --dl=1

精度比对方法的公式、容差及选择建议详见精度比对方法。确定性计算详见确定性计算与批一致性。

调试与诊断

参数 缩写 默认值 说明 示例
--dump 关闭 Dump数据:full/in/out/golden/xpu,可逗号组合;full 保持为本地三类数据 --dump in,out,xpu
--dump-format bin Dump格式:bin/npy/pt/print --dump-format npy
--dump-on-fail 关闭 精度失败时Dump全部数据 --dump-on-fail
--manual-data-dirs 无 prepare输出目录或replay有序搜索目录 --manual-data-dirs /data/op
--single-log 关闭 每个用例独立日志文件 --single-log
--plugin 无 外部插件路径 --plugin /path/to/plugin.py
--xpu-perf 关闭 采集三方XPU性能(需remote XPU配置) --xpu-perf

结果输出

参数 缩写 默认值 说明 示例
--output -o 无 输出结果CSV路径(覆盖已有文件),与 -a 互斥 -o results.csv
--append -a 无 追加结果到已有CSV(表头不匹配则覆盖),与 -o 互斥 -a results.csv
--title 无 自定义输出列 --title testcase_name,precision_status
--csv-preserve 关闭 保留原始CSV表头 --csv-preserve
--print 开启 打印摘要信息 --print=false
--po / --progress-output 无 进度输出路径 --po /tmp/progress.json

通路专属参数

各通路专属参数详见对应指南:

高阶使用场景

文档 核心参数
离线数据准备与导入 --no-prof --dump in,golden + --manual-data-dirs
XPU 三方交叉校验 --compare cross_check / --xpu-perf + --config
确定性计算与批一致性 --deterministic-level / --dl
Dump 数据调试 --dump + --dump-format + --dump-on-fail
性能测试 --warmup + --run
NPUSim 仿真测试 --backend npusim + --sim-*