可用于对 LLM Agent 进行系统化可靠性评测,量化正确性、一致性和鲁棒性指标。内置 37 题固定题库与独立评分器,支持托管 OpenCode 或内置工具调用 Agent,提供多种扰动注入条件,实验完成后自动接续 Skill 驱动的故障模式归因,输出评测报告与台账。【此简介由AI生成】
Access rate limit exceeded. Please log in to continue.
agent-reliability-bench
概述 · 搭建 · Quick Start · 附录
概述
Agent Reliability Bench 是一个用于评估 Agent 可靠性的基准,包含 37 个问答用例。给定题目与附件,Agent 需要通过搜索、阅读和计算给出答案;评测程序通过正常重复与扰动条件下的独立执行任务,衡量正确性、一致性、可预测性和鲁棒性。

题库包含 185 条审核问法变体和 6 个附件,通过 Hugging Face 分发。默认使用内置 Agent,参考答案由独立评分器使用。指标公式与证据要求见指标说明。
搭建
支持 Linux / WSL2,需要 Python ≥3.11、Git 和 Python venv。以下命令在 Bash 中执行:
git clone https://gitcode.com/weixin_46351149/agent-reliability-bench.git
cd agent-reliability-bench
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -e ./packages/hook-core -e ./packages/agent-reliability-bench
使用具备数据集读取权限的 Hugging Face 账号登录;首次使用前在数据集页面完成访问申请:
hf auth login
内置 Agent 使用支持 Chat Completions 工具调用的模型服务。配置服务地址和密钥,运行时通过 --model 显式指定模型:
export AGENT_RELIABILITY_BASE_URL='https://YOUR_PROVIDER/v1'
export AGENT_RELIABILITY_API_KEY='YOUR_API_KEY'
首次运行自动下载并校验题库,默认保存在 ~/.agent-reliability-bench/resources/。基础工具无需安装 Chromium;浏览器交互见内置 Agent 文档,离线准备见题库部署说明。
使用(Quick Start)
运行实验
配置完成后,一条命令执行完整评测:
agent-reliability-bench run --model YOUR_MODEL --output ./experiments/reliability
默认使用内置 Agent,覆盖全部 37 个用例、全部指标,正常重复 2 次,并执行 3 种工具扰动及 5 种审核问法,自动采集评分前置信度、独立评分、生成报告和分析失败任务。
本次实验共 37 ×(2 + 3 + 5)= 370 个任务:74 个正常任务、296 个扰动任务。用例是固定题目;任务是在一个条件下的一次执行;实验包含这次配置的全部任务与结果。题库中的 185 条审核问法变体另行计数。
打开 experiments/reliability/report/指标总览.md 查看指标,失败分析汇总位于同目录的 故障模式与可靠性建议.md。每次 run 创建独立实验;输出目录已存在时会覆盖,请为需要保留的实验使用不同名称。
独立评测
run 默认已自动评分。需要重新评估已有结果、刷新指标和报告时,单独执行:
agent-reliability-bench evaluate --experiment ./experiments/reliability
评测读取已有任务结果,不重新运行 Agent,也不会补采置信度。
失败分析
run 默认已自动分析失败任务。需要补做失败分析时,单独执行:
agent-reliability-bench analyze --experiment ./experiments/reliability
分析沿用实验的模型配置,复用已有有效分析结果;结论写入 report/,不改变答案评分。
输出目录
experiments/reliability/
├── experiment.json # 实验标识
├── data/ # 实验配置与标准化结果
│ ├── plan.json # 用例清单、展开的任务与配置指纹
│ ├── results.jsonl # 任务答案、执行状态、置信度
│ └── summary.json # 独立评分、指标与覆盖范围
├── report/ # 阅读报告
│ ├── 指标总览.md
│ ├── 故障模式与可靠性建议.md
│ └── results/ # 按运行名组织的失败分析
└── runtime/ # 原始任务记录、轨迹、日志、状态与私有配置
└── tasks/
├── task-00001/ # 一个任务的原始执行记录
└── task-00370/
data/results.jsonl 在运行时更新,data/summary.json 和报告在评分后生成。runtime/ 保存原始证据,核验、继续运行和失败分析时需要保留。临时工作环境在运行结束后清理。已有旧布局的实验仍可读取,程序不会批量迁移历史数据。
默认会自动完成评分与失败分析。证据不足的指标注明原因,失败归因不改变答案评分。需要自定义流程时,可在附录中选择范围,分析能力与参数见失败分析说明。
附录
外部 Agent 结果提交
使用自己的 Agent 时,提交最终答案,由本工具独立评分。profile.json 描述 Agent 和模型:
{"type":"my-agent","version":"1.0","model":"my-model"}
predictions.jsonl 每行一个执行任务,用固定题库中的用例 ID 和实际答案替换示例:
{"case_id":"CASE_A","model_answer":"实际最终答案","execution_status":"completed"}
{"case_id":"CASE_B","model_answer":null,"execution_status":"timeout"}
agent-reliability-bench submit --experiment ./experiments/external \
--profile ./profile.json --predictions ./predictions.jsonl
agent-reliability-bench evaluate --experiment ./experiments/external
case_id 指向固定用例;导入后由实验分配独立的 task_id。data/plan.json 与 data/results.jsonl 都使用 case_id / task_id 区分两者。旧命令 tasks、--task-ids 及旧提交中的 task_id(用例 ID)仍可兼容读取。
model_answer 无需 FINAL ANSWER: 前缀,无答案填 null。可选字段包括 repeat、condition、confidence 和 artifact_paths;置信度必须声明是否在评分前采集,轨迹采用分析说明支持的文件名。外部环境及干预声明按提交来源记录。重复提交会新增记录,不同 Agent 与模型分别统计。
本地模型与 OpenCode
本地模型需提供兼容 Chat Completions、支持工具调用的服务。将 AGENT_RELIABILITY_BASE_URL 设置为本地地址,例如 http://127.0.0.1:8000/v1,--model 使用服务暴露的模型标识。运行命令与 Quick Start 相同。
若要评测本地 OpenCode Agent,先在 OpenCode 中配置模型与认证,再显式选择 Agent;其余仍采用完整评测默认值:
agent-reliability-bench run --agent opencode --output ./experiments/opencode
OpenCode 沿用自身模型配置,无需传入内置 Agent 的 --model。支持 v1/v2,接入说明见本地 OpenCode 文档。
自定义范围
| 参数 | 用途 |
|---|---|
--case-ids |
只评测指定用例 |
--model、--base-url |
显式选择内置 Agent 的模型;服务地址可从环境变量读取 |
--repeats |
修改正常重复次数,默认 2 |
--perturb |
指定扰动列表;none 关闭扰动 |
--prompt-style / --prompt-variant |
限定审核问法;默认全部 5 种 |
--evaluate |
限定评分指标;默认全部 |
--no-analyze |
关闭自动失败分析 |
--execute-only |
只执行,关闭默认评分、失败分析和默认扰动 |
--dry-run |
仅生成计划,不调用模型 |
可用 evaluate、analyze 独立处理已有实验,或使用 resume 继续未开始的任务;已有失败记录保留。评估阶段不会补采置信度。
参考说明
本项目的评测参考了 GAIA 的评测方法。
Introduction
可用于对 LLM Agent 进行系统化可靠性评测,量化正确性、一致性和鲁棒性指标。内置 37 题固定题库与独立评分器,支持托管 OpenCode 或内置工具调用 Agent,提供多种扰动注入条件,实验完成后自动接续 Skill 驱动的故障模式归因,输出评测报告与台账。【此简介由AI生成】
Customize your domain