agent-reliability-bench:基于 Python 和 LLM 的 Agent 可靠性评估基准测试项目

可用于对 LLM Agent 进行系统化可靠性评测,量化正确性、一致性和鲁棒性指标。内置 37 题固定题库与独立评分器,支持托管 OpenCode 或内置工具调用 Agent,提供多种扰动注入条件,实验完成后自动接续 Skill 驱动的故障模式归因,输出评测报告与台账。【此简介由AI生成】

Branch1Tags0

agent-reliability-bench

Hugging Face 数据集 · GitCode 仓库

概述 · 搭建 · Quick Start · 附录

概述

Agent Reliability Bench 是一个用于评估 Agent 可靠性的基准,包含 37 个问答用例。给定题目与附件,Agent 需要通过搜索、阅读和计算给出答案;评测程序通过正常重复与扰动条件下的独立执行任务,衡量正确性、一致性、可预测性和鲁棒性。

Agent Reliability Bench 评测流程

题库包含 185 条审核问法变体和 6 个附件,通过 Hugging Face 分发。默认使用内置 Agent,参考答案由独立评分器使用。指标公式与证据要求见指标说明。

搭建

支持 Linux / WSL2,需要 Python ≥3.11、Git 和 Python venv。以下命令在 Bash 中执行:

git clone https://gitcode.com/weixin_46351149/agent-reliability-bench.git
cd agent-reliability-bench
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -e ./packages/hook-core -e ./packages/agent-reliability-bench

使用具备数据集读取权限的 Hugging Face 账号登录;首次使用前在数据集页面完成访问申请:

hf auth login

内置 Agent 使用支持 Chat Completions 工具调用的模型服务。配置服务地址和密钥,运行时通过 --model 显式指定模型:

export AGENT_RELIABILITY_BASE_URL='https://YOUR_PROVIDER/v1'
export AGENT_RELIABILITY_API_KEY='YOUR_API_KEY'

首次运行自动下载并校验题库,默认保存在 ~/.agent-reliability-bench/resources/。基础工具无需安装 Chromium;浏览器交互见内置 Agent 文档,离线准备见题库部署说明。

使用(Quick Start)

运行实验

配置完成后,一条命令执行完整评测:

agent-reliability-bench run --model YOUR_MODEL --output ./experiments/reliability

默认使用内置 Agent,覆盖全部 37 个用例、全部指标,正常重复 2 次,并执行 3 种工具扰动及 5 种审核问法,自动采集评分前置信度、独立评分、生成报告和分析失败任务。

本次实验共 37 ×(2 + 3 + 5)= 370 个任务:74 个正常任务、296 个扰动任务。用例是固定题目;任务是在一个条件下的一次执行;实验包含这次配置的全部任务与结果。题库中的 185 条审核问法变体另行计数。

打开 experiments/reliability/report/指标总览.md 查看指标,失败分析汇总位于同目录的 故障模式与可靠性建议.md。每次 run 创建独立实验;输出目录已存在时会覆盖,请为需要保留的实验使用不同名称。

独立评测

run 默认已自动评分。需要重新评估已有结果、刷新指标和报告时,单独执行:

agent-reliability-bench evaluate --experiment ./experiments/reliability

评测读取已有任务结果,不重新运行 Agent,也不会补采置信度。

失败分析

run 默认已自动分析失败任务。需要补做失败分析时,单独执行:

agent-reliability-bench analyze --experiment ./experiments/reliability

分析沿用实验的模型配置,复用已有有效分析结果;结论写入 report/,不改变答案评分。

输出目录

experiments/reliability/
├── experiment.json            # 实验标识
├── data/                      # 实验配置与标准化结果
│   ├── plan.json              # 用例清单、展开的任务与配置指纹
│   ├── results.jsonl          # 任务答案、执行状态、置信度
│   └── summary.json           # 独立评分、指标与覆盖范围
├── report/                    # 阅读报告
│   ├── 指标总览.md
│   ├── 故障模式与可靠性建议.md
│   └── results/               # 按运行名组织的失败分析
└── runtime/                   # 原始任务记录、轨迹、日志、状态与私有配置
    └── tasks/
        ├── task-00001/        # 一个任务的原始执行记录
        └── task-00370/

data/results.jsonl 在运行时更新,data/summary.json 和报告在评分后生成。runtime/ 保存原始证据,核验、继续运行和失败分析时需要保留。临时工作环境在运行结束后清理。已有旧布局的实验仍可读取,程序不会批量迁移历史数据。

默认会自动完成评分与失败分析。证据不足的指标注明原因,失败归因不改变答案评分。需要自定义流程时,可在附录中选择范围,分析能力与参数见失败分析说明。

附录

外部 Agent 结果提交

使用自己的 Agent 时,提交最终答案,由本工具独立评分。profile.json 描述 Agent 和模型:

{"type":"my-agent","version":"1.0","model":"my-model"}

predictions.jsonl 每行一个执行任务,用固定题库中的用例 ID 和实际答案替换示例:

{"case_id":"CASE_A","model_answer":"实际最终答案","execution_status":"completed"}
{"case_id":"CASE_B","model_answer":null,"execution_status":"timeout"}
agent-reliability-bench submit --experiment ./experiments/external \
  --profile ./profile.json --predictions ./predictions.jsonl
agent-reliability-bench evaluate --experiment ./experiments/external

case_id 指向固定用例;导入后由实验分配独立的 task_id。data/plan.json 与 data/results.jsonl 都使用 case_id / task_id 区分两者。旧命令 tasks、--task-ids 及旧提交中的 task_id(用例 ID)仍可兼容读取。

model_answer 无需 FINAL ANSWER: 前缀,无答案填 null。可选字段包括 repeat、condition、confidence 和 artifact_paths;置信度必须声明是否在评分前采集,轨迹采用分析说明支持的文件名。外部环境及干预声明按提交来源记录。重复提交会新增记录,不同 Agent 与模型分别统计。

本地模型与 OpenCode

本地模型需提供兼容 Chat Completions、支持工具调用的服务。将 AGENT_RELIABILITY_BASE_URL 设置为本地地址,例如 http://127.0.0.1:8000/v1,--model 使用服务暴露的模型标识。运行命令与 Quick Start 相同。

若要评测本地 OpenCode Agent,先在 OpenCode 中配置模型与认证,再显式选择 Agent;其余仍采用完整评测默认值:

agent-reliability-bench run --agent opencode --output ./experiments/opencode

OpenCode 沿用自身模型配置,无需传入内置 Agent 的 --model。支持 v1/v2,接入说明见本地 OpenCode 文档。

自定义范围

参数 用途
--case-ids 只评测指定用例
--model、--base-url 显式选择内置 Agent 的模型;服务地址可从环境变量读取
--repeats 修改正常重复次数,默认 2
--perturb 指定扰动列表;none 关闭扰动
--prompt-style / --prompt-variant 限定审核问法;默认全部 5 种
--evaluate 限定评分指标;默认全部
--no-analyze 关闭自动失败分析
--execute-only 只执行,关闭默认评分、失败分析和默认扰动
--dry-run 仅生成计划,不调用模型

可用 evaluate、analyze 独立处理已有实验,或使用 resume 继续未开始的任务;已有失败记录保留。评估阶段不会补采置信度。

参考说明

本项目的评测参考了 GAIA 的评测方法。

Introduction

可用于对 LLM Agent 进行系统化可靠性评测,量化正确性、一致性和鲁棒性指标。内置 37 题固定题库与独立评分器,支持托管 OpenCode 或内置工具调用 Agent,提供多种扰动注入条件,实验完成后自动接续 Skill 驱动的故障模式归因,输出评测报告与台账。【此简介由AI生成】

Customize your domain