固定题库的授权准备与安装
本 Benchmark 使用 Insight 中已审核的纯净可靠性评测集。当前资源规格为 37 个用例、6 个附件、每个用例 5 个已审核问法变体(共 185 个)。代码仓库只包含协议与程序,不包含正式题目、标准答案、附件或运行轨迹。
推荐:自动获取已发布的 HF 快照
官方数据仓库为 adiven/agent-reliability-bench,访问范围以仓库页面的当前设置为准。使用前默认已完成 HF 登录并获得该仓库读取权限;登录不等于授权。私有或 gated 仓库需取得相应权限;权限不足时程序会明确报错。
以下命令在仓库根目录、已激活 .venv 的 Bash 终端执行:
agent-reliability-bench prepare
agent-reliability-bench cases
agent-reliability-bench variants
首次 run、tasks 或 variants 发现资源缺失时,也会自动准备。prepare --offline 仅使用已安装资源或 HF 缓存;对旧实验使用 resume / report / status / analyze 不触发下载。
当前发布配置位于代码仓库 resources/hf-dataset.json,固定:
- HF 提交:
6548fa862027b0a9a90c5ebccc2e48a9027a866a - 发布清单 SHA-256:
399810b683c3889ecbb6dd08ef48138642fe112f8bae626ded95f4a9ace68797 - 数据指纹:
d52489d959c6126bcf4e2808c91e325024b6ab0a3a5f507869092ce9e2a85301 - 37 题、185 个变体、6 个附件。
用户不用填写这些参数。发布新版本需要维护者核验并更新代码中的发布配置,不能依赖可移动的远端 main。新实验的 manifest.json.dataset_origin 记录 HF 仓库、固定提交、发布清单及数据指纹。
下载器按文件串行传输,显示阶段与文件名;网络错误最多尝试 3 次,权限/仓库访问错误立即提示。TLS 校验始终开启。安装在私有临时目录完成,清单哈希、每个文件、附件与变体绑定全部通过后才原子发布到 <home>/resources;失败不会暴露半成品。多个准备进程通过同一把锁协调,避免并发覆盖。
HF 缓存用于复用下载,安装会创建自己的文件副本。已有有效资源直接核验复用;已有损坏资源报错并保留现场,不自动覆盖。已有旧式本地导入不会被更换;如需采用 HF 发布版,在新 --home 中准备并新建实验。旧式本地导入的实验记录来源为 local。
下面两种方式继续用于维护者导入和授权离线传输;普通用户可直接使用上面的 HF 准备入口。
方式 A:从已注册的 Insight 资源导入
适用于本机已有授权 Insight 资源,或管理员已经部署了相同注册结构的情况。默认 Insight 根目录为 ~/.agent-insight,可用 --insight-home 显式指定。
必须具备:
<insight-home>/
└── benchmark-assets/agent-reliability/
└── resources.json # datasets 注册表
<注册条目的 path 指向的资源目录>/
├── dataset.json # 用例、参考答案、附件元数据及指纹
├── reviewed-questions.json # 问法候选、审核决定及其来源哈希
└── <dataset.json 所引用的附件相对路径>
注册表的 datasets 中须恰有一个 id 为 reliability-clean-v1 的条目,其 path 应为本机该已审核资源目录的绝对路径。导入器按注册路径定位文件;管理员迁移原始资源时须同步注册路径。不要自行构造审核通过标记、改写题目或重算指纹替代正式资源。
python scripts/import_insight_clean.py \
--insight-home "$HOME/.agent-insight"
agent-reliability-bench cases
agent-reliability-bench variants
使用其他位置时,将参数改为实际目录,例如:
python scripts/import_insight_clean.py \
--insight-home /absolute/path/to/authorized-insight \
--home "$HOME/.agent-reliability-bench"
导入器先校验原始数据指纹、审核问法与任务的绑定、每个变体的审核决定及附件哈希,再生成本地快照。installed 表示首次安装;已安装同一快照时返回 already_installed。目标快照不同时会拒绝覆盖,以保留已有实验的资源依据。
完成这一步后,执行评测无需运行 Insight Web 服务。
方式 B:安装管理员提供的已导入快照
适用于新机器没有 Insight 安装的情况。让管理员在授权机器完成方式 A,并通过获准渠道提供 完整的已导入 resources/ 目录,同时提供该快照的 fingerprint 供核对。该快照是私有评测数据,不是代码仓库内存放协议和 Skill 的公开 resources/。
快照结构为:
resources/
├── dataset.json # source_id: reliability-clean-v1
├── variants.json # 与该 dataset fingerprint 绑定的已审核变体
└── <dataset.json 所引用的附件相对路径>
保留全部相对路径。只接收资源目录,无需复制管理员的 .venv、OpenCode 认证、实验目录或 private.json。
把下方 AUTHORIZED_RESOURCES 改为已经接收并解包的快照目录。目标必须没有 resources,已有目录时跳过复制并提示核对,不覆盖它:
AUTHORIZED_RESOURCES=/absolute/path/to/authorized/resources
BENCHMARK_HOME="$HOME/.agent-reliability-bench"
if [ -e "$BENCHMARK_HOME/resources" ]; then
echo '目标已有 resources,请先核对现有快照或选择新的 Benchmark home。'
elif [ ! -f "$AUTHORIZED_RESOURCES/dataset.json" ] || [ ! -f "$AUTHORIZED_RESOURCES/variants.json" ]; then
echo '源目录不是完整的已导入快照,请联系数据管理员。'
else
mkdir -p -m 700 "$BENCHMARK_HOME"
cp -a "$AUTHORIZED_RESOURCES" "$BENCHMARK_HOME/resources"
fi
然后对指定位置验证:
agent-reliability-bench --home "$BENCHMARK_HOME" tasks
agent-reliability-bench --home "$BENCHMARK_HOME" variants
tasks 验证数据指纹、任务结构、附件路径及附件 SHA-256,输出用例 ID、等级和附件数量;variants 验证已审核变体包及其任务绑定,输出变体 ID、种类和覆盖数量。二者都不打印题目和标准答案。当前完整资源应为 37 个用例、6 个附件,以及 5 个变体各覆盖 37 个用例;同时核对 tasks 输出的 fingerprint 与管理员提供的值。内部哈希校验不能替代对数据来源的确认。
若复制中断或校验失败,不开始正式实验。保留原授权包,联系管理员确认文件是否完整;修复副本后重新验证。复制命令本身不会验证全部附件,也不自动修复文件。
自定义存储位置
--home / AGENT_RELIABILITY_HOME 用于选择私有资源和默认实验产物的存储根目录;项目没有任意切换题库的 --dataset 参数。
方式 A 的导入器有自己的 --home 参数;CLI 的同名参数是全局选项,要放在子命令之前。可统一使用环境变量,避免导入位置与运行位置不一致:
export AGENT_RELIABILITY_HOME="$HOME/private-benchmark"
python scripts/import_insight_clean.py --insight-home "$HOME/.agent-insight"
agent-reliability-bench cases
agent-reliability-bench variants
采用方式 B 时,先把 BENCHMARK_HOME 设为该目标位置,验证后再设置 export AGENT_RELIABILITY_HOME="$BENCHMARK_HOME"。
实验创建后,private.json 已记录原题库位置,manifest.json 已冻结数据与变体指纹。之后改变环境变量不会自动迁移已有实验。续跑应保留原目录及资源内容;跨机器迁移完整实验尚没有自动重定位流程。新机器可在安装同一授权资源后新建实验,不应手工改写旧计划的路径和指纹。
常见导入错误
| 错误 | 检查项 |
|---|---|
找不到 resources.json |
--insight-home 是否指向真实的授权安装根目录;未安装 Insight 时采用方式 B |
| 缺少已审核资源条目 | 联系管理员检查 datasets 注册条目的 ID 和唯一性 |
找不到 dataset.json 或审核文件 |
核对注册条目的 path、资源是否完整,以及是否误拿已导入快照执行原始导入 |
| 指纹或附件哈希不匹配 | 重新核对原授权文件;不通过编辑哈希绕过错误 |
| 问法审核或覆盖不足 | 获取完整的已审核问法资源;导入器不会自行生成替代变体 |
| 已安装快照不同 | 保留旧资源,用新的 Benchmark home 安装并创建新实验 |