独立 Hook 契约
hook-core 不导入 Benchmark。内置 Agent 直接调用 HookRuntime.dispatch();OpenCode 原生桥接使用每次运行的认证回环端点。该传输是可选实现,不是必需的独立服务。
事件由 hook、tool、call_id、payload 构成。核心返回 continue、replace 或 error;宿主在实际边界应用后回报 host.applied,后续输入反馈使用 model.feedback 关联。干预决定、宿主应用和可确认反馈分别统计。
规则按明确顺序处理,每个 Hook 至多产生一次干预决定。概率、种子、次数、目标均版本化冻结。计数按运行隔离,种子不控制 LLM 或外部服务。执行前超时为立即合成错误,不声称真实等待超时。
在 Benchmark 中,Prompt 替换只能使用已审核变体。工具参数修改是通用能力,是否保持原题可解和答案不变必须另行审核,默认不作为正式压力条件。
OpenCode 主版本适配
--agent opencode 按原生版本选实现,不固定次版本。v1 桥接在 packages/hook-opencode/src/index.mjs,使用返回 Hook 对象的入口;v2 桥接在 packages/hook-opencode/v2,默认导出带 id / setup(ctx) 的 Promise 插件定义。v2 的 Plugin.define 是恒等类型检查函数,桥接直接提供同一运行时结构,不引入 SDK 安装依赖。
| 公共 Hook | OpenCode v1 | OpenCode v2 |
|---|---|---|
| 工具入参/合成故障 | tool.execute.before |
ctx.tool.hook("execute.before", ...) |
| 工具返回变换 | tool.execute.after |
ctx.tool.hook("execute.after", ...) |
| 宿主模型上下文反馈 | experimental.chat.messages.transform |
ctx.session.hook("context", ...) |
公共核心和 agent-hook/v1 协议不变。v2 的 input、结构化 result.content 和工具错误单独转换;混合非文本工具结果不做文本封装注入。反馈必须匹配工具调用 ID、工具名和实际文本哈希,只确认请求前宿主上下文,不声称远端收取。每次评测创建新的任务工作目录和会话;外部 OpenCode 保留用户已配置的 HOME/XDG、原生数据库与依赖,通过本次调用的临时配置追加桥接插件。v2 服务命令显式使用 --standalone,不连接已有后台服务;这不表示每个用例创建全新 HOME 或数据库。
当前真实程序验证覆盖 v1 1.18.11、v2 2.2.5,使用本地模拟模型验证正常运行、限流、超时、返回格式变换、主会话导出以及无工具 Skill 分析,不调用付费模型。所有次版本不设固定白名单;接口缺失或结构无法核验时明确失败,不伪装成功。
本地 OpenCode 的准备与运行边界
先按照 OpenCode 安装说明准备 Linux 原生程序,在其原生配置中明确设置默认 model(provider/model)及 provider 认证。仅在交互界面临时选择过模型,不替代配置中的默认模型。
opencode --version 用于核对安装。WSL 用户可用 command -v opencode 检查是否误用了 Windows npm 路径;多个安装并存时,在 Benchmark 的 run 中使用 --agent-executable /absolute/path/to/opencode。Benchmark 不安装或升级用户的全局 OpenCode。
v1 通过原生合并配置获得模型和插件设置;v2 通过 api config.get --standalone 读取规范化配置文档,并另行快照活动认证。解析结果可能包含私有信息,保存在执行批次的私有配置中,不直接公开。配置和模型说明见 OpenCode 配置和模型配置。
适配器从当前代码仓库定位对应桥接,自动构造本机绝对路径并追加到本次子进程配置。不同机器无需填写相同路径,也无需修改全局插件列表。保留用户明确配置的插件;原生配置目录与既有依赖仍由外部 Agent 管理,不逐题复制或重装。原生程序自身运行时可能更新会话与缓存,Benchmark 不提供外部环境的完整恢复。
v1/v2 的配置字段和插件接口分别处理;旧版插件需要对应的 v2 实现后才能在 v2 使用。RAS 等第三方插件的版本兼容由其实现决定,Benchmark 不自动改写。
无工具 Skill 分析使用另行准备的临时配置、存储和会话,禁用任务工具、原任务插件及 MCP;其生命周期与被测外部 Agent 的正常执行不同。验证流程也使用测试自有配置与存储,避免向用户原有会话库创建测试会话。测试范围及并发活动限制见验证记录。